結論: 振り返りが改善につながらないのは、予測を先に書いていないからです
答えを先に言います。公開前に予測を書き残していない振り返りは、後から作った説明にしかなりません。 数字を見てから理由を考える順番になるので、どんな結果にも理屈が付いてしまうからです。
弊社の失敗はここでした。私たちはチャンネルごとに狙う数字を決め、企画には確度を付け、サムネイルやタイトルの案にも点数を付けていました。予測を出す仕組みは複数持っていたのです。ところが自社の分析まわりを一通り点検したときに分かったのは、その予測が当たったかどうかを測る場所が1つも無かったことでした。出しっぱなしだった。
外れても誰も気づきません。気づかないので、点数の付け方もいつまでも直りません。そこで私たちが最初に作ったのは、新しい分析手法ではなく、予測を書いて置いておくための台帳でした。
なぜ振り返りは「後付けの説明」になるのか？
答えを先に言うと、結果を見てから理由を選べる状態になっているからです。
伸びた動画には伸びた理由が、伸びなかった動画には伸びなかった理由が、後からいくらでも付きます。サムネイルの色、公開した曜日、冒頭の言い回し——候補は無数にあるので、どれを選んでも一応の説明が完成してしまう。そして次の制作でその説明を使っても、そもそも当たっていた保証がないので、成果は動きません。
私たちの振り返りの場も、以前はこの形でした。時間をかけて分析しているのに、翌月の作り方が変わらない。原因は分析の粗さではなく、照合する相手がいなかったことです。答えを書かずに答え合わせをしようとしていた、という単純な話でした。
振り返りの場そのものの設計は振り返りを勝ち筋の共有に変えた話で書いています。本稿はその手前、話し合う材料をどう用意するかの話です。
「先出しの予測」に何を書けば、外れたと分かるのか？
私たちは公開前に書き残す予測を「先出しの予測」と呼んでいます。ここで大事なのは詳しさではなく、外れたと後から判定できる形になっているかです。
書く項目は4つに絞りました。①この動画で何を狙ったか ②どの数字で結果を見るか ③いつ判定するか ④どうなったら外れと見なすか。これだけです。「たぶん伸びると思う」は予測ではありません。判定できないからです。逆に「この切り口は既存の型より反応が良いはず。判定は公開30日後。下回ったら外れ」まで書けば、1か月後の自分が迷わず○×を付けられます。
私たちの場合、この4項目を人が毎回手で書くのではなく、企画や案を出す仕組みの側から台帳へ自動で流し込む形にしました。予測を出す仕組みと、答え合わせをする仕組みは別々に立てています。 同じ担当が同じ場所で両方をやると、判定が甘くなるからです。
勝ち負けを決めてはいけない動画がある
答えを先に言うと、母数が足りない動画は勝ち負けを判定しません。私たちはこれを「判断保留」と呼んで、勝ちでも負けでもない箱に入れています。
きっかけは、表示された回数がごく少ない動画が勝ち側にも負け側にも混ざり、月ごとの結論が揺れたことでした。数十回しか表示されていない動画の反応率は、たまたまで大きく振れます。それを他の動画と同じ表に並べれば、平均も順位も意味を失う。そこで表示回数が1000回に届かないものは判定から外すという線を引きました。
同じ理由で、短い動画と長い動画も1つの表に混ぜません。表示のされ方が違うので、並べた瞬間に平均が実態を隠します。実際、上位を短い動画が占めて評価がぶれた回があり、以後は形式ごとに分けて数えています。判定しないと決めることは、判定の質を守るための積極的な選択です。
手本にする動画の選び方でも同じ考え方を使っています。詳しくは手本は再生数ではなく倍率で選ぶに書きました。
月に1回の答え合わせでは、なぜ遅いのか？
答え合わせは当初、月に1度まとめてやっていました。これが遅すぎた、というのが次の反省です。
理由はシンプルで、月初にまとめて判定すると、外れに気づく頃には次の企画がもう動いているからです。直せるのは翌々月の分になる。予測を書く意味が半分消えます。そこで公開から3日・7日・30日の3点で初速を見る仕組みを別に立て、日々の巡回で台帳へ実績を書き足す形にしました。予測は月次で書き、答え合わせは日次で進む。 早い段階で明らかにずれていれば、その回の打ち手をまだ変えられます。
期限も決めました。90日たっても公開されなかった予測は、当たり外れを付けずに閉じます。 判定待ちのまま残った予測が台帳に積もると、どれが生きている予測か分からなくなるからです。閉じ方を先に決めておくのは、増え続ける記録を扱うときの前提だと考えています。
私たちがまだできていないこと
正直に書くと、判定の精度そのものはまだ発展途上です。
案に点数を付ける工程では、私たちの主観による採点と、外部の道具が出す客観的な採点を両方とも台帳に残しています。どちらが実際の結果に近いのかは、まだ結論が出ていません。 それを判定するために両方を並べて記録している段階です。自分たちの採点が信用できるかどうかを、自分たちの感覚で決めないためにこうしています。
もう1つ、実績の数字は月次で取り込むデータに頼っている部分があり、その取り込みが止まると答え合わせも止まります。仕組みは動いていても、材料が届かなければ判定は進まない。ここは人が月初に確認しています。
明日からできる一歩
次に出す動画1本だけで構いません。公開する前に、3行だけメモに書いてください。
1行目に「今回はここを変えた」。2行目に「だから、どの数字がどうなるはず」。3行目に「判定は公開◯日後、下回ったら外れ」。道具は要りません。メモ帳でも紙でも十分です。
30日後にそのメモを開くと、当たっていた場合はそのまま次に使える型が1つ手に入り、外れていた場合は自分の見立ての癖が1つ分かります。どちらに転んでも、書き残していれば残るものがあります。 書いていなければ、どちらでも何も残りません。
作る前に需要そのものを確かめる手順は需要の棚にまとめています。先出しの予測は、その棚に置くと決めた後の話です。