結論: ショートと長尺は、同じ指標で比べてはいけません
チャンネルの数字が急に読めなくなったなら、動画の出来より先に数え方を疑うのが早いと考えています。ショートと長尺を1つの平均にまとめている限り、その平均はどちらの実態も表しません。
弊社は自社とお客様のチャンネルを分析するツールを内製しています。そこに長らく形式の区別がありませんでした。ショートの本数が増えた月から数字の説明がつかなくなり、原因を追ったところ、動画ではなく集計側に問題がありました。この記事では、何が狂っていたのかと、どう分け直したのかを開きます。
平均を1つにまとめると、何が見えなくなるのか？
答えを先に言うと、形式ごとに正反対の傾向が出ている場合、平均は両方を打ち消します。弊社が形式を分けて集計し直したとき、クリック率は長尺のほうが数倍高く、視聴維持率は逆にショートのほうが高い、という結果が出ました。方向が逆の2つを混ぜた平均は、どちらの改善にも使えません。
実務では、この平均を見て「今月は反応が悪い」と判断してしまいます。実際には長尺のクリック率が落ちたのか、ショートの本数が増えて平均が引き下げられただけなのか、区別がついていない。平均が動いた理由が「中身の変化」なのか「構成比の変化」なのかを言えなければ、その数字は判断に使えません。
弊社が最初に踏んだ失敗は何ですか？
勝ち負けの判定にショートを混ぜたままにしていたことです。弊社は動画ごとに勝ち負けを判定し、勝った動画の共通点を次の企画に回しています。形式を分けて集計し直したところ、あるチャンネルで勝ちと数えていた動画の一部が勝ちではなくなりました。混ざっていたショートが、長尺の基準で勝ちに見えていただけでした。
怖いのは、その間ずっと「勝ち型」を抽出し続けていた点です。判定が違えば、そこから取り出した共通点も違う。間違った集計は、間違った企画を静かに量産します。 数字を見ていたつもりで、見ていたのは自分たちが作った平均でした。私たちが毎日見ている数字を3つに絞っている理由も、見る数を減らして中身を疑う余力を残すためです。
ショートに同じ判定を当てると、なぜ全部おかしくなるのか？
表示回数と再生回数の関係が、形式によって違うからです。弊社は「再生回数が表示回数を大きく上回ったら異常値として人が確認する」というルールを持っています。集計ミスや計測の欠けを拾うための線です。ところがショートでは、この状態が正常でした。ショートは一覧に並ぶ表示を経由せず、流れてくる画面でそのまま再生される分があり、表示回数に数えられないまま再生回数だけが伸びます。
結果として、ショートがまとめて異常扱いになりました。対処は簡単で、この判定を長尺だけに当てるよう直しています。同じ言葉の指標でも、形式が変われば数え方の前提が変わる——ここを揃えずに横並びで比べたことが、そもそもの間違いでした。
母数が足りない動画は、どう扱っていますか？
判定せずに「保留」へ置いています。弊社の基準は表示回数1000回です。これに届かない動画は、勝ちにも負けにも数えません。表示された回数が少ないうちのクリック率は、数本の差で大きく振れます。振れた数字で企画を決めると、たまたまを実力と勘違いします。
保留は消すという意味ではありません。集計から外し、母数が溜まってから改めて判定します。判定を急いで外すより、判定しない期間を持つほうが結果的に早いというのが今の実感です。伸びる時期が動画によって違うことは、時間が経ってから伸びる動画の記事でも書きました。判定を保留にできる仕組みがないと、人は必ず早すぎる判断をします。
直したあと、どう運用していますか？
一覧そのものを2つに割りました。動画のランキング表示を長尺の上位と、ショートの上位に分けて出しています。合計の数字は残していますが、その横に形式ごとの内訳を添えました。合計しか見ていないと、先ほどの打ち消しに戻るからです。
正直に言うと、これで全部が解決したわけではありません。内訳の集計は上位の動画から取っており、チャンネル全体の完全な平均ではない点は残っています。そこは画面にも但し書きを出したうえで使っています。できていない部分を隠して整った数字を出すより、範囲を明示して使うほうが判断を誤りません。 数字を出す仕組みを作ったら、予測を先に残して後から照合するところまで含めて運用にしています。
今日から試せる一歩
読んで終わりにならないよう、今日ひとりでできる形に落とします。直近3ヶ月の動画一覧を開き、長さでショートと長尺に分けて、クリック率の平均をそれぞれ出してみてください。表計算ソフトの並べ替えだけで済み、新しい道具は要りません。
2つの平均が近ければ、今までの見方を続けて構いません。離れていた場合、これまで見ていた合計の平均は、その差を隠していたことになります。次に見る数字を「合計」から「形式ごと」に置き換えるだけで、改善する場所を名指しできるようになります。