結論: 動画編集の自動化は「動くこと」と「使えること」が別でした
動画編集をAIで自動化できるかどうかは、仕組みが動くかどうかでは決まりません。私たちは撮影素材の解析からカット点（どこで切るかの位置）の生成、編集ソフトへの受け渡しまで、最後まで動く仕組みを実際に作りました。そのうえで本番には載せないと決めています。分かれ目は1つでした——任せようとしている工程の中身が**「手数か判断か」**です。手数なら任せる価値があり、判断そのものなら任せても仕事は減りません。
AIに任せようとしたのは、編集のどこか？
答えを先に言うと、カット（不要な部分を切って詰める作業）です。
動画編集は、素材を並べる・不要な箇所を切る・字幕を入れる・仕上げる、という工程に分かれます。このうち最も時間を食うのがカットです。撮った素材の大半は言い間違いと沈黙と本題から外れた会話で、それを削って初めて見られる形になります。作業量が多く、判断は単純に見える。だから自動化の候補として最初に挙がりました。
仕組み自体は動きました。編集ソフトの作業データを読み、収録音声を文字に起こし、カット点を計算し、編集ソフトが読み込める形式で書き出す。この一連が最後まで通っています。私たちが取り違えていたのはここから先でした。動く仕組みができることと、その成果物が使えることは別です。
何がダメだったのか
出来上がりは、編集を担当した人間の評価で「使えない」でした。結局その人がカットし直しています。
1つ目の原因は、カット点の置き場所です。私たちは文字起こしが返す単語の区切りを、そのままカット点に使いました。ところが人の編集を調べると、カット点のほとんどは声の入っていない静かな谷に置かれています。私たちの仕組みはその割合が大きく下がり、声の途中で切れた箇所が残りました。語尾が欠け、つなぎ目が不自然になる。0.2秒台のずれが、見る人には違和感として全部伝わります。
2つ目は、削った量そのものです。人は素材を半分程度まで削っていました。私たちの仕組みが削れたのは1割ほどです。この差がどこから来たかというと、人は「この話は要らない」という中身の取捨をしていました。仕組みのほうがやっていたのは、無音と明らかな言い直しを削ることだけでした。
さらに、仕組みが削ったもののうち一部は、人が戻していました。中でも多かったのが似た文を言い直しと誤判定した箇所です。「個人での成果を重んじる会社」と「チームでの成果を重んじる会社」のように、対比や列挙のために形の似た文が並ぶことがあります。文の見た目だけで比べれば、これは言い直しに見えます。ですが話の骨格そのものです。似ているかどうかは、削ってよいかどうかの根拠になりませんでした。
精度を上げる設計まで作って、なぜやめたのか？
答えを先に言うと、残った差が手数ではなく判断だったからです。
直し方は分かっていました。カット点は文字起こしの区切りをそのまま使わず、前後の音量が最も小さい位置に寄せる。詰める間（ま）の基準は0.2秒台まで下げる。中身の取捨は仕組みが実行せず、削る候補の印だけ付けて人に渡す。ここまで設計を書き終えています。
それでも本番には載せませんでした。理由は、その日の作業で人が入れた手直しが400箇所を上回っていたからです。しかも一番効く部分、つまり素材を半分にする中身の取捨は、最後まで人の判断でした。ここを人がやるなら、前工程をどれだけ精密にしても作業時間は大きくは減りません。加えて、仕組みが誤って切った箇所を戻すという新しい作業が増えます。
私たちは自動化を、AIの性能ではなく運用が続くかどうかで見るようにしています（自動化の失敗が性能でなく運用で起きる話）。今回は運用に載せる前に止めました。作った設計は保存してあるので、再開すると決めた日に設計からやり直す必要はありません。やめる判断は、捨てる判断とは別です。
捨てずに回した先は、どこか？
同じ部品を字幕（テロップ）の工程に回しました。収録音声から文字を起こすところまでは共通で、こちらは効いています。
ただし、起こしたままでは使えません。固有名詞と専門用語の誤字が多く、全文を1度直す工程を必ず挟んでいます。それでもゼロから打つよりは速く、続いています。カットとの違いははっきりしていました——字幕は正解が1つに決まり、カットは人によって正解が変わります。前者は手数で、後者は判断です。
この線引きは、動画に限った話ではありませんでした。私たちは運用の中で、AIに回す工程と人が握る判断を分けて設計しています（人に残す判断を6つに絞った話）。任せる範囲を広げるときも、いきなり本番ではなく試し実行と検算を挟みます（本番前に二段のゲートを置く話）。今回はその手前、そもそも任せる工程の選び方を間違えていた例です。
明日から試せる、1回だけの突き合わせ
自動化を検討している作業を1つ選んで、人がやった完成物とAIに作らせたものを並べてみてください。見るのは出来の良し悪しではなく、違いの中身です。手を入れれば同じ形になるなら手数、そもそも選んでいるものが違うなら判断です。
判断側だと分かったら、自動化の目標を完成物から下書きに下げます。私たちの場合、カットは下書きにもなりませんでしたが、文字起こしは下書きとして残りました。かかるのは1回30分ほどで、費用も新しい道具も要りません。作る前にこれを1度やっていれば、私たちは同じ結論にもっと早く着いていたはずです。