AI導入の効果が測れない——数えるのは「肩代わりした件数」

結論: 効果は仕組みの数ではなく、AIが終わらせた件数で測ります

AI導入の効果が測れないとき、足りていないのは分析ではありません。数える単位が決まっていないだけです。私たちが毎日見る主な指標は1つ、その日にAIが人の代わりに終わらせた仕事の数です。これを「肩代わり件数」と呼んでいます。判断のために、人が動かした件数と、人のところで止まっている件数も並べて確認します。

弊社にも、動いている自動処理の一覧は出せるのに「それで何がどれだけ楽になったのか」に答えられない時期がありました。社内のメモに残っているのは「構築しているのに自分の稼働が減った実感がない」という1行です。仕組みは月ごとに増えている。実感だけが増えない。数えていたのが作った側の数で、終わった仕事の数ではなかった。

そこで数える場所を変えました。今は1日の終わりに、AIが肩代わりした件数と、人が動かした件数と、人のところで止まっている件数が、1通にまとまって届きます。

なぜ、AI導入の効果は見えなくなるのか？

答えを先に言うと、効果が生まれる場所と、数えている場所がずれるからです。理由はシンプルで、導入の作業は自社の中だけで増やせるのに対し、効果は「人が触らないまま終わった仕事」としてしか現れないからです。

導入を進めているあいだ、手元で増えるのは仕組みの本数・つないだ道具の数・書いた指示書の枚数です。どれも自分たちの都合だけで増やせます。増えれば進んでいるように見えます。ところがこれらは、1件も仕事が片付いていなくても増やせる数字です。弊社が長いあいだ見ていたのはこちら側でした。

数える単位を変えると、打ち手も変わります。作った数を見ていたときの次の一手は「もっと作る」しかありません。肩代わり件数を見ていると、次の一手は「止まっている場所を1つ外す」になります。同じ現場を見ていても、数える単位が変われば改善の向きが変わる。私たちが単位から決め直した理由はここにあります。

何を数えれば、効果だと言えるのか？

答えを先に言うと、1つの数字では足りません。弊社が1通に並べているのは3つです。1つ目はAIが肩代わりして終わった件数、2つ目は人がタップして前に進めた件数、3つ目は人のところで止まっている件数です。

1つ目だけを出すと、数字は増える一方になります。増えたぶんの仕事が本当に人の手から離れたのか、それとも人の確認待ちに積み上がっただけなのかが分かりません。肩代わり件数は、止まっている件数と必ず並べて出す。止まっている件数には、そのうち2日以上動いていないものが何件かも添えます。

この1通には、止まっている案件の中身は書きません。件数と、一覧を開くリンクだけです。明細まで書くと、その1通が「読んで判断する仕事」に変わってしまうからです。振り返りは振り返りだけを担当させ、対応の依頼は別の便に任せています。自動化の出力を増やすほど読む人の負担が上限に達する話は、読む人の数から自動化の上限を決める記事で詳しく書いています。

その数字は、誰が数えるのか？

答えを先に言うと、集計は1本のスクリプトに固定し、AIにも人にも数え直させません。理由はシンプルで、数え直しは必ずずれるからです。

同じ日の件数を、記録から数える人と画面から数える人が別々に出すと、どちらが正しいかを確かめる仕事が新しく増えます。効果を測るための作業が増えては本末転倒です。そこで集計元を1つに決め、届く1通の数字はその出力をそのまま載せる形にしました。

もう1つ決めているのが、取れなかった数字は「取得失敗」と書き、0件とは書かないことです。取得に失敗した日と、本当に0件だった日は、意味がまったく違います。0件と書いてしまえば、翌日から「静かな日だった」として読み流されます。自動化が黙って止まっていても気づけない問題は、沈黙を最終実行の時刻で見分ける記事に書いたとおりで、効果の集計そのものにも同じ穴が空きます。

肩代わり件数が増えれば、楽になったと言えるのか？

答えを先に言うと、言えません。件数は「人の手から離れた仕事の数」であって、削減できた時間でも金額でもないからです。弊社はここを金額に換算していません。換算の前提を置いた時点で、その前提のほうが数字を動かしてしまうためです。

見ているのは水準ではなく動きです。肩代わり件数が横ばいのまま、止まっている件数だけが伸びていれば、増えたのは仕事ではなく待ち行列です。逆に、承認なしで最後まで終わった件数が増えていれば、人が確認しなくてよい範囲が実際に広がったことになります。

人のところで止まっている件数は、この差ではなく、実際の状態から別に数えます。

正直に書くと、この1通で分かるのは「今日どれだけ任せられたか」までです。任せた結果それぞれの品質までは見ていません。費用の側も別に見ており、動かした回数から膨らむ利用料の話は空振りコストの記事にまとめています。そして、この便自体にも止め方を決めてあります。届き始めて2週間、こちらが一度も反応しなかったら配信を止める。読まれない振り返りは、効果を測っているのではなく通知を増やしているだけだからです。

明日からの一歩

まず、今日AIに任せた仕事のうち「人が一度も触らずに終わったもの」を数えて1行だけ書き残してみてください。集計の仕組みは要りません。日付と件数、そして自分のところで止まっているものの件数、この2つを並べて書くだけで十分です。

数字が3日ぶんたまると、増やすべきものが仕組みなのか、外すべきものが確認なのかが見えてきます。効果測定を始める日に要るのは道具ではありませんでした——数える単位を1つ決めることでした。