結論: 完了の報告は「確かめた範囲」とあわせて受け取ります
AIの「できました」は、中身が正しいという意味ではありません。合格の報告が示すのは、AIが見た項目に問題がなかったことだけです。私たちは、検査が通っても出来上がりを開いて目で見ることにしました。
きっかけは2つの失敗でした。1つ目は、検査に合格した成果物の中身が消えていた件。2つ目は、終わったはずの処理がパソコンに200個近く残っていた件です。どちらもエラーは出ていません。報告の言葉だけを読めば順調でした。
この記事では、報告を出す前にAIが実際に見た項目を「確かめた範囲」と呼びます。合格の一言には、見ていない項目が残ります。残った項目は、人が開いて確かめるしかありません。
検査に合格したのに、なぜ中身が消えていたのか？
答えを先に言うと、検査が見ていたのは決まった項目だけだったからです。中身が消えているかどうかは、その項目に入っていませんでした。
弊社では、動画に入れるアニメーションをAIで作っています。その日の作業場所は、クラウドと自動で同期しているフォルダの中でした。途中でフォルダを作り直したところ、同期の途中だったファイルが別の名前の「競合コピー」に変えられました。本体の中身は消えていました。
AIが最後に走らせた自動の検査は「問題なし」でした。検査は通った。それでも中身は空です。AIが偽りの報告をしたわけではありません。検査が、決まった項目しか見ていなかっただけです。
直したのは2か所です。1つ目は作業場所で、AIへの指示書に「作業用のフォルダは、同期しているフォルダの外に置く」と書きました。2つ目は受け取り方です。検査が通っても、出来上がったものを実際に開いて確かめる。この確認は人の仕事として残しています。
「終わりました」「作りました」も同じ形で外れるのか？
外れます。弊社では、仕事の後始末で同じことが起きました。仕事が終わったという報告は、パソコンの中まで片付いたという意味ではありませんでした。
弊社は、決まった時刻に動く自動の仕事を数多く走らせています。十数分おきにチャットを見に行く仕事もその1つです。自動の仕事が1回動くたびに、パソコンの中でAIの処理が1つ立ち上がります。本来は、仕事が終わればその処理も終わるはずでした。実際には終わらずに残り、積み上がって200個近くになっていました。メモリの4分の3ほどを使い、パソコンは重くなって最後は固まったのです。
対策として、終わった処理を定期的に片付ける仕組みを作りました。ここに2回目の失敗があります。その仕組みは、パソコンの権限の都合で動いていない時期がありました。片付ける仕組みがあるから大丈夫だと考えていたら、その仕組みが止まっていた。
学んだのは2つあります。1つ目は、自動化を増やしたらパソコンの中に何が残っているかも見ること。2つ目は、見張りや片付けの仕組みを作ったら、それ自体が動いているかも確かめることです。「作りました」も、「できました」と同じ種類の報告でした。
見張りが止まっていることに気づけない問題は、沈黙を時刻で見分ける記事で詳しく書いています。あわせて読むと、後始末の確認をどこに置くかがつながります。
対策を1種類にしなかったのはなぜか？
理由はシンプルで、指示書に書いた決まりは必ず守られるとは限らないからです。弊社は対策を①AIへの指示書に文章で書く②実行する直前に機械的に止める③おかしなことが起きたら人に知らせる、の3種類に分けています。
指示書に書いたことは、AIへのお願いです。作業用のフォルダの置き場所は①にあたります。だから文章の決まりだけで終わらせず、出来上がりを開いて見る確認を人に残しました。お願いと確認を別々に持つ形です。
文章の決まりが守られないときに何を機械へ移すかは、実行の入口で止める記事に分けて書きました。自分以外の人にAIを渡したときの完了報告の扱いは、触れない範囲を先に閉じる記事で触れています。
今日からできる最初の一歩
まず、AIに作ってもらった直近の成果物を1つだけ開いてみてください。見るのは出来の良し悪しではありません。中身が入っているかどうかです。
次に、AIが「できました」と言ったら、その検査で何を確かめて、何は確かめていないかを書いてもらいます。確かめていない項目が返ってきたら、そこが人の見る場所です。作業用のフォルダは、最初に「同期しているフォルダの外に作って」と頼んでおけます。
自動の仕事を動かしている場合は、パソコンで動いている処理の一覧を開き、AIの名前で検索してみてください。いま動いている仕事の数よりずっと多く並んでいたら、終わった処理が残っているかもしれません。AIに「終わった処理が残っていないか毎日数えて、多ければ知らせて」と頼めば、見張りの作成を手伝ってもらえます。作ったあとは、本当に数えて知らせてくるかまで確かめてください。
事故をゼロにはできません。弊社でも、片付ける仕組みが止まっていた時期がありました。それでも、起きたときに早く気づくことはできます。
