結論: 守られない約束は、書き方ではなく置き場所の問題です
AIが指示を守らないとき、私たちはもう指示の文面を直しません。直すのは置き場所です。守らせたい約束は、文章で伝えるのをやめて、実行の入口で機械に止めさせる——私たちが半年かけてたどり着いたのはこれだけです。
指示書に書いた約束は、読まれるかどうかが相手に残ります。相手が人でもAIでも同じです。だから回数を重ねても守られる確率は上がりません。私たちはこれを「文章の注意」と呼んで、守られなかった約束を数える対象にしています。
弊社にも会社のルールをまとめた指示書があります。AIに毎回読ませる前提の文書で、2本合わせて600行ほど。増え続けているので、400行を超えたら分割を提案し、500行を超えたら作業の冒頭で警告を出す、という決まりを自分たちに課しているほどです。それでも失敗は起きました。
なぜ指示書に書いても守られないのか？
答えを先に言うと、文章の注意は飛ばせるからです。実行そのものを止める力がないため、読み落とし・急ぎ・状況の違いのどれか1つで簡単にすり抜けます。
弊社で決定的だったのは、ある日の出来事です。決まった時刻に動く自動処理が、仕事を終えているのに終わり方の文面のせいで「人の入力を待っている」と判定され、誰も読まない場所に判断待ちが積み上がっていました。止まっていたのは処理ではなく、終わったという合図のほうです。原因が分かったので、その日のうちに「終わりの文面はこう書く」と指示書に書き足しました。
同じ日の夕方、同じ状態がもう一度まとまって発生しました。 追記から数時間後です。ここで私たちは、書き方の問題ではないと結論しました。文章を足す限り、守るかどうかは毎回その場の判断に残る。だからその晩、終わり方を機械が検査して、当てはまったら1回だけ書き直させる形に置き換えました。
以来、判断の順番を変えています。同じ注意を2回したら、3回目は文面を直さない。2回続いた約束は、文章から実行の入口へ移す——これを合図にしています。
どの約束を関所にするのか？
すべてではありません。関所にするのは、やり直しがきかない操作だけです。具体的には①顧客への送信②公開③削除④お金が動く操作の4つに絞っています。これ以外は、間違えてもやり直せば済むので関所にはしません。全部に関所を置くと、今度は関所を通す作業が仕事になります。
移した実例を2つ開示します。1つ目は、顧客への返信で同じ本文が2通届いた件です。送信の成否を確かめる手段が再実行しか残っておらず、確認のつもりの操作がそのまま2通目になりました。文章のルールも書きましたが、それとは別に、送信の命令が走る手前で機械が止める関所を置いています。
2つ目は、前日リマインドの連絡です。許可の確認待ちで止まっていた処理が翌日に再開し、すでに面談を終えた顧客へ「明日のご案内」を送ってしまいました。ここで足したのは注意書きではありません。送信には有効期限つきの引換券を必須にして、券がなければ実行自体をさせない形にしました。発行から2時間で切れ、1回使うと消えます。時間が経ってから再開した処理は、券が切れているので物理的に送れません。
正直に書くと、関所が止められるのは「やってはいけないこと」だけです。宛先が正しいか、その文面を今日出してよいかは、今も人が見ています。
関所を作るときに決めた3つのこと
1つ目は、通らないと動かない入口に置くことです。手順書や記憶の中にある確認は、直接実行すれば飛ばせます。飛ばせる確認は、無いものとして数えています。
2つ目は、判断できないときは止める側を選ぶことです。判定に使う道具が見つからない、途中で落ちた、といった異常は、すべて「通さない」として扱います。安全側の初期設定を逆にすると、おかしくなった日に限って気づかず通ります。
3つ目は、止め方を2種類に分けることです。終わり方の文面のように書き直せば済むものは、1回だけ止めて書き直させ、2回目は通します。止め続ける検査は、いずれ人の手で外されるか、無視されて形だけ残るからです。この検査は、誰も見ていない時間に動く処理だけに働かせています。一方で、送信・公開・削除・お金の4つは何度やり直しても止めます。承認・宛先・有効期限の条件がそろわない限り、人が操作している最中でも通しません。
この考え方は、AIに渡す権限を先に閉じておく話と対になっています。渡す前に閉じるのが権限、渡した後に止めるのが関所です。確認そのものを減らす判断は承認を勘で減らさず卒業させる記事に、止まったことに気づけない問題は沈黙を見分ける記事に分けて書いています。
今日からできる最初の一歩
まず、この1か月でAIに2回以上した同じ注意を1つだけ書き出してみてください。文面を直す必要はありません。その注意が「守らないと取り返しがつかない操作」に関わるかどうかだけを見ます。関わるなら、それが文章のままになっている時点で、同じことがもう一度起きると考えて構いません。
次に、その操作が走る入口が1本かどうかを確かめます。入口が複数あると、関所を置いても別の道から抜けます。入口を1本にまとめるところまでが、実は関所づくりの大半です。
弊社の関所は10本を超えました。それでも指示書は600行から減っていません。移せていない約束がまだ残っている、ということです。関所は増やすほど良いものでもなく、維持する対象が増えます。私たちが今も探しているのは、止めるべき4つ以外を思い切って文章に残す線引きのほうです。
