結論: AIの成果がズレるのは、完了の定義を渡していないからです
私たちが社内ルールにしたのは1行です。着手前に「何を満たせば完了か」をAI側から3〜5個挙げさせ、それを見てから進ませる。 これだけで手戻りの大半が消えました。
AIが期待どおりに動かないとき、原因をAIの性能に求めたくなります。私たちもそう考えていた時期がありました。しかし実際に手戻りを1件ずつ振り返ると、ほぼ全部が同じ形をしていた——こちらが完了の姿を渡していないのに、AIが勝手に完了の姿を埋めていたのです。埋めた内容が当たれば成功、外れれば手戻り。それは運です。
「やっといて」で頼むと、何が起きるのか？
答えを先に言うと、AIが空白を自分で埋めます。理由はシンプルで、依頼文に書かれていないことは、AIにとって「任された部分」だからです。人の部下なら「ここはどうしますか」と聞き返しますが、AIは聞き返さずに埋めて進む場合があります。
弊社で実際に起きたのは2種類です。1つ目は、頼んでいない改善まで一緒に入ってくること。作業のついでに近くの気になる箇所も直され、こちらは頼んだ範囲だけを確認するつもりだったのに、全体を見直す羽目になりました。2つ目は、依頼に2通りの読み方があるとき、確認なしに片方を選んで進められること。選ばれた側が意図と違えば、成果物は丸ごと作り直しです。
どちらも「AIが悪い」で片づけられる話ではありません。空白を残したのはこちら側で、AIは空白を埋めただけです。 そこで私たちは、AIの振る舞いのほうに先に線を引きました。読み方が2つ以上あり成果物が変わるなら、勝手に選ばずに候補と推奨を出して確認する。頼まれていない改善は実装せず、提案として並べるだけにする。この2つは今も社内の行動原則として置いています。
合格条件とは、具体的に何を書くのか？
答えを先に言うと、「これが満たされていれば完了」と言い切れる箇条書きを3〜5個です。私たちの運用では、これをこちらが書くのではなくAI側に先に挙げさせて、こちらが見て確認します。
順番が逆に見えるかもしれません。しかし理由があります。こちらが合格条件を書けるなら、そもそも依頼の解像度は足りている。危ないのは、こちらも完成形を言語化できていないまま頼んでいる場合です。AIに挙げさせると、AIが何を完了と考えているかがそのまま出てくる。ズレていればその場で分かります。着手前に分かるズレは、修正コストがほぼゼロです。
判断の重さで扱いを変えています。新しく何かを作る、複数の場所に手を入れる、お金や外部への送信が絡む——こうした範囲の広い依頼は、合格条件を見て私たちがOKを出すまで着手させません。逆に、軽微な修正は条件を提示させたうえでそのまま進めさせます。全部に承認を挟むと、承認そのものが形骸化して読まれなくなるからです。この線引きの考え方はAIに勝手にやらせない操作を「事前承認」と「後戻り」で決めた記事と同じ軸で引いています。
合格条件に必ず入れている3つは何か？
答えを先に言うと、①既存を壊さない範囲②どうやって確かめるか③完了の証拠、の3つです。これは私たちがAIに挙げさせた条件を見るときのチェック項目でもあります。
1つ目の「既存を壊さない範囲」は、触ってよい場所と触ってはいけない場所を先に決めることです。これが抜けると、頼んだ箇所は直ったのに別の箇所が動かなくなる、という交換が起きます。2つ目の「どうやって確かめるか」は、完了を主張する前に何を実行して確認するのかを決めておくことです。確かめ方が決まっていない仕事は、確かめられないまま終わります。3つ目の「完了の証拠」は、終わったと言うときに何を見せるかです。
もう1つ、条件とは別に必ず出させているものがあります。自信のない箇所への確信度です。確信度が中や低のまま進ませない、と決めています。文体で押し切られると、こちらは判断材料を失う。「たぶん大丈夫です」と「確信度は低いです」では、次に打つ手がまったく違います。
正直に言うと、これで全部は防げていません
答えを先に言うと、合格条件は着手前のズレしか潰せません。作業の途中で前提が変わる、条件は満たしているのに使い物にならない。こうした着手後のズレは、別の仕組みで受けています。
そのため私たちは、合格条件を入口の対策と位置づけ、出口には別のゲートを置いています。本番の前に試し実行を挟む設計がそれで、試し実行と検算を挟む二段ゲートの記事に詳しく書きました。入口で完了の定義を揃え、出口で実物を確かめる。片方だけでは足りない、というのが今のところの結論です。
また、毎回の依頼で条件を挙げさせるのは会話のコストになります。私たちはこれを毎回書かずに済むよう、社内AIの共通ルールとして1枚にまとめて常に読ませる形にしました。ルールを日本語1枚で持たせる考え方は社内AIの憲法を書いた記事にまとめています。
今日から試せる一歩
次にAIに何か頼むとき、送信する前に1行だけ足してください。
「着手する前に、何を満たせば完了かを3つ挙げて。それを見てからOKを出します。」
これだけです。ツールの設定も、環境の準備も要りません。返ってきた3つを読んで、自分が考えていた完成形と1つでもズレていたら、それが今日防げた手戻りです。ズレが1つもなければ、そのまま進ませればいい。この一手間が重いと感じる依頼ほど、そもそも完成形が固まっていない依頼です。