結論: 長い会話は作業の区切りで切り、「引き継ぎの3項目」だけ持ち越します
AIとの会話が長くなったら、同じ会話で粘らずに新しい会話へ移ります。持ち越すのは「引き継ぎの3項目」だけです。①決めたこと②終わっていないこと③会話の途中で人が出した指示。弊社は今月からこの形にしました。
きっかけは費用の調べ直しです。AIの利用量が増えたので、8日分の利用記録を数えました。消費の9割超は、AIが書いた量ではなく、AIが読んだ量でした。 その半分ほどは、会話の読み直しです。読ませる量を減らすには、会話を短く保つのが近道でした。
この記事では、数えて分かった内訳、長い会話で抜けるもの、会話を切る目安、引き継ぎに書く中身を順に書きます。誰も見ていない時間に動く自動処理の費用は、空振りコストの記事で扱いました。今回は、人が画面の前で続ける会話の話です。
なぜAIとの会話は、長くなるほど重くなるのか？
答えを先に言うと、AIは返事のたびに、それまでの会話を最初から読み直すからです。10往復目の返事は10往復分を読みます。300往復目の返事は300往復分を読みます。人が1行だけ足しても、読む量は会話全体です。
弊社の記録では、消費のおよそ5割が会話の読み直しでした。およそ4割は、新しい内容を会話に積む分です。AIが文章を書いたり考えたりした分は1割に届きません。区切らずに数百往復まで伸びた会話があり、その分が全体のおよそ4分の1を占めていました。
画像も同じ扱いです。動画の確認で読ませた静止画は、一度読むと会話に残ります。そのあとの往復のたびに読み直されていました。重さの正体は、頼んだ仕事の量ではなく、会話に積もった過去の分でした。
決まりと実態のずれも見つかりました。社内の決まりには、ふだんの仕事は軽いAIに任せると書いてありました。実際は、ほとんどの仕事を上位のAIが受けていた。数えた結果を見て、決まりのほうを実態に合わせています。AIの種類も考える深さも変えず、読ませる量を減らすことにしました。
長い会話では、何が抜けるのか？
弊社で繰り返し起きたのは、報告の言葉が変わることでした。代表への報告は日本語で書く決まりです。長い作業のあとや、会話が自動で要約されたあとに、報告が英語に切り替わりました。「日本語で」と伝えた直後の返事まで英語だったこともあります。
指示書に注意を書き足しても、同じことが起きました。いまは報告を出す直前に機械の検査を置いています。英語の報告は1回止めて、書き直させます。決まりを文章から検査へ移す考え方は、指示を守らないAIを実行の入口で止めた記事に書きました。
ただ、検査で止められるのは、言葉のように見分けやすい決まりだけです。会話の途中で決めたこと、あとでやると言ったこと、人がその場で足した指示は、検査では拾えません。長い会話で抜けるのは、会話の中にしか書かれていない約束でした。
会話は、どこで切ればいいのか？
弊社の目安は2つです。1つ目は、会話の長さが決めた量を超えたとき。2つ目は、1時間以上あけて同じ会話に戻るとき。どちらの場合も、作業の区切りで新しい会話に移ります。
長さの目安を自前で持ったのは、自動の要約に頼れなかったからです。AIには、長くなった会話を自動で要約する機能があります。弊社の設定では、会話が限界の直前まで伸びないと働きませんでした。そこで、限界よりずっと手前に目安を置いています。1時間の目安は記録から決めました。長くあけた直後の往復では、会話全体を積み直したとみられる量が出ていたからです。
切らない場面もあります。引き継ぎにも費用がかかるからです。新しい会話は、最初に社内の決まりの文書と道具の一覧を1回読み込みます。弊社の計算では、長い会話でも元が取れるのは十数往復先でした。残りが数往復で終わる作業は、そのまま終えます。切るかどうかは、会話の長さと残りの作業量の2つで決めています。
引き継ぎには、何を書くのか？
「引き継ぎの3項目」です。①決めたこと②終わっていないこと③会話の途中で人が出した指示。経緯は書きません。
書くのはAI自身です。区切りが来たら、AIが作業ボード（案件ごとの進み具合を1か所に書く社内のファイル）に3項目を書きます。そのうえで、続きは新しい会話で、と人に伝えます。作業ボードの置き方は、引き継ぎを1枚に寄せた記事に書きました。
3つ目を入れた理由は単純です。会話の途中で出た指示は、その会話の中にしかありません。指示書にも作業ボードにも載っていない。書き写さなければ、新しい会話には存在しないことになります。
人に残したのは、新しい会話を始める操作です。新しい会話のAIは、作業を続ける前に、作業ボードの該当する行を読み上げます。違っていれば、人がその場で直せる形です。引き継ぎの中身は、続きを始める前に人の目に触れる形にしています。
この運用で、まだ分かっていないことは何か？
効果はまだ測っていません。会話を区切ると消費が1割弱減る、というのが弊社の見込みです。これは推測で、同じ集計をもう一度回して確かめる予定です。
数えた記録にも抜けがあります。期間中の記録のうち3割ほどは開けず、集計に入っていません。割合は動く可能性があります。消費の量は、公開されている料金の比を掛けた目安です。月額の契約で使える枠が、この比のとおりに減るかは確かめていません。
目安を守れているかの点検も、これからです。決めたのは今月で、長い会話が実際に減ったかどうかはまだ数えていません。
明日から試せる、会話を切る第一歩
いま使っているAIの中で、いちばん長く続いている会話を1つ選んでみてください。その会話に、次の1文を送ります。「ここまでに決めたこと、終わっていないこと、私が途中で出した指示を、3項目で書いてください」。
出てきた3項目を自分で読み、足りない指示を足します。それを新しい会話の最初に貼って、続きを頼みます。道具も設定も要りません。3つ目の項目に何が出てくるかを見ると、長い会話に預けていた約束の数が分かります。
