結論: 先に削るのは、誰も見ていない時間に動いた分です
生成AIの利用料が高いとき、最初に見直す場所は使っている機能ではありません。誰も見ていない時間に動き続けていた分です。私たちはこれを「空振りコスト」と呼んでいます。
弊社は社内の自動処理を増やしていく過程で、週の利用上限に到達しました。作業が途中で止まり、追加分を買い足してその週をしのぎました。そのとき分かったのは、費用を押し上げていたのは人が使っている場面ではなく、人がいない時間に律儀に動き続けている処理だった、ということです。
以下は、そこから決めた削り方の順番です。順番が大事で、内訳を測る前に何かを止めると、たいてい効かないものを止めます。
生成AIの利用料は、なぜ急に膨らむのか？
答えを先に言うと、増えるのは1回あたりの重さではなく、動く回数です。
弊社では、社内チャットに投げた指示を拾いに行く処理や、返信の下書きを用意する処理を、15分おき・1時間おきといった短い間隔で動かしていました。1回あたりは軽い処理です。ただ、朝から深夜まで動けば回数は積み上がります。人が指示を投げていない時間帯も、同じ間隔で見に行っては「何もありません」と確認して終わる。この「何もありません」の1回1回にも利用料はかかります。
導入した機能の数や、1回の指示の長さを気にする方は多いと思います。弊社で実際に効いたのはそこではありませんでした。費用は使った量ではなく、動かした回数で決まります。
どこを削れば効くのか？——内訳を測るのが先
答えを先に言うと、削る場所を決める前に、処理ごとの内訳を測ります。
弊社が1週間ぶんの使用量を処理ごとに集計したところ、上位5本で全体の7割を超えていました。裏を返せば、残りの数十本をどれだけ切り詰めても、費用はほとんど動きません。最初は思いついた順に細かい処理を止めていましたが、翌週の数字は変わりませんでした。
そこで方針を変えました。全体に薄く節約をかけるのをやめ、上位だけに手を入れる。節約は、全体に配るのではなく上位に集めます。あわせて、毎週決まった曜日に処理ごとの使用量を出す定点観測を用意しました。この通知は検知だけを行い、止める判断は人が下します。自動で止める設計にすると、必要な見張りまで黙って止まるからです。止まったことに気づけない問題は、自動化が止まっても沈黙で分からなくなる話で詳しく書いています。
止めるものと残すものを、どう仕分けたか？
判断に使った軸は2つだけです。空振りが多いかどうかと、止めたときに実害が出るかどうか。
上限に到達した週、弊社は3日間で17本の自動処理を止めました。止めたのは、高頻度で巡回するものと、生成・分析にあたるものです。逆に、1本も止めなかった領域があります。お金と期日に関わる見張り——支払い漏れの検知、請求書の取り込み、納付期日のリマインドなど。ここは費用が高くても対象外にしました。
選定の基準は1行で書けます。止めても、その週に金銭・期日・お客様対応へ穴が空かないものだけを止める。この基準に照らすと、迷う処理はほとんどありませんでした。止めた17本は3日後の木曜にすべて元へ戻しています。戻す日を決めずに止めると、そのまま忘れて必要な処理が消えます。
一時停止で終わらせないために、何を変えたか？
答えを先に言うと、一時停止は在庫の取り崩しでしかありません。翌週には元の消費に戻ります。
恒常的な対策として、高頻度で巡回する4本について、動かす時間帯そのものを変えました。夜9時から翌朝10時のあいだは動かさない。理由は単純で、その時間帯は誰も指示を投げていないからです。就寝や起床の時刻は日によってばらつきますが、この時間帯に投げ込みが発生しないことは実際の使われ方から確認しました。処理の中身も、通知の内容も変えていません。動く時間帯を削っただけです。
ただし、すべての処理を一律に絞ったわけではありません。1日1回だけ動く朝のレポートは、時間帯を変えても回数が変わらないので費用は減りません。それどころか、朝に届かなくなる不利益のほうが大きい。時間帯を絞って効くのは、高頻度で動くものだけです。この線引きをせずに一律で夜間停止をかけると、費用は減らないのに使い勝手だけが落ちます。
削っても効かなかった打ち手はあるか？
あります。やらないと決めたものが2つあるので、正直に書いておきます。
1つ目は、AIに読ませている社内ルールの文書を大幅に削ることです。文章量を減らせば読み込みぶんが減る、という発想でした。実際には、同じ文書を繰り返し読ませる場合の費用が割り引かれる仕組みがあり、削っても1割程度しか変わらない見込みでした。一方でその文書には、どの依頼をどの担当に振るかという起動条件が書かれています。削れば動かなくなる処理が出る。効果が小さく、壊す範囲が大きい。やめました。
2つ目は、すべての処理を軽い担当へ一律に切り替えることです。読み込みと整形が中心の作業は軽い側に渡してよい。ただし、合否の判定、次の工程へ進めてよいかの判断、お客様に出す文面については渡さないと線を引きました。ここを費用で決めると、削れた金額よりも手戻りのほうが高くつきます。人に残す判断をどう決めるかは、自動化を増やす前に読み手の定員から数える話にまとめています。作った仕組みを使わないと決めた例は、編集の自動化を止めた判断にも書きました。
明日からできる最初の一歩
まず、直近1週間の使用量を処理ごとに出して、上位5本だけを紙に書き出してみてください。多くの場合、想像していた処理とは違うものが並びます。
次に、その5本が動いている時間帯を見て、誰も指示を投げていない時間が含まれていないかを確認します。含まれていれば、そこが空振りコストです。ここまではツールの追加も設定変更も要らず、今ある実行履歴を眺めるだけでできます。削るかどうかを決めるのは、その後で構いません。