結論: 空振りの原因は、処理の書き方ではなく「取りに行った先」です
自動化がエラーを出さないまま何も起こさないとき、私たちはまず処理の中身を疑いません。取りに行った先に、欲しい情報がそもそも入っていないかを先に確かめます。
理由はシンプルで、この形の失敗は失敗として検知されないからです。処理は最後まで走り、記録には「成功」と残る。止まっていれば気づけますが、空振りは静かに続きます。弊社もこれを、自社の更新作業で数か月見逃しました。
なお、誰も見ていない時間帯に処理が動き続けて利用料だけがかさむ話は別の問題です。そちらはAIの利用料を空振りコストで見直した記事に分けて書いています。ここで扱うのは、動いているのに成果がゼロのままになる状態です。
エラーが出ないのに何も起きない、はどういう状態か？
答えを先に言うと、自動化の不調は3つに分かれます。1つ目は止まっている状態、2つ目は動いているが取れるものがない状態、3つ目は取れているが誰にも使われていない状態です。空振りと呼んでいるのは2つ目です。
1つ目は比較的すぐ表に出ます。処理が落ちれば記録が途切れるので、最後に正常終了した時刻を見れば判別できます。この見分け方は自動化の沈黙を最終実行の鮮度で見分ける記事に書きました。
やっかいなのは2つ目です。処理としては正常に終わっているので、記録の上では成功と区別がつきません。更新0件という結果が「今回は対象がなかった」なのか「永久に対象は発生しない」なのかを、記録は答えてくれない。ここを分けられるのは、取りに行った先の実物だけです。
弊社の失敗: メールから拾う設計が、最初から成立していなかった
弊社は自社で運用している音楽の配信で、公開ページのリンクを自動で更新する仕組みを動かしていました。配信を代行するサービスから届くメールを読み、各音楽サービスの曲ページのURLを抜き出して差し込む、という設計です。
動かし始めてから、更新された曲は0件でした。エラーは1度も出ていません。実行の記録は毎回正常終了です。私たちはしばらく「まだ配信が始まっていないのだろう」と解釈していました。
原因が分かったのは、届いたメールを1通、全文で開いたときです。入っていたリンクは管理画面へのものだけで、各音楽サービスのURLは1本も含まれていませんでした。届く通知の種類そのものも3種類しかなく、そのどれもがURLを持っていない。つまり、メールから拾うという設計は最初から成立していなかったことになります。
取り方が下手だったのではありません。取りに行った先に、最初から無かった。ここを確かめる作業を、私たちは仕組みを作る前にやっていませんでした。
「0件」は「無い」ではありません——探した範囲を先に疑う
もう1つ、同じ調査で踏んだ失敗があります。メールを探す条件を直近90日に絞っていました。その範囲では該当らしきものが数件しか出ず、中身を見るとログインの確認コードなど別件ばかりでした。
ところが、本当に見るべきメールの実体は、その90日より前にありました。私たちが見ていたのは「無い」ではなく「探した範囲に無い」だっただけです。窓の外に本体がある状態で、窓の中の数件だけを見て「この経路にはデータが来ていない」と判断しかけていました。
そこで運用を1つ変えました。0件や極端に少ない件数が返ってきたときは、そのまま結論にせず、期間・条件・場所のうち1つだけを広げてもう一度見る。広げても同じなら、そこで初めて「無い」と扱います。処理した結果を別の経路で数え直す考え方は自動仕訳で推測と確定を分けた記事と同じで、間違いを作った画面の上では、その間違いは正しく見えます。
自動化の前に、人の作業が残っていないか
調べ進めて分かったことがもう1つあります。対象にしていた曲のうち半数近くは、そもそも配信の登録自体が済んでいませんでした。登録が無ければ、どの取り方に変えてもリンクは存在しません。
これは設計の問題ですらありません。入力が発生していないものは、自動化ではなく人の作業が残っている状態です。取り方の代替案を比べる前に、入力が実際に発生している件数を数えていれば、検討の順番は変わっていました。
正直に書くと、この件はまだ決着していません。別のページを読みに行く・各音楽サービス側から曲を引く・管理画面を機械で読む、といった代替案は挙がっていますが、そもそもこの自動更新が要るのかを含めて判断を保留しています。空振りしていた仕組みを直すことと、その仕組みを続けることは、別の判断だからです。
明日からできること: 「現物1件テスト」を通す
私たちが作った確認を「現物1件テスト」と呼んでいます。仕組みを作る前と、空振りに気づいたときに、取りに行く先の実物を1件だけ全文で開き、欲しい情報が本当に入っているかを目で見る。それだけです。
見るのは4点です。①実物を1件だけ全文で開く②欲しい項目が本当に入っている③0件や極端に少ないときは範囲を1つ広げて見直す④そもそも入力が発生している件数を数える。抜き出す処理を書くのは、この4点が通ってからで間に合います。
まず、いま動かしている自動処理を1つ選んでみてください。そして、その処理が読みに行っている先の実物を1件だけ開いて、欲しい情報が入っているかを自分の目で確かめる。ここまでなら、道具も準備も要らず今日できます。更新0件が続いている仕組みほど、先に開く価値があります。