PIMOAでは、AIを使った2つの仕事を毎晩自動で動かしています。
ひとつは、AIに関する新しいニュースを集め、コラムのネタ帳に追加する仕事。もうひとつは、社内資料に古い情報や食い違いがないかを点検し、報告書を作る仕事です。
ある日、その成果を確認したところ、処理は毎晩起動しているものの、途中でエラーが発生し、成果物の更新が止まっていることが分かりました。
この出来事から見えてきたのは、AIの性能の問題ではありません。
私たちの仕組みが確認していたのは、AIが「起動したか」までだったことです。「最後まで処理を終えたか」「成果物が作られたか」「内容に問題がないか」までは、確認の対象になっていませんでした。
自動化した仕事は、どこまで確認できれば「完了した」と言えるのか。
今回は、実際の運用で見つかった問題と、PIMOAが追加した監視の仕組みを紹介します。
毎晩起動していても、仕事が終わったとは限らない
最初に確認したのは、実行のたびに残る記録(ログ)です。そこには、同じエラーが複数残っていました。
一方、当時のログには実行日時が十分に記録されていなかったため、成果物の更新履歴から状況を確認しました。ニュースのネタ帳は9月14日、社内資料の点検報告書は9月16日が最後の更新でした。
どちらの処理も毎晩起動していましたが、処理の途中で止まり、成果物を残せていなかったのです。
今回の処理は社内向けのものであり、取引先やお客様への直接的な影響はありませんでした。ただし、起動だけを確認していても、仕事の完了は確認できないことが明らかになりました。
修正したあとに必要だった、もう一つの確認
エラーが見つかった当初は、夜間のネットワーク接続が原因だと考え、接続可能になるまで待つ処理を追加しました。
しかし、実際の原因は別にありました。
夜間の自動実行では、人がパソコンを操作しているときと異なる環境で処理が動きます。そのため、AIを利用するためのログイン情報を正しく読み込めていませんでした。
ここで得た教訓は、単純です。
「修正したこと」と「修正後に成果が出るところまで確認したこと」は、同じではありません。
修正後は、夜間の自動実行と同じ条件で処理を動かし、最終的な成果物が更新されるところまで確認する必要があります。
AIではなく、完了の定義に問題があった
今回のエラーは、AIが期待した回答を出せなかったという問題ではありませんでした。AIの周囲にある実行環境と、完了を確認する仕組みの問題です。
仕事の完了を分解すると、少なくとも次の5段階があります。
| 段階 | 今回分かったこと |
|---|---|
| 処理が起動した | 毎晩起動していた |
| 最後まで正常に終了した | 途中でエラーが発生していた |
| 成果物が作られた | 更新されていなかった |
| 成果物の内容に問題がない | 成果物がなく、確認できなかった |
| 異常が人に通知された | 通知の仕組みがなかった |
確認できていたのは、最初の「処理が起動した」まででした。
これはAIに限りません。自動化された仕事では、プログラムが動き始めたことと、期待した仕事が終わったことは別です。
成果物ができるところまで確認する
ログイン情報の読み込み方を修正したあと、夜間と同じ条件で処理を試しました。すると、今度は別の問題が見つかりました。
ニュースを集める処理は最後まで動いたものの、ネタ帳であるスプレッドシートに結果を書き込めていなかったのです。
このときAIは、処理に成功したように装うことなく、「書き込めなかったため、何も追加していない」と報告して終了していました。そのため、人がすぐに次の原因を調べることができました。
書き込みに必要な設定を修正し、最終的にニュースがネタ帳へ追加されるところまで確認しました。
処理の開始や終了だけでなく、期待した成果物が実際にできているか。そこまで確認して、初めて仕事の完了と判断できます。
「記録する」から「異常が届く」へ
今回の確認を受け、PIMOAでは次の点を変更しました。
- 実行のたびに日時を記録する
- 失敗の原因を追える詳細なログを残す
- 修正後は、本番と同じ条件で成果物の更新まで確認する
- 処理が途中で失敗した場合に通知する
- 処理が終了しても成果物が作られなかった場合に通知する
- 成果物の更新が一定期間止まった場合に通知する
通知については、それぞれの異常を意図的に発生させ、人に届くことまで確認しました。
ログを残すだけでは、人が見に行かなければ異常に気づけません。そこで、異常が起きたときに、必要な人へ自動的に届く設計へ変更しました。
任せるとは、異常に気づける状態を作ること
AIに仕事を任せるときは、「その仕事をAIにできるか」に目が向きがちです。
しかし実際の運用では、別の問いも必要です。
処理が止まったとき。間違ったとき。成果物が作られなかったとき。誰が、どのように気づくのか。
そこまで設計して、初めて仕事として任せられる状態になります。
AIに任せることは、人が一切確認しなくなることではありません。毎回の作業を人が見張らなくても、異常があれば人に届き、必要なときに確認できる状態を作ることです。
今回の出来事を通じて、PIMOAの自動処理は「毎晩起動する仕組み」から、「成果が出たことまで確認できる仕組み」へ変わりました。
「動かした」と「仕事が終わった」は違う。
AIを業務で使い続けるためには、その違いを仕組みとして確認できることが重要です。