※英語資料からの引用は、PIMOAが日本語に訳しています。
2023年、ニューヨークの弁護士が、スマートフォンでChatGPTにこう打ち込みました。
Varghese(ヴァルギース)は本物の判例か(筆者訳)
ChatGPTの答えは、本物の判例だというものでした。弁護士は続けて出典を尋ねました。ChatGPTは先ほどの混乱をわびたうえで、こう答えています。
改めて確認したところ、この判例は確かに存在し、WestlawやLexisNexisといった判例データベースで見つけることができます。(筆者訳)
ほかの判例は偽物ではないか、という問いにも、本物だと答えています。
この判例は、存在しませんでした。このやりとりのスクリーンショットは、のちに弁護士自身が裁判所に提出し、制裁を決めた判決文の付録として今も読むことができます。いつ質問したのかについて本人の説明は途中で変わり、裁判所はその矛盾も問題にしました。確かなのは、AIが「実在する」と答えたことは、実在の証拠にはならなかったということです。
AIが、事実でないことをもっともらしく言い切る現象を「ハルシネーション」と呼びます。この記事では、AIがなぜ言い切るのか、そしてAIの答えの裏付けをどこで取ればよいのかを、実際に起きた2つの事件から考えます。
相手の弁護士が「見つからない」と書いてきた
事件の発端は、ありふれた損害賠償の訴訟でした。原告のマタ氏は、エルサルバドルからニューヨークへ向かう便で、金属製のサービスカートがひざに当たってけがをしたとして、航空会社のアビアンカを訴えました。アビアンカは、国際線の事故に適用される条約(モントリオール条約)の期限を過ぎているとして、訴えの却下を求めます。
原告側はこれに反論する書面を出しました。書いたのはシュワルツ弁護士。この連邦地裁で活動する資格がなかったため、署名と提出は同じ事務所のロドゥカ弁護士が行いました。書面には、期限が延びると主張するための判例がいくつも引用されていました。
まず、相手方が疑いました。アビアンカ側の弁護士が、引用された判例の大半が見つからないと書面で指摘したのです。次に、裁判所が自分で探しましたが、見つかりませんでした。裁判所が判例の写しを出すよう命じると、原告側は判決の全文ではなく「抜粋」を添えた宣誓供述書を出しました。ChatGPTが判例を作り出していたと原告側が初めて認めたのは、相手方の指摘から2か月以上たってからでした。
最終的に、実在しないと認められた「判決」は6件。判決文が取り上げた偽の判決には、事件番号や判事の名前まで付いていました。判事は、そのうちの一つについて、最初の数段落を読むだけで中身が支離滅裂だと分かったはずだと指摘しています。
確かめる機会は、何度もあった
判決文を読むと、AIの誤りより、人が確かめなかった経緯の方が詳しく書かれています。
シュワルツ弁護士は審問で、ChatGPTについてこう述べました。
私は、ChatGPTを、すごい検索エンジンのようなものだと誤って思い込んでいた(筆者訳)
事務所が契約していた判例データベースでは、連邦の判例を十分に調べられなかった。そこで、うわさに聞いていたChatGPTを使ったといいます。さらに、問題の判例を自分でも探して「見つけられなかった」と証言しています。判決は、見つからないと分かっていながら、そのことを裁判所に伝えなかったと認定しました。署名したロドゥカ弁護士は、引用された判例を1件も読んでいませんでした。
判決は、AIを使ったこと自体を責めてはいません。冒頭にこうあります。
技術の進歩はありふれたことで、信頼できるAIツールを補助に使うこと自体に、本質的に不適切な点はない。しかし既存のルールは、提出書面の正確さを確保する門番の役割を弁護士に課している。(筆者訳)
裁判所は、2人の弁護士と事務所に連帯で5,000ドルの支払いを命じました。あわせて、原告本人と、偽の判決の著者として名前を使われた実在の判事一人ひとりに、この判決文を添えて手紙で知らせるよう命じています。
裁判所が問題にしたのは、AIを使ったことではありません。存在しない可能性を示されても引用を訂正せず、裁判所への説明にも虚偽や矛盾があったことです。判決はこれを、単なる確認不足を超える「主観的な悪意」と認定しました。AIの誤りは出発点にすぎず、事件を大きくしたのは人の側の行動でした。
AIはなぜ、知らないことを言い切るのか
では、AIはなぜ「わかりません」と言わずに、存在しない判例を言い切ったのでしょうか。
この事件のChatGPTが誤った原因を、個別に調べた研究はありません。ただ、AIが「わからない」と言いにくくなる背景を説明した論文があります。2025年9月にOpenAIなどの研究者が発表した「言語モデルはなぜハルシネーションを起こすのか」です。
論文は、誤りが学習の段階で生まれる仕組みと、改良を重ねても誤りが残る理由を論じています。残る理由の一つとして挙げているのが、AIの評価のしかたです。論文は、AIを難しい試験を受ける学生にたとえます。正解なら1点、空欄や「わかりません」なら0点という採点では、分からない問題でも何か書いた方が、平均の点数は上がります。AIの性能を比べる評価の多くがこの形になっているため、確信がなくても推測で答える方が得をしてしまう、というのです。
論文には、印象的な実験があります。DeepSeek-V3というAIに、論文の著者の一人の誕生日を「知っているなら」という条件付きで尋ねました。答えは、試すたびに「03-07」「15-06」「01-01」と変わり、どれも間違いでした(正しい誕生日は秋です)。
「知っているなら答えて」と頼んでも、推測を止められなかったのです。そして推測は、正解と同じ自信のある口調で出てきます。答えの見た目からは、正解と推測を区別できません。
論文は、ハルシネーションは避けられないものではなく、確かでないときに「わからない」と答えるAIはつくれるとし、評価の採点のしかたを変えることを提案しています。ただ、それは作る側の課題です。使う側にとって大事なのは、同じAIに「本当か」と聞いても、返ってくるのはまた同じ口調の答えだ、ということです。
大手コンサルの報告書にも、架空の引用が残った
AIの答えをそのまま使ってしまう危うさは、一人の弁護士だけの話ではありません。
2025年7月、大手会計事務所デロイトのオーストラリア法人が、オーストラリア政府(雇用・職場関係省)の委託でまとめた報告書が公開されました。契約額は44万豪ドルです。
この報告書に、存在しない参考文献が並んでいることに気づいたのは、シドニー大学で保健・福祉法を研究するクリストファー・ラッジ博士でした。同じ大学の法学の教授が書いたとされる本が、存在しなかったのです。調べると、架空の文献や脚注が十数件見つかり、裁判の判事の発言として、実際にはない文章まで引用されていました。
デロイトは修正版を公表し、そこで、報告書の作成に生成AI(Azure OpenAI GPT-4o)を組み込んだツールを使ったことを明記しました。委託料の最終回の支払い分は返金することになりました。省は「報告書の中身は維持され、提言に変更はない」(筆者訳)としています。
個々の誤りがどう生まれ、社内でどんな確認を通ったのかは、報道からは分かりません。はっきりしているのは、根拠のない引用が、外に出す文書に残ったことです。
2つの事件では、誤りを見つけた人に共通点があります。アビアンカ側の弁護士は、判例データベースで実際に探した。ラッジ博士は、引用された本が本当にあるかを確かめた。どちらも、AIの答えを証拠にせず、AIの外にある資料で裏付けを取ろうとした人です。
PIMOAのコラムで決めていること
実は、このコラムもAIエージェントが調査・執筆しています(その仕組みは「このコラムも、実はAIエージェントが調査・執筆しています」で紹介しています)。AIに書かせる以上、ハルシネーションは他人ごとではありません。
そこで、執筆を担当するAIへの指示には、「元の資料を開いて確かめたことだけを書く」「確認できなかった数字や固有名詞は書かない」と定めています。この記事でも、OpenAIの紹介ページは開けなかったため、論文の本体を開いて確かめた内容だけを書きました。マタ事件の経緯は、判決文の本文と付録のスクリーンショットで確かめています。
それでも、誤りはなくなりません。過去には、「AIは役に立った。それでも『冬』は来た」の下書きで、日本の第五世代コンピュータ・プロジェクトの終了年が間違っていたことがあります。見つけたのは、下書きを書いたAIとは別のAI(ChatGPT)によるレビューで、元の資料までさかのぼって確かめた結果でした。ただ、そのレビュー役もAIです。だから、最後は代表が読んで確認してから公開しています。
裏付けは、AIの外で取る
社内でAIを使うときも、同じ考え方が使えます。よくある例で考えてみます。営業担当が、AIに手伝わせて補助金を使った提案書を作り、補助の上限額と対象条件を書き込んだ。上司は文章の読みやすさを直して、そのまま客先に出した。募集要領を開いて、金額と条件、対象の年度を確かめた人は、誰もいなかった――。
確かめが必要なのは、固有名詞、数字、日付、引用、そして法令・判例・規約・募集要領のように「根拠」として使う部分です。
- その資料は、公式サイトや判例データベースなど、AIの外で実際に見つかったか。見つからなければ削る
- 見つかった資料で、引用した箇所とその前後を読み、数字・条件・対象の範囲が本文の記述と一致しているか
- 同じAIに「本当か」と聞いたことを、確認の代わりにしていないか
- 誰が、どの資料のどこを確認したかを、後から分かるように残したか
マタ事件の弁護士がChatGPTに尋ねたのは、「本物か」「出典は」「ほかは偽物か」の3つ。どの回答も、判例の実在を認める内容でした。必要だったのは4つ目の質問ではなく、判例データベースで、判決を一度探すことでした。
参考文献・資料
Mata v. Avianca, Inc., 678 F.Supp.3d 443(S.D.N.Y. 2023年6月22日、制裁に関する判決文。付録Bに当事者のChatGPTとのやりとりの画像)
Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala, Edwin Zhang "Why Language Models Hallucinate"(arXiv、2025年9月)
The Register "Deloitte refunds Australian government over AI in report"(2025年10月6日)
Fortune "Deloitte to refund Australian government after AI hallucinations found in report"(2025年10月7日)