たとえば、こんな場面を考えてみてください(説明のための想定例です)。
取引先との契約を見直すことになり、社長が基本契約書のPDF(40ページ)と、2年前に交わした覚書をまとめてClaudeに渡します。質問は一つ。「解約するには、何か月前に通知すればいい?」
Claudeは、基本契約書の条文を挙げて「3か月前までに書面で通知」と答えます。条文の番号も合っていて、説明も分かりやすい。ところが、覚書には、通知の期限を6か月前に延ばす一文がありました。答えは、基本契約書の記述には合っていても、この会社の今の契約としては間違っていました。
渡した資料には、答えが書いてありました。それでも、答えに使われなかった。長い資料をAIに読ませるときに起きやすいのは、この種のずれです。この記事では、なぜそうなるのかを研究から確かめ、答えの前に、資料のどこを根拠にするかを抜き出させる頼み方を紹介します。
答えが真ん中にあると、正答率が下がった
2023年、スタンフォード大学などの研究者が、AIが長い入力のどこまでを使えているかを調べた論文を発表しました。題名は「Lost in the Middle(真ん中で迷子になる)」です。
実験はこうです。質問を一つと、Wikipediaから取った短い文書を10〜30件、AIに渡します。答えが書いてあるのは、そのうち1件だけ。その1件を、先頭・真ん中・最後と置き場所を変えながら、正答率を測りました。調べたのは、OpenAIのGPT-3.5-TurboやAnthropicのClaude 1.3など、当時のモデルです。
結果は、置き場所で大きく変わりました。答えの文書が先頭か最後にあると正答率が高く、真ん中にあると下がる。グラフにするとU字の形になります。論文のグラフでは、20件の文書を渡したGPT-3.5-Turboの正答率は、答えの文書が先頭なら約75%、真ん中あたりでは55%を下回っていました。最悪の場合、20件・30件の文書を渡したときの正答率は、文書を1件も渡さず、AIが覚えている知識だけで答えたとき(56.1%)より低くなりました。資料を渡したことで、かえって答えにくくなったわけです。
もっと長い文脈を扱えるように拡張したモデルでも、資料を使うのがうまくなるとは限らない、という結果も出ています。「たくさん入る」ことと「全部をきちんと使える」ことは、別の話でした。
ただし、これは3年前のモデルでの実験です。20件の設定でも約4,000トークンと、今の基準では短い資料でした。では、今のモデルでは解決したのでしょうか。
似た話が混ざると、答えを選び損ねる
2025年7月、Chromaという企業の研究者が、18のモデルを調べた技術報告書を公開しました。Claude Opus 4やSonnet 4、OpenAIのo3やGPT-4.1、GoogleのGemini 2.5 Proといった、当時の新しいモデルが含まれています。報告書の題名は「Context Rot(文脈の劣化)」。報告書が用いた課題では、入力が長くなるにつれて性能が下がる傾向が、どの実験でも見られました。2023年の論文と同じ課題ではないので、「真ん中に弱い」ことをそのまま確かめ直した結果ではありません。それでも、長く渡せば渡すほど安心、とは言えないことが分かります。
この報告書で冒頭の場面に近いのは、「ディストラクター」の実験です。質問と話題は近いのに、答えではない文のことです。これを1つ混ぜるだけで性能が下がり、4つ混ぜるとさらに下がりました。
この実験は、契約書と覚書のように「どちらがどちらを変えたか」を判断させたものではありません。ただ、どちらにも「解約」「通知」という言葉が出てくる資料が並ぶと、必要な一文を選び損ねる余地が生まれる、とは言えます。冒頭の例で起きうる失敗は二つあります。覚書の一文を見落とすこと。そして、見つけても、覚書が契約書を変えていると判断できないことです。
なお、紛らわしい文があるとき、Claudeのモデルは誤った答えを作る率が最も低く、Claude Sonnet 4とOpus 4は、確かでないときに答えを控える傾向が特に強かった、という結果も出ています。Claudeが「資料からは判断できません」と返してきたら、言い切らなかった理由をこちらで確かめる価値があります。
資料が先、質問は最後
では、どう頼めばいいのか。Anthropicは、Claudeのプロンプトの公式ガイドに、長い資料を扱うときの節を設けています。
一つ目は、資料を先に置き、質問は最後に書くことです。ガイドは、長い文書をプロンプトの上の方、質問や指示より前に置くよう勧め、注記でこう書いています。
最後に質問を置くと、テストでは回答の質が最大30%向上することがある。特に、複数の文書を含む複雑な入力で効果が大きい。(筆者訳)
チャットに資料の文章を貼り付けて質問するなら、「解約の条件を教えて」を先に書いて資料を後に貼るより、資料を貼ってから、最後に質問を書く方がよい、ということです。
二つ目は、資料が複数あるときは、一つずつ区切って名前を付けることです。ガイドの例では、文書ごとに番号と出典(ファイル名)を付けて区切っています。冒頭の場面なら、「資料1:基本契約書(2021年)」「資料2:覚書(2024年、資料1の一部を変更)」のように、どれが新しく、どれを変えたものかまで書いておくと、Claudeが二つの関係を推測せずに済みます。
答える前に、根拠の文を抜き出させる
三つ目が、この記事でいちばんお勧めしたい頼み方です。ガイドは、長い文書を扱う作業では、作業に入る前に、文書の関連する部分を引用させるよう勧めています。関連する内容に集中し、ほかの部分に気を取られにくくなる、という理由です。
Anthropicは2023年に、この方法を自社で試した結果も公開しています。主に当時の軽量モデルClaude Instant 1.2に、約7万〜9.5万トークンの政府の日報を読ませて4択の問題に答えさせたところ、答える前に関連する引用を抜き出させる方法は、比べたすべての組み合わせで成績を上げました。
冒頭の場面に当てはめると、依頼文はたとえばこうなります。
依頼例:(資料1と資料2を貼り付けた後に)解約の通知期限を確認したいです。まず資料ごとに、通知期限、適用の条件、ほかの条項を変更したり優先したりする定めを、原文のまま抜き出してください。それぞれに資料名と、分かればページ番号・条番号を付けてください。見つからなければ「見つからない」と書いてください。そのあとで、抜き出した条項どうしの関係を整理して答え、判断できない点ははっきり書いてください。
ポイントは、資料ごとに抜き出させることと、条項どうしの関係まで書かせることです。「関係する箇所を引用して」とだけ頼むと、最初に見つけた契約書の条文だけで済まされるかもしれません。資料ごとに書かせれば、返ってくる答えは、たとえばこんな形になります(想定の出力例です)。
- 資料1(基本契約書)第18条:解約は3か月前までに書面で通知する
- 資料2(覚書)第2条:基本契約書第18条の「3か月前」を「6か月前」に改める
- 整理:覚書が第18条を変更しているため、現在の通知期限は6か月前
覚書の一文が抜き出されれば、Claude自身が「6か月前」に気づきやすくなりますし、気づかなくても、こちらが気づけます。
この方法のいちばんの価値は、そこにあります。答えの正しさを上げるだけでなく、答えが資料のどこから来たかを、人が確かめられる形にする。条番号が付いていれば、原文のその条を開いて照らし合わせることから始められます。
抜き出しにも、穴はある
ただし、抜き出させれば必ず正しくなるわけではありません。
先ほどのAnthropicの2023年の検証では、引用を抜き出させたり例を付けたりすると、文書の末尾にある情報についての成績は下がることがある、とも書かれています。抜き出しは、見落としの場所を変えるだけのこともあり得ます。また、引用として出てきた文が、本当に資料にその通り書いてあるかも、確かめる必要があります。AIの言うことの裏付けはAIの外で取る、という話は、「AIに『本当か』と聞いても、裏付けにはならない」で詳しく書きました。
もう一つの限界は、抜き出しの段階で漏れたものは、答えにも出てこないことです。資料が多すぎるなら、関係のなさそうな資料は最初から渡さない方がよい場合もあります。Chromaの報告書が示したように、答えに関係のない文が増えるほど、答えを外しやすくなるからです。
実は、このコラムもAIエージェントが調査・執筆しています。PIMOAでは、その執筆の指示に、原文を開いて確かめたことだけを書くこと、下書きの冒頭に「事実確認」の欄を置き、本文の主な事実ごとにどの資料で何を確かめたかを書くことを含めています。公開前の点検で、根拠をたどれるようにするためです。資料ごとに根拠を出させる頼み方と、考え方は同じです。
解約の条件に戻ると
冒頭の例には、二つの問題がありました。Claudeが、覚書の変更を答えに反映しなかったこと。そして社長が、その見落としを点検できる形で答えを受け取っていなかったことです。「3か月前」という答えだけでは、それが契約書から来たのか、覚書を見たうえでの答えなのかが分かりません。資料ごとに根拠を出させる頼み方は、一つ目を減らし、二つ目を直すための工夫です。
長い資料をClaudeに読ませたら、答えを読む前に、一つだけ確かめてください。答えの横に、渡した資料ごとの根拠の文が並んでいるか。 並んでいなければ、その答えはまだ確かめようがありません。並んでいても、覚書の欄が「見つからない」なら、本当に覚書に何も書かれていないのかを、覚書の方で確かめます。どの資料を確かめればよいかが分かっているだけで、40ページを頭から読み直すより、ずっと早く済みます。
依頼文の書き方そのものについては、「生成AIへの『指示』が伝わらない理由」や、足りない条件をClaudeに聞かせる「Claudeに先に質問させる頼み方」もあわせてどうぞ。
参考文献・資料
Nelson F. Liu ほか "Lost in the Middle: How Language Models Use Long Contexts"(arXiv、2023年)
Chroma "Context Rot: How Increasing Input Tokens Impacts LLM Performance"(2025年7月)
Anthropic「Prompting best practices」
Anthropic "Prompt engineering for Claude's long context window"(2023年9月)