総務の担当者が、AIに社内向けのお知らせの下書きを頼みました(よくある例です)。出てきた文面では、料金が税抜で書かれています。「当社は税込で表示しています」と伝えると、AIはすぐに直しました。

翌週、別のお知らせを頼むために、新しい会話を開きます。出てきた文面は、また税抜でした。

「先週、教えたのに」。そう思うのは自然です。けれど、通常のチャットで訂正を伝えても、AIの中身がその場で書き換わるわけではありません。問題は、先週の訂正が、今週の会話にも渡る仕組みになっていたかどうかです。

なぜそう言えるのか。AIの「学習」が何をしていて、いつ起きているのかを、1958年のパンチカードからたどります。

1958年、カードの左右を見分けた機械

1958年7月、アメリカ海軍研究局が、ある装置を公開しました。コーネル大学で心理学の博士号を取ったフランク・ローゼンブラットが考えた「パーセプトロン」です。

使われたのは、部屋ほどの大きさがある重さ5トンのコンピュータ、IBM 704でした。パンチカードを次々に読ませると、50回の試行で、左に印のあるカードと右に印のあるカードを見分けられるようになりました。見分け方を、人がプログラムとして書いたわけではありません。機械が、試すうちに自分で身につけたのです。

コーネル大学の回顧記事によると、ニューヨーク・タイムズはこんな見出しで報じました。

海軍の新装置、やりながら学ぶ。心理学者が、読み、賢くなるよう設計されたコンピュータの「胚」を公開(筆者訳)

ローゼンブラット自身も、これを「独自の考えを持てる初めての機械」(筆者訳)と呼んでいます。期待は、カードの左右を見分ける力をはるかに超えていました。

学習とは、間違えた分だけ「つまみ」を回すこと

パーセプトロンがしていたことは、簡単にすると、こうです。入力の一つひとつ(カードのどの位置に印があるか、など)に、「どれくらい重く見るか」という数値が付いています。これを「重み」と呼びます。音響機器のつまみを思い浮かべてください。機械は、重みを掛けた値を足し合わせ、合計がある線を超えたら「右」、超えなければ「左」と答えます。

答えが合っていれば、何もしません。間違えたら、正しい答えに近づく方向へ、つまみを少しだけ回します。これを繰り返すうちに、左右を見分けられるつまみの位置に落ち着く。

ニューラルネットワークを「訓練する」ときの骨組み
  • 答えと正解のずれを、数で測る
  • ずれが小さくなる方向へ、重み(つまみ)を少し動かす
  • これを大量の例で繰り返す

この記事では、この「重みを調整する訓練」を「学習」と呼びます。あとで見るように、研究者は重みを変えない使い方にも「学習」という言葉を使うことがあります。ただ、会社でAIを使う人がまず押さえておきたいのは、重みが書き換わる訓練と、会話で説明や例を渡すことは別物だ、という区別です。

途中の層は、どう学ぶのか。1986年の論文

パーセプトロンの期待は、長くは続きませんでした。ここで説明した単層のパーセプトロンでは、学習で調整する重みは、答えを出す側の一段だけです。1969年、マーヴィン・ミンスキーとシーモア・パパートは著書『パーセプトロン』で、その限界を厳しく指摘しました。この批判だけが理由ではありませんが、その後、ニューラルネットワークの研究は長く日の当たらない時期を過ごします(AI全体の停滞は「AIは役に立った。それでも『冬』は来た」で書いています)。

途中にも層を置き、その層の重みまで調整できれば、もっと複雑なものを見分けられるはずでした。難しかったのは、答えを間違えたとき、奥にある途中の層のつまみを、どれだけ、どちらに回せばよいのかです。

その方法が広く知られるきっかけになった論文の一つが、1986年10月に科学誌Natureに載った、デビッド・ラメルハート、ジェフリー・ヒントン、ロナルド・ウィリアムズの「誤差逆伝播法」の論文です。出口で答えと望ましい答えのずれを測り、そのずれにどのつまみがどれだけ関わっていたかを、出口から入口へさかのぼって計算する。そして、ずれが小さくなるように、全部のつまみを少しずつ回す。

その結果、途中の層が、課題にとって大事な特徴を表すようになる、と論文は示しました。見るべき特徴まで機械が学ぶ、という今のディープラーニングの考え方につながる点です(「機械学習とディープラーニングは何が違う?」)。

会話で変わるのは、重みではなく、読ませた文章

今の生成AIも、作られるときの骨組みは同じです。

2020年に発表されたGPT-3は、1750億個のパラメータ(つまみ)を持つ言語モデルでした。文章の続きを予測させ、予測と実際の文章のずれが小さくなるように、膨大な文章でつまみを調整して作られています。

その論文には、もう一つ大事なことが書かれています。さまざまな課題で性能を試すとき、GPT-3は重みを一切更新せず、課題の説明と例を文章で与えるだけで使われました。論文はこの使い方も「few-shot learning(少数の例からの学習)」と呼んでいます。例を見せると、AIの答えは変わる。けれど、つまみは1つも動いていません。変わったのは、AIに読ませた文章です。

AIが一度に参照できる文章の範囲を「コンテキストウィンドウ」と呼びます。Claudeの公式ドキュメントは、これを学習に使った大量のデータとは別の、AIの「作業用の記憶」だと説明しています。

冒頭の場面に戻ります。「当社は税込です」という一言は、その会話の作業用の記憶に入っていました。だから、その会話の中では直りました。メモリー機能や、毎回読ませる共通の指示などで引き継いでいなければ、翌週の新しい会話には、その訂正が渡りません。渡っていなければ、また税抜の文面が出ることがあります。

そこで確かめる順番は、二つに分かれます。訂正が次の会話に渡っていなかったなら、それはAIの問題というより、引き継ぎの仕組みの問題です。渡っていたのに守られなかったなら、AIの出力を人が確かめる手順が要ります。指示を読ませても、AIが毎回守るとは限りません。公式ドキュメントも、文章が長くなるほど正確さが落ちることを認めています。

メモリー機能も、仕組みとしては「引き継ぎ」の側にあると考えると分かりやすいはずです。Claudeのメモリー機能では、覚えた内容が「メモリーの要約」として一か所にまとまり、利用者が見て直せるようになっています。また、Claudeの個人向けプランでは、会話のデータをClaudeの改善に使うことを許可するかどうかを選べます。ただ、それは将来のモデルの改善の話で、今日直したことが明日の会話に反映されるという約束ではありません。

利用者の側で重みを調整する方法も、ないわけではありません。自社のデータでモデルを追加で訓練する「ファインチューニング」を受け付けるサービスもあります。それでも、「料金は税込で書く」といった社内のルールなら、まずは毎回の入力に含める運用を整えるほうが、手間も費用もかからず、直すのも簡単です。

訂正は、次の仕事に渡る場所に書く

ここから持ち帰ってほしい基準は一つです。AIを会話で直したら、それが毎回守ってほしいことなら、次の会話でも必ず読ませる場所に書き足す。 書き足したかどうかで、「先週教えたのに」が起きるかどうかが分かれます。

このコラムも、実はAIエージェントが調べて書いています(「このコラムも、実はAIエージェントが調査・執筆しています」)。PIMOAでは、過去のレビューで受けた指摘を、次の執筆でも生かせるように、AIが書き始める前に読む指示の文書へ書き足しています。たとえば10月5日の記事では、「次の3つ」のように本文に書いた数と、実際に並べた項目の数が食い違いました。そのあと、両者を照合する確認の一文を、指示の文書に加えています。これは確認の手順を増やしたというだけで、同じ間違いがもう起きないという保証ではありません。

書き足す運用には、うまくいかない面もあります。書き足すほど文書は長くなり、古い指示と新しい指示がぶつかることがあります。長くなるほど、AIが一部を守らないこともあります。書き足すだけでなく、ときどき読み返して、もう要らない一文を消す手入れが要ります。

  • AIの出力を直したとき、それが「この1回だけの事情」か「毎回守ってほしいこと」かを分けたか
  • 毎回守ってほしいことは、次の会話でもAIに読ませる場所(共通の指示の文書やメモリーなど)に書き足したか
  • メモリー機能を使っているなら、何が覚えられているかを開いて確かめたか
  • 書き足したあとも、出てきた文面で、その点が守られているかを確かめているか
  • 指示の文書を定期的に読み返し、矛盾した一文や古い一文を消しているか

冒頭の総務の担当者なら、翌週のお知らせを頼む前に、共通の指示の文書を開いて「料金は税込で表示する」と書き足します。そして、出てきた文面の金額と表記を確かめる。1958年の機械は、間違えるたびに自分でつまみを回しました。今、会話の中で私たちが回せるのは、AIに渡す文章のほうです。

参考文献・資料

Cornell Chronicle "Professor's perceptron paved the way for AI – 60 years too soon"(2019年9月)
David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams "Learning representations by back-propagating errors"(Nature 323、1986年)
Tom B. Brown ほか "Language Models are Few-Shot Learners"(arXiv:2005.14165、2020年)
Claude Docs "Context windows"
Claude公式ブログ メモリー機能の紹介(2025年9月11日)
Anthropic "Updates to Consumer Terms and Privacy Policy"(2025年8月28日)
Amazon Bedrock User Guide "Customize a model with fine-tuning in Amazon Bedrock"