サイト全体は、AIの学習に使わないでほしい。ただし、報道用の資料のフォルダだけは、学習に使ってかまわない。
2026年10月30日にIETF(インターネットの技術標準を議論する団体)に提出された草案には、こうした意思表示を3行で書く設定例が載っています(上の2文は、設定の内容を筆者が言葉にしたものです)。Webサイトに置くrobots.txtというファイルに書く、AIの学習についての意思表示です。
同じ日に、OpenAI・Google・Microsoftの3社が、この仕組みに対応すると表明しました。草案を書いたのは、Claudeを開発するAnthropicの標準化担当者で、Anthropicも実装を始めています。自社のホームページの文章を、AIの学習には使ってほしくない。そう考える会社が、各社にまとめて意思を伝えられる手段ができつつあります。
ただし、この指定が扱うのは「学習」だけです。経営者が本当に望むのは、多くの場合「学習には使われたくない。でも、自社のサービスはAIの回答でちゃんと紹介してほしい」でしょう。この二つは、別々に決める必要があります。そして今のところ、思ったとおりに分けられるとは限りません。
共通の名前を書けば、各社にまとめて伝わる
robots.txtは、検索エンジンなどの巡回ロボット(クローラー)に、どのページを見に来てよいかを伝えるファイルです。これまでAIの学習を断りたいサイトは、Googleなら「Google-Extended」のように、会社ごとに決められた名前を調べて書き分ける必要がありました。
草案は、会社をまたいで使える共通の名前「__usage_ai-training」を決め、その下に、どのページの学習に反対か・賛成かを書くようにしています。冒頭の例は、次の3行です(「意味」の列は筆者の要約です)。
| robots.txtの行 | 意味 |
|---|---|
| User-Agent: __usage_ai-training | ここから下は、AIの学習についての意思表示 |
| Disallow: / | サイト全体を、学習には使わないでほしい |
| Allow: /press-kit/ | ただし報道用資料のフォルダは、学習に使ってかまわない |
新しい命令や書き方は増やしていません。robots.txtにすでにある書き方を、そのまま使います。この例から読み取れるのは、学習に使わせるかどうかを、サイト全体で一律にしなくてよいということです。
学習を断る指定は、検索や回答での利用を指定するものではない
草案が定める「AIの学習」は、生成AIモデルの学習済みのパラメータ(AIの中身の数値)を変えるために、コンテンツを使うことです。
草案は、この名前がクロールの命令ではないとはっきり書いています。この指定だけで、クローラーの巡回を禁止することはできません。ただし草案は、受け取る側がこの意思表示を巡回の判断に役立ててもよいとしているので、学習用の収集を控える事業者はありえます。Microsoftは、この設定がBingの検索結果への掲載には影響しないとしています。
もう一つ、学習とは別の使われ方があります。AIが質問に答えるときに、その場でWebページを読みに行き、根拠として紹介する使い方です。グラウンディングと呼ばれます。共通の名前は、これを扱いません。Microsoftは、グラウンディング用の指定を別に用意すると発表しました。CopilotやMicrosoft 365での利用は認め、外部向けのサービスやAPIでの利用だけを断る、という指定もできます。
「学習」「検索への掲載」「回答での利用」は、別の用途です。ただし、それぞれを独立した設定で選べるとは限りません。
学習は断りたい。でも、Geminiには紹介してほしい
この三つが、思ったとおりに分けられないかもしれない例が、Googleです。
Googleは、共通の名前で学習を断り、Google-Extendedを特に指定していないサイトは、Google-Extendedも断ったものとして扱う予定だと説明しています。一方で、Geminiアプリの回答で根拠として紹介され、クリックを得られる対象になるのは、Google-Extendedを明示的に許可したサイトだとしています。
二つの説明を合わせて読むと、共通の名前で学習だけを断ったつもりのサイトは、Geminiの回答で紹介される対象からも外れることになりそうです。「学習は断る。紹介はしてほしい」という希望は、共通の指定だけでは表せないかもしれません。Googleの対応は2027年の予定です。実際にどう扱われるかは、対応が始まるときの説明で確かめる必要があります。
自社の文章を学習に使われたくない、という気持ちはもっともです。けれど、お客様がGeminiに質問したとき、自社のサイトが回答の根拠として使われる機会が減るなら、集客の面では不利になりえます。会社名が回答にまったく出なくなる、という意味ではありません。逆に、許可したからといって、紹介やクリックが約束されるわけでもありません。それでも、学習を断ることと引き換えに、何を手放す可能性があるのかは知っておくべきです。
「全部どうぞ」と書いていても、学習については何も言っていない
では、何も手を入れていないサイトはどう扱われるのか。
PIMOAの公開サイトのrobots.txtを2026年11月2日に確認すると、すべてのクローラーに巡回を許可する指定(「User-agent: *」と「Allow: /」)と、サイトの地図(サイトマップ)の場所だけが書かれていました。
草案の決まりでは、この「*」(すべてのクローラー)の指定は、学習についての共通の名前には当てはまりません。共通の名前を含む指定がなければ、学習については意思表示をしていないことになります。「全部どうぞ」と書いてあっても、学習に使ってよいと言ったことにはならず、断ったことにもなりません。
制作会社が最初に置いたままのrobots.txtを使っているサイトや、そもそもrobots.txtを置いていないサイトもあるでしょう。どちらも、この仕組みのもとでは、学習について会社は何も言っていない状態です。
書いても、守られるとは限らない
指定を書けば済む、というわけでもありません。
まず、草案はまだ個人の提出です。IETFのサイトにも、IETFが承認したものではなく、正式な地位はないと表示されています。各社の対応時期もばらばらで、OpenAIは数カ月以内、Microsoftは2027年2月1日から、Googleは2027年の予定です。Anthropicも、全サービスに広げるには時間がかかるとしています。
次に、草案そのものが例外を認めています。個別の契約がある場合は、契約が優先してよいとしています。会社ごとの名前での指定のように、より具体的な指定があれば、そちらが優先されるべきだとも書いています。会社ごとの古い指定と共通の指定が食い違っていれば、共通の指定で示した意向は通らないかもしれません。
そして、草案には、守らない会社を止める仕組みは書かれていません。あくまで意思表示です。AI企業によるコンテンツの利用をめぐっては、出版社や報道機関などコンテンツを出す側からの訴訟が相次いでいます。今回の仕組みは、そうした争いを終わらせるものではなく、サイトの側の意思を、機械が読める形で残せるようにするものです。
書き足す前に、ページを3つの問いで分ける
中小企業が先に決めるべきなのは、robots.txtの書き方ではありません。自社サイトのページを、次の3つの問いで分けることです。
- 検索結果に載せたいか(載せたくない公開ページは、noindexの指定などを検討する。robots.txtで巡回を断るだけでは、URLが検索結果に出ることがある。見られては困る情報は、パスワードなどでアクセス自体を制限する)
- AIの回答で、根拠として紹介されたいか(会社案内、サービス内容、所在地など、お客様に見つけてほしいページは、各社の回答用の指定がどう扱われるかを確かめる)
- 学習に使われてかまわないか(自社で手間をかけて書いた記事や、独自の資料は、ここで判断が分かれる)
3つの答えは、そろうとは限りません。仮の例で考えます(PIMOAが設定を変える方針を決めたわけではありません)。PIMOAのこのコラムについて「検索とAIの回答では読者に見つけてほしいが、学習には使わせたくない」と整理したとします。ここで初めて、Googleではその二つを両立できるのか、という確認が必要になります。会社案内のように、三つとも「はい」のページなら、迷うことはありません。
冒頭の3行は、学習の線引きをページごとに変えられることを示していました。けれど、学習の線引きだけでは、AIの回答で使われるかどうかは決まりません。制作会社やサイトの担当者に渡すべきなのは「AIを拒否して」という一言ではなく、ページごとに、学習・検索・回答のそれぞれで何を認め、何を断りたいかという希望です。そのうえで、答えが食い違うページだけは、各社の説明を確かめてから指定を書いてください。
参考文献・資料
IETF "Machine-Readable Training Preference Signal"(draft-kelley-aipref-training-preference-signal-00、2026年10月30日)
Google Search Central Blog "Supporting a shared AI training control for websites"(2026年10月30日)
Google Search Central robots.txtの解説ページ
ITmedia NEWS(2026年11月1日)