AIの学習を断るrobots.txtの共通の書き方｜検索への影響は？

2026年10月30日、Google と OpenAI は、robots.txt に共通の印を書けば、参加する AI の会社にまとめて「AI の学習に使わないで」と伝えられる仕組みに対応する方針を発表しました。対応の時期はどちらも目標の段階で、まだ始まっていません。robots.txt は、検索や AI のクローラー（サイトを読み取りに来るプログラム）に向けてサイトが出す指示のファイルです。

この発表は、AI 検索に医院様・お店・会社の情報を引用されたいサイトにも関係があります。学習を断る指定と検索の指定は別ものなので、書き方を誤ると検索のための読み取りまで止めてしまうことがあるためです。この記事では、草案の書き方と検索への影響、今日確かめることを紹介します。

※各社の発表と仕組み、対応の時期は、2026年11月10日に Google・OpenAI の公式の発表とヘルプ、IETF の草案の原文で確かめた時点のものです（弊社のサイトの robots.txt も同じ日に確かめました）。

自社の robots.txt に学習の指定を足すか決めかねるときは、無料相談もご利用いただけます（電話番号の入力は任意です）。

何が発表された？共通の印と、対応する会社・時期

発表は、会社ごとに分かれていた学習の指定を、共通の印で参加する会社にまとめて伝える取り組みへの対応です。

出典：Google 検索セントラル ブログ 新しいタブで開きます・OpenAI の発表 新しいタブで開きます、IETF の草案 新しいタブで開きます

• Google：IETF の AIPREF（AI Preferences）ワーキング グループの取り組みに基づく計画です。Google のクローラーの説明のページでは、対応は「2027年初頭」の予定です（Google の一般的なクローラー 新しいタブで開きます）
• OpenAI：生成 AI の基盤モデルの学習への利用について共通のシグナルを尊重する、自主的な取り組みとしています。今の robots.txt の設定（GPTBot など）も引き続き尊重し、実装の詳細は対応するときに知らせるとしています
• ほかの会社・日本：OpenAI は作業部会のほかの参加者とともに発表したとし、Google はほかの AI の提供元とともに対応することを目指すとしていますが、どちらも会社の名前は挙げていません。対象の国や地域の区別も書かれていません

robots.txt にはどう書く？草案の書き方

草案では、User-agent の行に共通の印 __usage_ai-training を書き、その下の Disallow（反対）と Allow（賛成）で、学習への利用についての意思をページやフォルダごとに示します。例は次の3行です。

• User-Agent: __usage_ai-training：ここから学習についての指定のまとまり
• Disallow: /：サイト全体で学習に反対
• Allow: /press-kit/：このフォルダだけは学習に賛成（/press-kit/ は草案の例のフォルダ名）

草案には、ほかに次の決まりがあります。

• 印の名前は大文字と小文字を区別しません。頭の下線2本（__）も名前の一部です
• すべてのクローラーに向けたまとまり（User-agent: *）の指定は、共通の印の指定とはみなしません
• 共通の印の行が1つも無いサイトは、学習について何も意思を示していない扱いです
• 共通の印のまとまりを書くと、Disallow に当たらないページは、学習に賛成と示した扱いになります
• 共通の印は、読み取り（クロール）そのものの指示ではありません。読み取りを止めるときは、これまでどおり各社のクローラーの名前で書きます

出典：IETF の草案 新しいタブで開きますの1章と4章

草案の「AI の学習」は「素材を使って、生成 AI のモデルの学習済みのパラメータを変えること」で、生成以外の仕事（分類・順位付け・採点など）だけに使うモデルの学習は含みません（言葉の定義の草案 新しいタブで開きます）。

この草案は発表と同じ日に出た第0版で、IETF が認めた文書ではありません。草案（Internet-Draft）は最長6か月の作業中の文書なので、印の名前や書き方は変わることがあります。

Google-Extended の扱いはどう変わる？

Google は、共通の印で学習を断ったサイトの扱いを、Google-Extended の行があるかどうかで分ける予定です。

出典：Google 検索セントラル ブログ 新しいタブで開きます。3行目は、草案（印の行が無ければ意思なし）と Google の「会社ごとの指定は引き続き機能する」から編集部がまとめました。

Google-Extended は、Google が読み取ったサイトの中身を、Gemini アプリなどのもとになる次の世代の Gemini モデルの学習と、Gemini アプリなどでの回答の裏付け（グラウンディング。回答のときに Google 検索の索引から中身をモデルに渡すこと）に使うかを決める印です。Google は、Google-Extended は Google 検索への掲載に影響せず、順位の手がかりにも使わないとしています（Google の一般的なクローラー 新しいタブで開きます）。

Google は、Google-Extended を明示的に許可しているサイトは Gemini アプリの回答の裏付けとして表示され、クリックを受けられる可能性があると書いています。2つの説明を合わせると、共通の印で学習を断り Google-Extended を書いていないサイトは、Gemini アプリの回答の裏付けにも使われない扱いになると読めます（Google はこの組み合わせを1文では書いていません）。

学習を断ると、検索や AI 検索に出なくなる？

共通の印で学習を断っても、Google 検索（AI による概要・AI モードを含む）への掲載と順位は変わらない見込みです。Google は、共通の印で学習を断り Google-Extended の行が無いサイトを、Google-Extended を断ったものとして扱う予定で、Google-Extended は検索の掲載や順位に影響しないとしているためです。変わるのは、Gemini アプリなどの回答の裏付けに使われるかどうかと読めます（3章）。

ChatGPT の検索に出るかは、今は OAI-SearchBot の設定で決まります。OpenAI は、共通の印をどう実装するかを、対応するときに知らせるとしています。

出典：Google「AI 機能とウェブサイト 新しいタブで開きます」「検索の生成 AI 設定 新しいタブで開きます」「Google の一般的なクローラー 新しいタブで開きます」、OpenAI「Overview of OpenAI Crawlers 新しいタブで開きます」と各社の発表

• Google 検索：検索の AI 機能に向けた読み取りも Googlebot の robots.txt の指定で管理する、と Google は説明しています。Search Console の［設定］＞［検索の生成 AI］は、AI による概要などにサイトを含めるかの設定で、学習には影響しないとされています。表示とは別に、検索の生成 AI 機能で回答を作るモデルの学習を制限するには Google-Extended を使う、と同じヘルプは案内しています（詳しくは「AIOとは？」のよくある質問）
• ChatGPT の検索：OpenAI によると、OAI-SearchBot（検索）と GPTBot（学習）の設定は互いに独立しています。OAI-SearchBot を止めたサイトは、ChatGPT の検索の回答に示されません（サイトへの案内のリンクとしては出ることがあります）

共通の印は、ほかの行と同じまとまりに書いてよい？

草案は、共通の印をほかのクローラーの名前と同じまとまりに書くことも認めています。ただし、同じまとまりの Disallow は、その名前のクローラーの読み取りにも効きます。

robots.txt では、続けて書いた User-agent の行は1つのまとまり（グループ）になり、その下の指定がまとめて効きます。Google のクローラーは、名前がいちばん具体的に合うまとまりに従い、合うまとまりが無ければ User-agent: * のまとまりに従います（Google による robots.txt の指定の解釈 新しいタブで開きます）。

そのため、User-agent: * のすぐ下に User-agent: __usage_ai-training を続けて Disallow: / を書くと、自分の名前の行が無いクローラー（Googlebot の行が無ければ Googlebot も）にも「サイト全体を読まないで」と伝えることになります。AI を止めるつもりで User-agent: * に Disallow: / を書いた場合も同じで、草案では学習の意思を示したことにもなりません。

robots.txt のどの行が何に効いているか分からないときは、無料相談からご連絡ください。

今日、自社の robots.txt で確かめることは？

ブラウザで「https://自社のドメイン/robots.txt」を開いて見ます。Search Console の robots.txt レポートでも、Google が見つけた robots.txt、最後に読んだ日時、エラーや警告を確かめられます。使えるのは、ドメイン プロパティか、https://example.com/ のようにパスの無いプロパティです（プロパティは Search Console に登録したサイトの単位。Search Console ヘルプ 新しいタブで開きます）。

• User-agent: * の下に Disallow: / が無いか（自分の名前の行が無いクローラーすべてに効く）
• Googlebot のまとまりがあるなら、その下で大事なページを Disallow にしていないか
• ChatGPT の検索に出たいなら、OAI-SearchBot の下が Disallow: / になっていないか（反映まで約24時間かかることがある）
• Google-Extended・GPTBot の行があるなら、学習を断るか認めるかが、社内の考えと合っているか
• __usage_ai-training のまとまりに、User-agent: * や Googlebot・OAI-SearchBot など、止めたくない名前が一緒に入っていないか
• Search Console の［設定］＞［検索の生成 AI］が、意図した選択になっているか

弊社はどう見ている？

学習を断るかどうかは各社が決めることで、弊社が一律にすすめることはしません。そのうえで、医院様・お店の集患や集客のためのページは、AI の検索や回答の裏付けに使われる側に残すのが基本と考えています。弊社が記事を制作した歯科医院様のサイトで AI の回答での引用が伸びた例は、「AI検索に引用される記事とは？」で紹介しています。

弊社の会社サイトの robots.txt は、User-agent: * で管理画面と事例の一覧を絞り込んだ URL だけを止めていて、Google-Extended・GPTBot の行も共通の印もありません。検索や AI のクローラーを名指しで止めておらず、草案の決まりでは、学習について何も意思を示していない状態です。

robots.txt の書き分けに迷ったら、無料相談で

よくある質問

Q

ホームページ作成サービスで作ったサイトで、robots.txt を自分で直せません。

A

Google は、ホームページ作成サービス（CMS）によっては robots.txt を直接は直せず、サービスの検索の設定の画面などで決める場合があるとしています（robots.txt の概要とガイド 新しいタブで開きます）。行を足せるかは、お使いのサービスの案内で確かめてください。

Q

学習を断れば、すでに学習に使われた分も消えますか？

A

今回確かめた Google と OpenAI の発表には、すでに学習に使われた分の扱いは書かれていません。草案は、素材を取得した時点の robots.txt の指定が、その素材に当てはまるとしています。

Q

robots.txt に書けば、どの AI の会社も守りますか？

A

守ると決まっているわけではありません。Google は、robots.txt の指示は強制できず、従うかどうかはクローラー次第だと説明しています（robots.txt の概要とガイド 新しいタブで開きます）。OpenAI は今回の取り組みを自主的なものとし、ほかの AI の提供元にも尊重を呼びかけています。