最終更新：2026年10月18日
AIクローラーとは、ChatGPT・Claude・Perplexity・Geminiなどを提供する会社が、AIの学習や検索、回答のためにウェブページを取りに来るプログラムのことです。robots.txtの設定の結論は2つだけで、AIの回答に引用されたいサイトなら、AI向けには何も書かずに全部許可する。学習にだけ使われたくないなら、学習用の名前（GPTBot・ClaudeBot・Google-Extendedなど）だけを止める。名前を取り違えると、学習を断ったつもりでAIの検索から消えてしまいます。この記事では、各社の公式ドキュメントで確かめたボットの一覧と、目的別のrobots.txtの書き方、WordPressでの編集方法までを書いていきます。
AIクローラーとは？学習用と検索・回答用のボット一覧（各社公式）
AIクローラーは用途で3つに分かれます。AIモデルの学習用、AI検索の索引を作る検索用、ユーザーの質問に答えるためにその場でページを取りに行く回答用です。robots.txtで何かを止めるときは、この用途の違いがすべてです。
各社の公式ページで確かめた主なボットを、robots.txtに書く名前ごとに並べます（2026年10月18日時点）。
| 会社 | robots.txtに書く名前 | 用途 | 止めると起きること（公式の説明） | robots.txtの扱い |
|---|---|---|---|---|
| OpenAI | GPTBot | 学習 | 生成AIモデルの学習に使わない意思表示になる | 従う |
| OpenAI | OAI-SearchBot | 検索 | ChatGPTの検索の回答に表示されなくなる（ナビゲーション用のリンクとしては出ることがある） | 従う。変更の反映に約24時間 |
| OpenAI | ChatGPT-User | 回答 | 検索への掲載の判断には使われない | ユーザー起点のため適用されない場合がある |
| Anthropic | ClaudeBot | 学習 | 今後の情報を学習データから外す意思表示になる | 従う |
| Anthropic | Claude-SearchBot | 検索 | 検索用の索引に入らず、検索結果で見つかりにくくなる | 従う |
| Anthropic | Claude-User | 回答 | ユーザーの質問に答えるための取得ができなくなる | 従う |
| Perplexity | PerplexityBot | 検索 | Perplexityの検索結果に出にくくなる。学習には使わないと明記 | robots.txtで管理（公式は許可を推奨） |
| Perplexity | Perplexity-User | 回答 | 学習には使わないと明記 | ユーザー起点のため、原則として無視する |
| Googlebot | 検索（AIによる概要・AIモードを含む） | Google検索そのものに出なくなる | 従う | |
| Google-Extended | Geminiの学習と回答の根拠づけ | Geminiの学習と根拠づけに使われなくなる。検索の掲載・順位には影響しない | 従う（専用のボットはなく、名前だけの制御用） | |
| Microsoft | Bingbot | 検索（Copilotの回答も同じ索引を使う） | Bing検索とCopilotの回答の両方で見えなくなる | 従う |
一次情報は、OpenAIのクローラーの説明、Anthropicのヘルプセンター（2026年4月7日更新）、Perplexityのクローラーの説明、Googleのクローラー一覧（2026年10月15日更新）、Bingのクローラー一覧です。
アクセスログで探すときのユーザーエージェント（ボットが名乗る文字列）の例も並べます。OAI-SearchBotなどほかのボットも、同じく名前とバージョン番号を含む形で名乗ります。
| 名前 | ユーザーエージェントの例（公式ページより） |
|---|---|
| GPTBot | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot |
| ChatGPT-User | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot |
| PerplexityBot | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot) |
| Googlebot（パソコン） | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36 |
| Bingbot | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36 |
学習拒否と引用拒否の違い──ClaudeBotとGoogle-Extendedの罠
AIの学習を断ることと、AIの回答に引用されるのを断ることは、別の設定です。学習用の名前だけを止めればAI検索に出たまま学習だけを断れますが、検索用・回答用の名前まで止めると、AIの回答から自分のサイトが消えます。
| やりたいこと | 止める名前・使う設定 | 止めてはいけない名前 |
|---|---|---|
| AIの学習にだけ使われたくない | GPTBot・ClaudeBot・Google-Extended | OAI-SearchBot・Claude-SearchBot・Claude-User・PerplexityBot・Googlebot・Bingbot |
| AIによる概要に本文を使われたくない | robots.txtではなく、ページ側のnosnippet・max-snippetなどの指定 | Googlebot（止めるとGoogle検索ごと消える） |
| Copilotの回答に使われたくない | ページ側のNOARCHIVEの指定（NOCACHEはURL・タイトル・抜粋だけに制限） | Bingbot（止めるとBing検索ごと消える） |
| AIに引用されたい | 何も書かない（全部許可） | 上のすべて |
取り違えやすい名前が2つあります。1つはClaudeBotで、名前から検索用に見えますが、Anthropicの公式ページでは学習用です。検索用はClaude-SearchBot、回答用はClaude-Userです。
もう1つがGoogle-Extendedです。止めれば「GoogleのAI」を全部断れると思われがちですが、効くのはGeminiの学習と、Geminiアプリなどでの回答の根拠づけまでです。Googleのクローラー一覧は、Google-Extendedは検索への掲載にも順位にも影響しないと明記しています。Googleの「AI機能とウェブサイト」は、AIは検索に組み込まれているので、検索のためのクロールを管理する手段はGooglebot向けのrobots.txtだと説明しています。AIによる概要に出るかどうかはGooglebotの側で決まり、Google-Extendedを止めても変わりません。
Bingも同じ考え方です。Bingのウェブマスター向けガイドラインは、Bing検索とCopilotは同じクロールと索引の上にあると書き、robots.txtでBingbotを止めないよう求めています。
robots.txtの書き方──目的別の記述例とWordPressでの編集方法
robots.txtは、「User-agent: ボットの名前」の行と「Disallow: 止めるパス」の行の組み合わせで書きます。AIに引用されたいサイトなら、AI向けの記述は何も足さないのが正解です。
架空のサイト（example.com）で、2つの書き方を並べます。実際のファイルには「書く内容」の列だけを上から順に書きます。まずは、WordPressが初期状態で出力する内容とほぼ同じ、全部許可の書き方です。
| 行 | 書く内容 | 意味 |
|---|---|---|
| 1 | User-agent: * | すべてのボットに向けたまとまり |
| 2 | Disallow: /wp-admin/ | 管理画面にだけは来なくてよい |
| 3 | Allow: /wp-admin/admin-ajax.php | ページの動作に使うファイルは例外として許可 |
| 4 | Sitemap: https://example.com/wp-sitemap.xml | サイトマップの場所を知らせる |
次は、AI検索には出たまま、学習にだけ使われたくない場合の書き方です。
| 行 | 書く内容 | 意味 |
|---|---|---|
| 1 | User-agent: GPTBot | OpenAIの学習用ボットに向けたまとまり |
| 2 | Disallow: / | サイト全体に来なくてよい |
| 3 | User-agent: ClaudeBot | Anthropicの学習用ボット |
| 4 | Disallow: / | 同上 |
| 5 | User-agent: Google-Extended | Geminiの学習と根拠づけへの利用 |
| 6 | Disallow: / | 同上 |
| 7〜10 | （全部許可の書き方の1〜4行目をそのまま続ける） | ほかのボットは、これまでどおり |
書くときに気をつけたいのは、まとまりの選ばれ方です。Googleのrobots.txtの仕様の説明によると、クローラーは自分の名前にいちばん具体的に合うまとまりを1つだけ選び、ほかのまとまりは無視します。「User-agent: *」の指定と、名前を指定したまとまりの指定は足し合わされません。名前を指定したボットに管理画面などの制限もかけたいなら、そのまとまりの中に書き直す必要があります。Anthropicは、サブドメインごとにrobots.txtが必要なことも案内しています。
WordPressでrobots.txtを確かめたり編集したりする方法は、次の3つです。
- 何もしない：サイトのルートに実物のrobots.txtがなければ、WordPressが自動で仮想のrobots.txtを出力する。中身は公式リファレンスのdo_robots()のとおり、管理画面の除外と例外の2行が基本
- SEOプラグインを使う：Yoast SEOなら「Yoast SEO」→「ツール」→「ファイルエディター」で作成・編集できる（ファイル編集が無効な環境では表示されない）
- 実物のファイルを置く：テキストエディタで「robots.txt」を作り、サーバーの公開ディレクトリのいちばん上にアップロードする。実物があると、WordPressの仮想のファイルは使われなくなる
どの方法でも、最後にブラウザで「https://自分のドメイン/robots.txt」を開いて中身を確かめます。管理画面の「設定」→「表示設定」の「検索エンジンでの表示」は、WordPress 5.3以降、robots.txtではなくページ側のnoindexで検索エンジンを断る仕組みです。ここにチェックが入っていないかも見ておくと安心です。
実務でどう使うか──全開放にして、本当に届いているかを試す
引用されたいサイトの実務は、robots.txtを全開放にしたうえで、AIのボットが本当にページを受け取れているかを確かめるところまでです。robots.txtで許可していても、サーバーやCDN（配信網）の防御機能が、別にボットを弾いていることがあるからです。施策全体の順番はLLMOとは？で書きました。
Googleも「AI機能とウェブサイト」で、robots.txtだけでなくCDNやホスティングの側でもクロールを許可しておくことを基本に挙げています。Perplexityも、ファイアウォールを使うサイトには自社のボットを明示的に許可する設定を案内しています。
このサイトでは、2026年7月に自分で監査をしました。robots.txtはAIのボットを1つも止めていない全開放の状態で、AIのボットのユーザーエージェントを名乗ってページを取りに行くテストをしたところ、すべて正常（ステータス200）で返ってきました。ページが返ってくるまでの時間（TTFB）は0.25秒でした。同じ監査で見つかった大きな問題は、robots.txtとは別の場所にありました。http版のページがhttps版に転送されず、重複して検索エンジンに登録されていたことです（2026年10月時点で修正済み）。ボットを通すことと同じくらい、通した先のURLを一本にすることが効いてきます。
確かめる順番です。
| 確かめること | やり方 | 理由 |
|---|---|---|
| robots.txtの中身 | ブラウザで /robots.txt を開き、AIの名前を指定したDisallowがないかを見る | プラグインが行を足していることがある |
| サーバー・CDNのボット対策 | ホスティングやCDNの管理画面で、AIのボットを遮断する設定が入っていないかを見る | robots.txtで許可していても、手前で弾かれることがある |
| 本文が最初のHTMLにあるか | ページのソースを表示し、本文やFAQが文字として入っているかを見る | 主要なAIのボットはJavaScriptを実行しない |
| 実際の訪問 | アクセスログで、表にある名前を数える | ChatGPT-UserやClaude-Userの記録は、実際に読まれた跡 |
3つ目の根拠は、ホスティング会社のヴァーセル（Vercel）が2024年12月に公開した計測です。自社の配信網で1か月にGPTBotが5億6,900万回、Claudeのボットが3億7,000万回ページを取りに来ていましたが、OpenAI・Anthropic・Perplexityなどの主要なAIのボットは、どれもJavaScriptを実行していませんでした。WordPressの記事は通常問題ありませんが、JavaScriptで後から表示する部品の中身はAIから見えないと考えておきます。
ユーザーの代わりにAIがページを取りに行く動きはAIエージェントとは？生成AIとの違いと仕組みで書きました。AIの回答に載る入口は普通の検索の評価なので、土台はSEOとは？何の略かとSEO対策の3種類、AI検索との関係に、クリックされない検索との付き合い方はゼロクリック検索とは？割合の出典とAI時代の対策にまとめています。
2026年時点での注意点──名前と役割は、各社がいつでも変える
AIクローラーの名前と役割は、各社が予告なく追加・変更します。この記事の一覧も2026年10月18日時点のもので、robots.txtを書き換える前には、各社の公式ページで最新の説明を確かめてほしいと思います。
実際に、OpenAIの説明には、ChatGPTの広告のページを審査するOAI-AdsBotが加わっています。名前が増えるたびに「AIっぽい名前は全部止める」と足していくと、意図しない用途まで断ってしまいます。
回答用のボットは、robots.txtの外にあります。ChatGPT-UserとPerplexity-Userは、ユーザーが頼んだ読み込みなのでrobots.txtが適用されない場合がある、と各社が書いています。
止めたことの効き方にも限りがあります。AnthropicはClaudeBotを止めることを「今後の」情報を学習から外す意思表示と説明していて、過去に集めた分まで消えるとは書いていません。それに、ユーザーエージェントは偽装できます。Bingは本物かを確かめるツールを、OpenAIとPerplexityはIPアドレスの一覧を公開しています。
点検は四半期に一度、各社の公式ページと自分のrobots.txtを見比べるだけで十分です。
AIクローラーとrobots.txtに関するよくある質問
GPTBotをブロックすると、ChatGPTに表示されなくなりますか？
GPTBotだけをブロックしても、ChatGPTの検索への表示には影響しません。GPTBotはOpenAIの学習用のボットで、ChatGPTの検索に使われるのはOAI-SearchBotです。OpenAIは、OAI-SearchBotを許可したままGPTBotだけを断る使い分けができると説明しています。
ClaudeBotは検索用ですか、学習用ですか？
Anthropicの公式ページでは、ClaudeBotは学習用と説明されています。Claudeの検索用はClaude-SearchBot、ユーザーの質問に答えるための取得はClaude-Userです。学習だけを断りたいならClaudeBotだけを止め、残りの2つは許可しておきます。
Google-ExtendedをブロックするとAIによる概要に出なくなりますか？
出なくなることはありません。Google-Extendedが管理するのは、Geminiの学習とGeminiアプリなどでの根拠づけへの利用で、Googleは検索への掲載や順位には影響しないと明記しています。AIによる概要は検索の一部で、クロールの管理はGooglebot向けのrobots.txtで行います。
WordPressのrobots.txtはどこで編集しますか？
WordPressは、実物のファイルがなければ仮想のrobots.txtを自動で出力するので、管理画面に標準の編集画面はありません。Yoast SEOなどのSEOプラグインのファイルエディターを使うか、テキストファイルを作ってサーバーの公開ディレクトリのいちばん上に置きます。編集後は、ブラウザで /robots.txt を開いて中身を確かめます。
おわりに──止めるべきはAIではなく、AIの用途
AIに自分の文章を使われることに、抵抗を感じる人は多いと思います。その気持ちのままAIの名前を並べると、学習を断ったつもりで、AIの検索や回答から自分の名前まで消してしまいます。
止めるべきはAIではない。AIの、どの用途か。
学ばれたくないなら、学習の名前だけを止める。選ばれたいなら、何も書かない。robots.txtとは、AIを締め出す扉ではなく、用途ごとに入口を分ける名簿のようなものだと思っています。書き換える前に一度、表の「用途」の列を見てほしいと思います。