「サーバーのログにGPTBotやClaudeBotという見慣れない名前が並んでいるが、放置してよいのか」「AIクローラーの robots.txt はどう書けばよいのか」と悩む運営者の方は増えています。許可も拒否も、ログを見ずに決めると、集客の機会か自社コンテンツのどちらかを理由なく失います。この記事では、ECサイト・メディア運営者向けに、AIクローラーのrobots.txt設定とGPTBotなどの許可・拒否の判断基準を、アクセスログの集計方法とあわせて解説します。弊社が実務で使っている「AIが集計と設定案、人が方針を決める」分担も紹介します。
AIクローラーとは何か、robots.txtで何が制御できるのか
AIクローラーとは、生成AIの学習や回答生成のためにWebページを取得するボットのことで、robots.txtで「来てよいページ・来てほしくないページ」を事前に伝えられます。ただし、これはあくまで運営者からのお願いであり、強制力はありません。
主なクローラーは、運営元ごとに目的が分かれています。OpenAIには学習用とされるGPTBot、ChatGPTの検索機能向けのOAI-SearchBot、ユーザーの操作に応じて取得するChatGPT-Userがあります。AnthropicにはClaudeBotなどがあり、PerplexityにはPerplexityBotがあります。Googleの生成AI向けの学習利用は、Google-Extendedというトークンで制御できます。名称や役割は各社の公式ドキュメントで更新されるため、設定前に最新の記載を確認してください。
大事なのは、同じ会社でも「学習用」と「検索・引用用」で別のボット名が使われている点です。学習は断りつつ、検索結果への表示だけ許可する、という使い分けがrobots.txt上で可能です。全部まとめて拒否すると、AI検索からの引用や流入の入口まで閉じてしまうことがあります。
もう一点、robots.txtは「ドメイン直下に置く」「サブドメインごとに別ファイル」というルールがあります。ECカートを別ドメインや外部サービスで運用している場合、自社サイト側のファイルを直しても、カート側のページには効きません。まず自社の管理範囲を棚卸しするところから始めます。
GPTBot・ClaudeBotを許可するか拒否するかの判断基準は
判断基準は、そのページが「見つけてもらうことで売上や問い合わせにつながる情報」か「それ自体が商品である情報」かの二軸です。前者は許可、後者は拒否または制限が基本線になります。
たとえば、商品紹介ページ、会社情報、無料の解説記事、よくある質問などは、AI検索の回答に引用されれば認知獲得につながり得ます。一方で、会員限定記事、有料レポート、独自データベース、価格比較の元データなどは、取り込まれると回答として消費され、購入の動機が弱まる可能性があります。これらは拒否側に寄せるのが自然です。
もう一つの軸が、著作権と利用許諾の方針です。画像や寄稿記事、他社から預かった素材が含まれるページは、自社だけで許可を決められないことがあります。契約書や寄稿規約を確認し、AIでの利用に触れていない場合は、保守的に拒否しておき、確認が取れてから開くほうが安全です。
判断を迷うページは、まず許可して様子を見るのではなく、一度拒否しておいて後から開くほうが安全です。取り込まれたデータを後から取り消すのは難しい一方、robots.txtを開くのはいつでもできるためです。ここは法的な評価も絡むため、必要に応じて専門家に確認してください。
robots.txtの書き方とアクセスログの集計方法は
書き方の基本は、ボットごとに User-agent を指定し、Disallow または Allow でパスを指定する形で、集計はアクセスログのユーザーエージェント欄から行います。
たとえば、学習用のGPTBotとClaudeBotは全体拒否、検索用のOAI-SearchBotとPerplexityBotは会員ページ以外を許可、という方針なら、次のように書きます。
“` User-agent: GPTBot Disallow: /
User-agent: ClaudeBot Disallow: /
User-agent: OAI-SearchBot Disallow: /members/ Disallow: /reports/
User-agent: PerplexityBot Disallow: /members/ Disallow: /reports/ “`
設定の前に、アクセスログでどのボットがどのページをどれだけ取得しているかを集計します。Apacheやnginxのログであれば、ユーザーエージェント欄にボット名が含まれるため、grepとawkで日別・パス別の件数を出せます。ここがAIの得意な領域で、ログの抜粋をChatGPTやClaudeに渡し、ボット別・ディレクトリ別の集計表と設定案のたたき台を作らせると、手作業よりかなり短い時間で整理できます。ただし、個人情報やIPアドレスを含む生ログをそのまま外部サービスに貼るのは避け、ユーザーエージェントとパスだけを抽出してから渡してください。
集計で見るのは、取得件数が多いボット、会員ページや価格表など守りたい領域への到達、そして取得が集中して表示速度に影響していないか、の三点です。AIが出した設定案は、そのまま本番に置かず、必ず人が一行ずつ確認します。Disallowの書き間違いで、通常の検索エンジンまで締め出す事故が実際に起こり得るためです。反映後は、数日から数週間ログを再集計し、意図どおりの変化かを確認します。
有料コンテンツを守るために運営者が確認すべきことは
robots.txtだけでは有料コンテンツは守れません。本当に守りたいものはログインや課金の仕組みの内側に置き、robots.txtは「礼儀正しいボット向けの案内」と位置づけるのが現実的です。
理由は、robots.txtが遵守を前提とした仕組みだからです。主要事業者は尊重するとしていますが、すべてのボットが従う保証はなく、ボット名を偽るアクセスも存在します。ログに該当ボット名がなくなっても、取得が止まったとは限りません。気になる場合は、公開されているIPレンジとの照合や、WAFによるレート制限・ブロックを併用します。
実務では、守る対象を三段階に分けると整理しやすくなります。誰でも読ませたい公開ページ、読ませたいがAI学習は断りたいページ、会員だけが読めるべきページです。最後の区分はrobots.txtではなく認証で守り、真ん中の区分だけをrobots.txtで調整します。
著作権方針と有料コンテンツの保護は、AIではなく運営者が決める経営判断です。弊社では、ログ集計と設定案づくりまでを機械的に進め、許可範囲の最終決定と本番反映は人が確認する半自動の形をおすすめしています。方針の整理や、サイトの構造に合わせたrobots.txtの設計は、AIアドバイザリーやWeb制作・再構築の中でも対応していますので、お困りの際はご相談ください。
よくある質問
GPTBotをrobots.txtでブロックすると、ChatGPTの検索結果に表示されなくなりますか？
GPTBotは学習用、OAI-SearchBotは検索用と役割が分かれているため、GPTBotだけを拒否しても検索用の取得は別に制御できます。最新の仕様はOpenAIの公式ドキュメントで確認してください。
robots.txtでAIクローラーを拒否すれば、有料コンテンツは守れますか？
守れません。robots.txtは遵守を前提としたお願いのため、有料コンテンツはログインや課金の仕組みの内側に置き、必要に応じてWAFでの制限を併用してください。
AIクローラーのアクセス状況はどこで確認できますか？
サーバーのアクセスログのユーザーエージェント欄で、GPTBotやClaudeBotなどのボット名を検索して確認できます。ログの集計自体はChatGPTやClaudeに任せることもできます。
robots.txtの設定を間違えると、Google検索に影響しますか？
影響する可能性があります。User-agentを「*」にしてDisallow: / と書くと、通常の検索エンジンも対象になるため、反映前に人が確認し、反映後もログで挙動を確かめてください。
この記事のテーマ、自社サイトではどこまで対応できていますか？
16項目の無料セルフチェックで、AIO対応の現在地を3分で診断できます。→ AIO診断チェックリストをやってみる
関連記事
「自分の業務は、どこまでAI化できるのか」を無料で診断します
ここまで読んで、「うちのあの作業もできるのかな」と一瞬でも頭に浮かんだ作業があるなら、それを教えてください。「見積書の作成に毎回1時間かかっている」「契約書のチェックに毎回悩む」「発信を続ける余力がない」——そんな一文で十分です。
私たちは診断だけで終わらせません。業務フローを可視化してAIを組み込む「AI実装・業務設計」、どこからAIを入れるべきかROIを見立てる「AIアドバイザリー」、信頼感のあるサイトを構築する「Web制作・再構築」、そしてAIを活用して記事・SNS発信を続ける「メディア運用・コンテンツ」まで、実績をもとに一気通貫でお任せいただけます。
まずは診断から。送っていただいたら、実運用の経験をもとに、その作業を「AIに任せられる部分」と「人が確認すべき部分」に分解した診断結果を、1〜3営業日以内にメールでお返しします。
- 診断まで完全無料です（費用が発生する場合は、必ず事前にお見積りを出し、納得いただいてからです）
- 診断の結果、AI実装・アドバイザリー・Web制作・メディア運用のいずれかでお手伝いできそうな場合は、進め方と費用の目安もあわせてご提案します。不要ならそのまま終了で大丈夫です（しつこい連絡はしません）
