AIクローラーはどのページを見に来ているか — アクセスログの読み方
robots.txtの設定が「意図」だとすれば、アクセスログは「実際に何が起きたか」の記録です。AIクローラーが本当に来ているのか、どのページを読んでいるのかは、ログを見れば事実として分かります。推測で議論する必要はありません。
公開日: 2026年8月16日 ／ 最終更新日: 2026年9月6日
ログで何が分かるか
- どのAIクローラーが来ているか（GPTBot・ClaudeBot・PerplexityBot等のユーザーエージェント）
- どのページが読まれているか — AIに参照されたいページに来ているか、無駄なページばかり読まれていないか
- robots.txtの設定が実際に守られているか — 拒否したはずのボットのアクセスが続いていないか
- クロールの頻度 — 更新への追従の速さの見当
生ログから抽出する基本コマンド
NginxやApacheのアクセスログがあれば、コマンド1つでAIクローラーの行だけを取り出せます。
AIクローラーのアクセスを抽出
# 主要AIボットの行を抽出
grep -E "GPTBot|ClaudeBot|OAI-SearchBot|PerplexityBot|Google-Extended" access.log
# ボット別のアクセス数を集計
grep -oE "GPTBot|ClaudeBot|OAI-SearchBot|PerplexityBot" access.log | sort | uniq -c
# GPTBotが読んだURL上位20件
grep "GPTBot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20なりすましに注意
ユーザーエージェントは自己申告であり、偽装できます。「GPTBot」を名乗る不正クローラーも存在します。本物かどうかは接続元IPで確認します。OpenAI・Anthropic・Googleなどは、自社クローラーの正規IPレンジを公開しており、逆引きや公開リストとの照合で判別できます。
アクセス制御やブロックの判断をする場合は、ユーザーエージェント文字列だけでなくIPでの検証を挟んでください。
見るべき兆候
- 拒否したはずのボットが来続けている → robots.txtの記述ミスか、遵守しないクローラー。後者はサーバー側での制御が必要
- AI検索用ボット（OAI-SearchBot等）が一度も来ていない → 拒否設定・到達性の問題か、単に参照される機会がまだ無い
- 特定の無価値なURL（パラメータ違い等）ばかり読まれている → クロールの浪費。正規化の見直し余地
- 404への大量アクセス → 削除済みURLが外部やAIの記憶に残っている。リダイレクトの検討材料
Smash SEOのログ解析機能
Smash SEOにはアクセスログをアップロードして解析する機能があり、Googlebot・GPTBot・ClaudeBot・bingbot・Applebotを自動判別して、ボット別の訪問ページを集計します。「重要ページがGooglebotにクロールされていない」「パラメータURLにクロールが浪費されている」といった問題も検出します。
コマンドラインに慣れていない場合や、クロール状況を定期的に確認したい場合の選択肢としてどうぞ。
よくある質問
ログはどこで手に入りますか？
サーバーやホスティングの管理画面からダウンロードできることが一般的です（レンタルサーバーでは「アクセスログ」「生ログ」等の名称）。CDN利用時はCDN側のログも確認してください。
AIボットが全く来ていません。問題ですか？
来訪は「参照される機会があったか」に依存するため、来ていないこと自体は異常ではありません。まず拒否設定がないことを確認し、あとはコンテンツと露出の蓄積の問題です。
関連記事
- AIクローラーの許可・ブロック設定（GPTBot / ClaudeBot / PerplexityBot）
AIクローラーはrobots.txtに従います。重要なのは、多くのAI事業者が「学習用」と「回答生成用」で別々のボットを運用している点です。区別せずに一括ブロックすると、AI検索の回答に自社が一切登場しなくなります。 - クロールバジェットは中小サイトでも気にすべきか
先に結論を書きます。Googleの公式ガイドは、クロールバジェットの管理が必要なのは大規模サイト（目安として100万ページ超、または頻繁に更新される数十万ページ規模）だとしています。数百〜数千ページのサイトは、気にする必要がほぼありません。この記事は「安心してこのテーマを手放す」ための記事です。 - ChatGPTの回答に自社サービスを登場させるためにできること
最初に明言します。ChatGPTの回答に自社を登場させることを保証する方法は存在しません。ただし「登場し得る状態」と「構造的に登場できない状態」の差は明確にあり、後者を解消することはできます。この記事は保証なしの前提で、打てる手を優先順に並べます。