robots.txtでクロールがブロックされている

robots.txtでブロックされたURLは、検索エンジンがページの中身を取得できません。意図的なら正しい設定ですが、意図せずブロックしていると、そのページは内容を評価されないまま検索結果から実質的に外れます。

公開日: 2026年8月16日 ／ 最終更新日: 2026年9月6日

カテゴリ: クロール ／ 影響度: 高 ／ 想定工数: 1時間 ／ ルールID: robots_blocked

この問題の意味

robots.txtは、クローラーに対して「このURLは取得しないでほしい」と伝えるファイルです。あくまでクロール（取得）の制御であり、インデックス（検索結果への登録）の制御ではありません。

この違いが重要です。ブロックされたURLでも、外部からリンクされていればURL自体は検索結果に出ることがあります。ただし中身を取得できないため、説明文が表示されない不自然な状態になります。

noindexとの違い、そして併用してはいけない理由

robots.txtは「取得するな」、noindexは「検索結果に出すな」です。目的が違います。

検索結果から確実に外したい場合、robots.txtでブロックしてはいけません。ブロックすると検索エンジンはページを取得できず、HTMLに書かれたnoindexを読むことができないためです。結果として、noindexが効かないままURLが残り続けます。

正しい手順は、クロールは許可したうえでnoindexを設定することです。検索結果から消えたことを確認してから、必要であればrobots.txtでのブロックを追加します。

よくある発生原因

• 開発時の「Disallow: /」が本番に残っている（最も深刻）
• CSSやJavaScriptのディレクトリをブロックしており、ページを正しく描画できない
• パラメータ付きURLをまとめてブロックしたつもりが、必要なページまで巻き込んでいる
• CMSの管理画面ディレクトリを指定した際、パターンが広すぎた

Smash SEOの検出条件

クロール実行時にrobots.txtを取得し、各URLがクロール許可されているかを判定します。ブロックされているURLはクロールをスキップし、その事実を診断結果に記録します。

つまり、この項目に挙がったURLは「Smash SEOも取得できなかったURL」です。検索エンジンから見ても同じ状態になります。

直し方

• robots.txtを開き、Disallowの記述を1行ずつ確認する
• 検索結果に出したいページが該当していないか、パターンの範囲を確認する
• CSS・JavaScript・画像のディレクトリはブロックしない（描画に必要です）
• 検索結果から外したいだけなら、robots.txtではなくnoindexを使う

robots.txtの基本形

User-agent: *
Allow: /
Disallow: /admin
Disallow: /mypage

Sitemap: https://example.com/sitemap.xml

修正後の確認方法

• Search Consoleの「robots.txtレポート」で内容が意図どおりか
• 「URL検査」で対象URLが「取得可能」になっていること
• 再診断してブロックの検出が消えていること

よくある質問

robots.txtでブロックすれば検索結果から消えますか？

消えるとは限りません。外部リンクがあればURLだけが検索結果に残ることがあります。確実に消すにはクロールを許可したうえでnoindexを使います。

CSSやJSをブロックすると何が起きますか？

検索エンジンがページを正しく描画できず、モバイル対応やレイアウトの評価が正しく行われない可能性があります。ブロックしないでください。

関連記事

• noindexが設定され検索結果から除外されているページ
  noindexは「このページを検索結果に出さない」という指示です。意図的なら正しい設定ですが、意図せず設定されている場合、そのページはどれだけ内容が良くても検索結果に一切表示されません。「インデックスされない」原因として最初に確認すべき項目です。
• AIクローラーの許可・ブロック設定（GPTBot / ClaudeBot / PerplexityBot）
  AIクローラーはrobots.txtに従います。重要なのは、多くのAI事業者が「学習用」と「回答生成用」で別々のボットを運用している点です。区別せずに一括ブロックすると、AI検索の回答に自社が一切登場しなくなります。
• サイトがインデックスされない12の原因と確認手順
  インデックスされない原因は多くの場合、この12個のどれかです。上から順に確認すれば、原因の切り分けに漏れがなくなります。各項目に確認方法と、詳しい直し方への案内を付けています。
• クロールバジェットは中小サイトでも気にすべきか
  先に結論を書きます。Googleの公式ガイドは、クロールバジェットの管理が必要なのは大規模サイト（目安として100万ページ超、または頻繁に更新される数十万ページ規模）だとしています。数百〜数千ページのサイトは、気にする必要がほぼありません。この記事は「安心してこのテーマを手放す」ための記事です。

この問題が自分のサイトで起きているかは、URLを入力するだけで確認できます。 無料で診断する ／ ルール一覧 ／ 料金プラン