クロールバジェットは中小サイトでも気にすべきか

先に結論を書きます。Googleの公式ガイドは、クロールバジェットの管理が必要なのは大規模サイト（目安として100万ページ超、または頻繁に更新される数十万ページ規模）だとしています。数百〜数千ページのサイトは、気にする必要がほぼありません。この記事は「安心してこのテーマを手放す」ための記事です。

公開日: 2026年8月16日／最終更新日: 2026年9月6日

クロールバジェットとは

クロールバジェットは、Googleが1つのサイトに割り当てるクロールの量です。サーバーに負荷をかけない範囲（クロール能力の上限）と、そのサイトをどれだけクロールする価値があるか（クロールの需要）で決まります。

割り当てを使い切ると、新しいページの発見や更新の反映が遅れる——という理屈自体は正しいのですが、問題はこれが「誰にとって現実の問題か」です。

Google検索セントラルのクロールバジェット管理ガイドは、対象読者を明確に限定しています。目安として、100万ページを超える大規模サイト、または数十万ページ規模で更新が非常に頻繁なサイトです。

裏を返せば、それ未満のサイトでは、公開したページは通常問題なくクロールされます。「クロールバジェットを節約するために○○しましょう」という一般サイト向けの助言の多くは、存在しない問題への対策です。

中小サイトで「クロールされない」問題が起きる場合、原因はバジェットではなく別の場所にあります。

ECの絞り込みや求人検索のような、パラメータでURLが無限に増える構造のサイトでは、クロールの浪費が実際に問題になります。対処の定石は次のとおりです。

自分のサイトでクロールの浪費が起きているかは、推測ではなくアクセスログで確認できます。GooglebotがどのタイプのURLに何回来ているかを集計し、パラメータURLへのアクセスが大半を占めるなら、上の対処に価値があります。

Smash SEOのログ解析は、アクセスログからGooglebot等の訪問先を集計し、パラメータURLへのクロール集中や、重要ページの未クロールを検出します。「うちは対策が要るのか」の判断材料としてお使いください。

クロール数自体はサイトの規模や更新頻度で変動し、減少＝問題ではありません。見るべきはインデックス登録の状態と、サーバーエラーの割合です。

低品質ページの整理はバジェットではなく品質の観点で価値があります。目的を取り違えなければ、結果として同じ行動になることはあります。

リダイレクトチェーン（転送が複数回続く）
リダイレクトチェーンとは、URLにアクセスしてから最終ページに着くまでに転送が2回以上発生している状態です。表示が遅くなり、クロール効率も落ちます。最終的に正しいページへ着くため気づかれにくい問題です。
孤立ページ（内部リンクが1本もないページ）
孤立ページとは、サイト内の他のページから1本も内部リンクを受けていないページです。検索エンジンがたどり着きにくく、サイト内の評価も受け取れないため、内容が良くても検索結果に出にくくなります。
sitemap.xmlが見つからない
sitemap.xmlは、サイト内のURLを検索エンジンに一覧で伝えるファイルです。無くてもリンクをたどって発見されますが、新しいサイトやページ数の多いサイト、内部リンクが十分でないサイトでは、発見の速さと網羅性に差が出ます。
AIクローラーはどのページを見に来ているか — アクセスログの読み方
robots.txtの設定が「意図」だとすれば、アクセスログは「実際に何が起きたか」の記録です。AIクローラーが本当に来ているのか、どのページを読んでいるのかは、ログを見れば事実として分かります。推測で議論する必要はありません。