やじうまWatch

長いページは全体がクロールされなくなる？ Googleがクロール制限を15MB→2MBに縮小

  • tks24

2026年2月9日 11:15

　Googlebotがウェブサイトをクロールするにあたってのファイルサイズの制限が、これまでの15MBから2MBに減らされたことが明らかになり、波紋を呼んでいる。

　Googlebotは、Google検索で使用されているウェブクローラーで、ウェブサイトをクロールするにあたり、読み込まれるファイルサイズはHTMLやCSSごとにこれまでは上限15MBまでと定められており、よほどの長文でなければページ全体がクロールされていた。ところが、2025年末頃からページすべてが読み込まれていない現象が相次ぎ、ユーザーの調査の結果、ファイル制限が上限2MBと大幅に縮小されていたことが明らかになった。

　Googleの説明によると「上限に達すると、Googlebotはフェッチを停止し、すでにダウンロードされたファイルの一部のみをインデックス登録の対象として送信します」とのことで、2MB以降に書かれた内容は事実上無視されることになる。

　なるべくページを区切らずにドキュメントをひとつのページにまとめてきたウェブサイトにとっては痛手で、サイトの作り方が根本的に変わってくる可能性もある。ちなみに、PDFは最初の64MBまでがクロールされるなどファイルタイプによっても違いがあるため、詳細はリンク先の説明を参照されたい。