やじうまWatch

Twitter、Google以外の検索エンジンを締め出しへ？ robots.txtが大幅改変され話題に

  • tks24

2023年7月28日 12:18

　Twitter（現・X）で、Google以外の検索エンジンのクローラーを巡回させないよう設定されたことが判明して波紋を呼んでいる。

　これはTwitterが設置している「robots.txt」ファイルに7月25日ごろに加えられた変更によるもので、GoogleのクローラーであるGooglebotだけに順回する許可を出し、それ以外を巡回させないよう変更されたというもの。従来はGooglebotのほか、Yahoo!やBing、ロシアのYandexなどひとつひとつに巡回から除外すべきフォルダなどが指定されていたのだが、それがごっそりと削除され、基本的にGooglebotしか巡回が行えなくなっている。実はこのrobots.txtの書式設定には間違いがあり、国内外で多くのSEO専門家がそのことをアドバイスしているのだが、たとえ正常に動作しないとしても、TwitterがGoogle以外を除外したいという意志ははっきりと伝わってくる。もちろんrobots.txtを無視してクロールするという手もあるのだが、ほかの検索エンジンがどのような判断を下すのか、今後の展開は予測できない状況だ。