やじうまWatch

サイトのコンテンツを無断収集するAIクローラーを捕獲し、脱出できなくするツールが物議

  • tks24

2025年1月30日 12:10

　ウェブサイトのコンテンツを無断収集するAIクローラーを閉鎖空間に閉じ込めて脱出できなくするツールが登場し、海外を中心に話題になっている。

　「Nepenthes」と名付けられたこのツールは、robot.txtを無視してサイトをクロールし、データを収集するAIトレーニング用のクローラーを無意味なデータで満たされた閉鎖空間に閉じ込め、AIモデルの学習を妨害することを目的としている。この空間では1つのリンクにアクセスすると、AI学習に不向きな意味不明なデータで満たされたウェブページを無限に生成。それらを収集させることでクローラーが別ページにアクセスするのを防ぎ、サイトの帯域が食い尽くされるのを防ぐ仕組みだ。これまでのところ、この空間からの脱出に成功したのはOpenAIのクローラーだけで、それ以外は全てNepenthesに捕獲されることが判明しているという。

　海外メディア「Ars Technica」のインタビューに応じた制作者は、「私が育ち、愛したインターネットは消え去ってしまった。しかし反撃の手立ては残されている」として、こうしたツールにより、インターネットの衰退につながるAIの無断クロールを妨害するのが目的であると述べているが、こうした手法について批判的な声もあり物議をかもしている。