やじうまWatch
Cloudflare、サイトのデータを無断収集するAI学習クローラーを迷宮に閉じ込めるツールを実装
2025年3月26日 11:59
サイト上のデータを無断収集する不適切なAIクローラーを“おとり”のページへと誘い込んで脱出できなくするツールを、Cloudflareが発表して話題になっている。
「AI Labyrinth」(ラビリンス=迷宮)と名付けられたこのツールは、クロール禁止の指示を無視してサイト上のデータををAIのトレーニングに利用するクローラーを発見すると、あらかじめ用意したおとりページへと誘導。人間はアクセスできないおとりページを長時間にわたってクロールさせることで、クローラーのリソースを無駄遣いさせることを目的としている。ピンと来た人も多いだろうが、これは今年初めに話題になった「Nepenthes」と全く同様のコンセプト。もっとも、小規模な利用にとどまっているNepenthesと異なり、今回のAI LabyrinthはCDN大手のCloudflareが自ら開発・運用しており、サイト管理者がダッシュボード上で有効にするだけで利用できるという手軽さゆえ、その影響力は計り知れない。Nepenthesが登場した時点ではその手法に批判もあったが、Cloudflareが同種のツールを実装したことで、今後こうした手法が当たり前の対策となっていくかもしれない。
- Trapping misbehaving bots in an AI Labyrinth(The Cloudflare Blog)
https://blog.cloudflare.com/ai-labyrinth/ - Cloudflare is luring web-scraping bots into an ‘AI Labyrinth’(The Verge)
https://www.theverge.com/news/634345/cloudflare-ai-labyrinth-web-scraping-bots-training-data - サイトのコンテンツを無断収集するAIクローラーを捕獲し、脱出できなくするツールが物議(やじうまWatch)
https://internet.watch.impress.co.jp/docs/yajiuma/1658776.html