やじうまWatch

Cloudflare、サイトのデータを無断収集するAI学習クローラーを迷宮に閉じ込めるツールを実装

 サイト上のデータを無断収集する不適切なAIクローラーを“おとり”のページへと誘い込んで脱出できなくするツールを、Cloudflareが発表して話題になっている。

 「AI Labyrinth」(ラビリンス=迷宮)と名付けられたこのツールは、クロール禁止の指示を無視してサイト上のデータををAIのトレーニングに利用するクローラーを発見すると、あらかじめ用意したおとりページへと誘導。人間はアクセスできないおとりページを長時間にわたってクロールさせることで、クローラーのリソースを無駄遣いさせることを目的としている。ピンと来た人も多いだろうが、これは今年初めに話題になった「Nepenthes」と全く同様のコンセプト。もっとも、小規模な利用にとどまっているNepenthesと異なり、今回のAI LabyrinthはCDN大手のCloudflareが自ら開発・運用しており、サイト管理者がダッシュボード上で有効にするだけで利用できるという手軽さゆえ、その影響力は計り知れない。Nepenthesが登場した時点ではその手法に批判もあったが、Cloudflareが同種のツールを実装したことで、今後こうした手法が当たり前の対策となっていくかもしれない。