やじうまWatch
「AI学習に利用するべからず」OpenAIのクローラーをブロックする動き、海外で広がる
2023年8月29日 12:44
OpenAIのクローラーをブロックする動きが海外で広がっている。
ブロックの動きが広がっているクローラーはOpenAIの「GPTBot」。同社のチャットボットChatGPTのトレーニングに用いるデータを収集するボットと見られ、海外では数カ月前から活動を開始。これを快く思わない複数のウェブサイトが、robots.txtに追記する形で、クロールさせないようブロックする動きが広がっている。現時点で明らかになっているのはNew York Times、CNN、Reutersなどで、なかでもNew York Timesはこれに先立って自社のコンテンツをAIのトレーニングに用いることを禁止する条項を利用規約に追加。その後robots.txtに、GPTBotを「Disallow」とする旨を追記したとのこと。自社コンテンツをAI学習に使わせないために利用規約を改訂する動きは世界中で見られることから、これに追随して同Botのクロールをブロックする動きは、今後さらに広まりそうだ。
- The New York Times blocks OpenAI’s web crawler(The Verge)
https://www.theverge.com/2023/8/21/23840705/new-york-times-openai-web-crawler-ai-gpt - New York Times, CNN and Australia’s ABC block OpenAI’s GPTBot web crawler from accessing content | Artificial intelligence (AI)(The Guardian)
https://www.theguardian.com/technology/2023/aug/25/new-york-times-cnn-and-abc-block-openais-gptbot-web-crawler-from-scraping-content