やじうまWatch

Wikipediaがコスト上昇で窮地に。トラフィック急増も、そのほとんどはクローラーbot？

  • tks24

2025年4月4日 10:47

　WikipediaがAIのクローラーbotによるトラフィックの急増により、コスト上昇に苦しんでいることが明らかになった。

　これは、Wikipediaを運営するウィキメディア財団が「クローラーがWikipediaの運営に与える影響」という文書で明らかにしたもの。具体的には、現在のWikipediaへのリクエスト数の多くは、大規模言語モデル (LLM) やその他のトレーニングデータを収集するスクレイピングbotに占められており、例えば2024年1月以降、マルチメディアコンテンツのダウンロードに使用される帯域幅は50％増加しているが、それらは人間の読者によるものではなく、画像カタログをスクレイピングしてAIモデルに画像を提供する自動プログラムによるものだという。また、通常のコンテンツについても、リソースを大量に消費するトラフィックの少なくとも65％がbotによるもので、botによるPVが全体の約35％であることと照らし合わせると「不釣り合いな量」としている。同財団は「コンテンツは無料ですが、インフラは無料ではありません」とし、次の会計年度では持続可能なアクセス方法の確立に重点を置くと宣言しており、クローラーのブロックなど何らかの対策が取られる可能性は高そうだ。