|
|
■URL
http://www.websidestory.com/cgi-bin/wss.cgi?corporate&news&press_3_145
米調査会社のWebSideStoryは19日、インターネットのサーチエンジンなどで一般的に使われるロボット(Webクローラー、ロボット、スパイダーなどと呼ばれる)がそのサイトの実際のトラフィックを計測しにくくするほど大きな影響を与えているとの調査結果を発表した。
こうしたロボットは、インターネットの中を渡り歩いてそれぞれのWebサイトにどのようなデータがあるのかを自動的に探し出し、取得するソフトウェアツールだ。ロボットの動きはWebサーバーに保存してあるログファイルに記録されるが、人間の行動と区別するのが難しいため、Webサイトの運営者や広告主がWebサイトのトラフィックデータをログファイルから計測することを難しくする要因となっている。
オンラインメディアのためにデータの監査を請け負っている米ABC Interactive社によると、すべてのWebサイトに寄せられるページ要求のうち平均して約7％がロボットによるものだという。サイトによってはこの数字が30％を上回ることがあると指摘しており、Webサイトの統計上全く無視できない数字であることがわかる。
したがってWebサイトの正確なデータを得るには、訪問者のデータやトラフィックの記録の中からロボットによるものを除去しなければならない。実際ロボットの行動を認識して、ログファイルからそれを除去するようなソフトウェアは存在するが、知られているだけですでに750種類ものロボットが存在しており、その数は日々増え続けているため、現実にはイタチごっことなってしまうようだ。
(2001/9/20)
[Reported by taiga@scientist.com]