バックナンバー

いよいよ位置情報がキーワード広告の世界にやってきた
[2005/12/06]


AOLの持つパワーを奪い合う検索エンジン企業たち
[2005/11/14]


MITの100ドルパソコンとGoogleNetの深い関係
[2005/10/12]


検索エンジンと中国の関係はどこに向かうのか
[2005/09/20]


インターネットのコメントとレビュー
[2005/08/31]


検索エンジンの未来はどうなる?
[2005/08/11]


RSS検索が市民ジャーナリズムを支えていく?
[2005/07/15]


ディープWebを浮上させるYahoo!の戦略とは
[2005/07/01]


検索エンジンの「リミックス」って何だ?
[2005/06/07]


クリック詐欺がテレビニュースになる日
[2005/05/18]


ライブドアだけじゃない、すさまじい検索企業の買収劇
[2005/04/04]


Yahoo!とGoogleの戦争、コンテキスト広告でも勃発!
[2005/03/16]


「長いしっぽ」が世界に革命を起こす
[2005/03/04]


検索エンジン最新トレンドは「使い勝手」だ!
[2005/02/14]


コメントスパムをみんなでやっつけよう
[2005/01/28]


検索エンジンマーケティング業界が分裂?
[2005/01/14]


検索エンジンを崩壊させる「クリック詐欺」が撲滅されない本当の理由
[2004/12/08]


MSN SearchはGoogleを超えたか?
[2004/11/26]


キーワード広告に定額制が導入される?
[2004/11/12]


デスクトップ戦争が熱くなってきた!
[2004/10/28]


Googleがホスティング事業に進出!?
[2004/10/13]


A9が「検索ヒストリー機能」をひっさげてやってきた
[2004/09/28]


マイクロソフトはヤフーに法廷闘争を仕掛けるか?
[2004/09/09]


サーチエンジンオーバードライブの夜
[2004/08/25]


GoogleとYahoo!の和解で、業界はどう変わる?
[2004/08/11]


検索エンジン特許から業界展望を読む
[2004/07/29]


Googleの株価はどうなる?
[2004/07/15]


ラスベガスのSEO企業にご注意を!
[2004/06/30]


Googleが裁判で敗れる日!?
[2004/06/16]


Yahoo! JAPANとGoogleの提携解消が与える影響は?
[2004/06/01]


GoogleとMicrosoftの「仁義なき戦い」
[2004/05/26]


新しい検索エンジン「ウジコ」って何だ?
[2004/05/12]


オークション大戦争、前哨戦が中国で勃発?
[2004/04/21]


Googleの新しいメールは盗聴システムになる?
[2004/04/07]


Yahoo!が独自のページランクテクノロジーを開発?
[2004/03/25]


「ローカルサーチ」という新しいトレンドって?
[2004/03/10]


Yahoo!の新しい検索エンジンは、アンチスパムを装備
[2004/02/25]


Googleはネット共同体からイチ抜けた?
[2004/02/10]


画期的に新しい? MSN Searchの驚くべき戦略とは
[2004/01/28]


検索結果がビジュアルになるメリットって?
[2004/01/13]


再編される検索エンジン業界の余波、続々
[2003/12/16]


ビジネスと政治に翻弄される検索エンジン
[2003/12/02]


幻に消えた? MicrosoftのGoogle買収報道
[2003/11/18]


Googleが買収されると検索結果はどう変わる?
[2003/11/04]


地理感覚のある検索エンジンが登場!
[2003/10/21]


gooとGoogleの歩んでいく道は……
[2003/10/07]


OvertureとGoogleはどっちがパフォーマンスが高い?
[2003/09/24]


オーガニックな検索エンジンマーケティングって何だろう?
[2003/09/09]


Googleとユーザーたちの間に起きた「ハリウッド風エンディング」
[2003/08/12]


Yahoo!のOverture買収で浮上した3つの疑問
[2003/07/29]


ネット広告の値段で人気業種がわかる
[2003/07/08]


GoogleはNetscapeの二の舞になる?
[2003/06/24]


商品カタログ検索がネットビジネスを制覇する?
[2003/06/10]


Googleの進んでいく道の先には(下)
[2003/05/28]


Googleの進んでいく道の先には(上)
[2003/05/13]


SETI@homeと検索エンジンをつなぐもの
[2003/04/22]


狙いは“商品検索”じゃない、AmazonとGoogleの提携
[2003/04/08]


打ち捨てられた“メタタグ”が復活する日
[2003/03/25]


相次ぐ買収劇の背景を探れ!
[2003/03/25]



【連載】
そこが知りたい!検索エンジンの裏側ロゴ

【編集部から】
  インターネットユーザーにとって、1日たりとも欠かせないのが検索エンジン。その検索エンジンをディープに使い尽くすために欠かせない情報を、毎回詰め込んでお届けします。

第4回 SETI@homeと検索エンジンをつなぐもの

●検索エンジンと分散コンピューティングの新たな関係?

分散コンピューティングプロジェクトの成功例、「SETI@home」
 SETI@homeをご存じだろうか? インターネットに接続された世界中のコンピュータを使い、地球外知的生命体を探そうという科学実験だ。参加するのは簡単。無償でダウンロードできる専用のプログラムを使い、宇宙から受信したデータを解析させれば良い。やっている人もきっと多いよね?

 この計画は分散コンピューティングの利用法の中でももっとも巨大であり、そしてもっとも有名なものだ。何しろ、このSETI@homeには、何百万ものコンピュータユーザーが参加している。分散コンピューティングというのは、CPUのパワーが大半の時間は使われず、眠っていることに注目し、それらを仮想的に接続して仮想的な“スーパーコンピュータ”を作り上げ、さまざまな計算や情報処理を行なわせようという仕組みだ。

 分散コンピューティングプロジェクトとは、使われていない多くのプロセッサを仮想的につないで、それらプロセッサのパワーの総和により、1台の仮想スーパーコンピュータを築き上げ、通常は研究目的で作業をこなしていく方式のプロジェクトを指している。数百万台のマシンから計算能力を借りて、研究にかかるコストや時間を削減しようというものだ。SETI@homeの場合、世界最大の電波望遠鏡が受信した無線信号のデータを解析させるプログラムをダウンロードすれば、パソコンのスクリーンセーバーとして動き、動作中に解析の計算を行ってくれる。驚くべきシステムだね。

 さて、「検索エンジンの裏側」というタイトルのこの連載で、なぜSETI@homeの話から入ったのかって? 実はあのLooksmart社が、似たような分散コンピューティングプロジェクトを始めたからなんだ。

 LooksmartはSETI@homeのようなモデルが、検索エンジンの世界にも導入できるのではないかと考えた。つまり、検索エンジンにとってもっとも重要なシステムのひとつである“ロボットによるWebページの収集”という作業を、分散コンピューティングによって行なえるのではないかという発想だ。

 そして今年1月、「Grub」というプロジェクトを買収。これは米オクラホマ州出身のKord Campbell氏が始めたもので、SETI@homeと同じようにコンピュータの空いた時間を利用し、スクリーンセーバーのバックグラウンドでプログラムを走らせることができる。そいつは自動的にWebページを収集し、Looksmartの中央データベースに送り返してくる仕組みだ。Grubのスクリーンセーバーは収集中のWebサイトをツリー状に表示してくれ、見ているだけでも楽しい。なおGrubのユーザーエージェントは、ただ単にgrub、あるいはgurb-clientといった名前になっている。

 Looksmartが米国証券取引委員会(SEC)に提出した登録届出書によると、同社はこう説明している。

 「分散コンピューティングの手法を検索インデックスのアップデートのプロセスに組み込んでいくことで、インデックスをいつも新鮮なものに保つことができる。これによって得られる利益は大きく、将来的にはコスト削減に役立つことになると信じている」

 ここで重要なのは“新鮮”という言葉だね。Looksmartは、インデックスの新鮮さこそが、他の検索エンジン会社と比べた大きなアドバンテージになるものだと考えているわけだ。

 このGrubプロジェクトが成功するかどうか。そのためには、少なくとも3つの条件があると僕は思っている。

1. データの完全性
 検索エンジンスパムのような悪質な手法を使ってランキング上位を狙っている連中は、いつも新しい手口を狙っている。こうした連中の新手口に取り込まれないように、データの品位を保つことができるかどうか。

2. 参加するボランティアの意欲
 そりゃ僕もスクリーンセーバーをダウンロードして、自分のパソコンのパワーを科学調査や異星人の探索に寄付するのはやぶさかじゃない。しかし、Looksmartは株式会社で、彼らは株主を儲けさせるためにGrubを買収してこのプロジェクトを始めたはずだ。他人の営利目的のために、みんなが協力してくれるだろうか? SETI@homeは226カ国から400万人以上のボランティアを集めているんだけどね。

3. 工程の問題
 Grubで収集したWebのデータを、Looksmartは昨年925万ドルで買収した検索エンジンのWiseNutに統合していかなければならない。しかしその作業はかなり難しい内容となるはずだ。さらにいえば、今回のプロジェクトで、Looksmartは市場におけるシェアを増やすことができるだろうか?
Grubのサイト。プロジェクトの参加人数やクロールしたURLをグラフで表示している Grubのクライアントソフトをスクリーンセーバー表示にしたところ。丸印がクロール中のサイトだ

●米Microsoftが新しいエージェントを投入


 連載の前回で、検索エンジン業界でのMicrosoftの動きが活発になっているという話を書いた。そして今週、彼らが新しくリリースした収集ロボットの姿がついにはっきりと見えてきた。そのロボットは「Microsoft Prototype Crawler」と呼ばれている。すでに同社が、このロボットを使って、Webページの情報収集を開始していることが明らかになっている。自分のWebサイトのアクセスログを調べてみれば、このロボットの記録が残っているかもしれない。

 このロボットが関連づけられているIPアドレスは、以下の通り。

131.107.163.47
131.107.163.48
131.107.163.49

 そしてログファイルに現れるユーザーエージェント名は、こんな感じになる。

MicrosoftPrototypeCrawler(please report obnoxious behavior to newbiecrawler@hotmail.com)

 今までのところ、Microsoftは他社の買収ではなく、独自の技術と戦略で検索エンジン業界に切り込んでいこうとしているように見える。同社が今後どう戦略を展開するのかは、きちんとウォッチしていって、この連載でお知らせしていきたいと思う。

【著者プロフィール】
・文=ジェフ・ルート(Jeff Root)
 イージャパン株式会社のSEOチーフスペシャリスト。日本には出たり入ったりで早や10年。メールアドレスは「jeff@ejapaninc.com」。日本語もOKなので、気軽にメールをくれると嬉しい。
・翻訳=佐々木俊尚
 元全国紙社会部記者。その後コンピュータ雑誌に移籍し、現在は独立してフリージャーナリスト。東京・神楽坂で犬と彼女と暮らす。ホームページはこちら

(2003/4/22)

[Reported by ジェフ・ルート&佐々木俊尚]

INTERNET Watchホームページ

INTERNET Watch編集部internet-watch-info@impress.co.jp
Copyright (c) 2003 Impress Corporation All rights reserved.