「仕事のIT」聞いてみました
「目的を意識してデータ収集を」聞き取りから始めるクローリングサービス「Crawl Krei」
2018年6月13日 06:20
本連載では、仕事で知っておくとちょっと便利なお役立ちサービス・製品を、担当者に直接聞いてご紹介していきます。バックナンバーはこちら。
株式会社テンダが提供するウェブクローラー／ウェブスクレイピングサービス「Crawl Krei（クロールクレイ）」は、顧客が必要な情報をウェブクローリングで提供するサービスだ。ウェブクローリングというとインターネット上の情報を闇雲に取得するものというイメージがあるが、Crawl Kreiでは、事前に利用者と協議し、必要な情報とはどんなものか、カウンセリングを行った上で情報取得し、提供しているという。
この事業を担当する、同社ソリューション事業部ソリューション営業部の渡邊圭輔氏は、「目的をもって情報を集めているお客様向けのサービスです。『単に集める』だけでなく、活用しやすいデータを集めることにフォーカスしており、その点をお客様に評価されているサービスだと自負しています」と話す。Crawl Kreiとはどんなサービスなのか。
「目的に合ったデータ」のために、まずはカウンセリング
そもそも、ウェブクローラーとは、Googleのようなロボットエンジンを使ってウェブ上に提供された情報を収集する仕組みだ。ウェブスクレイピング、ウェブスパイダーといった呼び方をされることもある。ウェブクローラー／ウェブスクレイピングサービスとは、顧客の要望に応じて情報を収集するサービスを指す。
テンダが提供するCrawl Kreiもウェブクローラーサービスの1つではあるが、他社とは異なる特徴を持っている。最大の特徴といえるのが、事前にカウンセリングを行うことだ。
カウンセリングを最初に行う理由を、渡邊氏は次のように説明する。
「ウェブクローラーの中には、『とにかく大量のデータを集め、提供する』というサービスもありますが、Crawl Kreiはそうではありません。お客様が必要とする情報に絞りデータを集めて提供しています。そのために事前にカウンセリングを行って、お客様がどんな目的でデータを収集するのかを明確にする必要があるのです。」
その結果、Crawl Kreiには適さないケースもあるという。例えば、調べるデータの条件があいまいで、システムを使うよりも人手で行った方が適したケースもある。それほど規模が大きくないデータ収集の場合も、システムを利用するよりも人が作業した方が安上がりという場合もあるそうだ。
システムを利用する場合でも、「ウェブクローリングの分野にはパッケージソフトも存在します。例えば、会社概要のようにウェブ上に大量のページが存在するものを集めてデータ化するのであれば、当社のようなクラウドサービスではなく、パッケージを利用した方がよいのではないでしょうか」と渡邊氏は指摘する。闇雲にデータを集めるのではなく、顧客が必要とする情報だけを集めるのがCrawl Kreiなのだという。
ではなぜ、「目的を明確にしたデータ集め」にこだわるのか。その理由も明確だ。
「機械的になんでも情報を集めるとなると、例えば、想定していなかったデータが入ってくることになります。不要な情報が入っていると、運用（手作業）などの後工程でデータの加工が必要になるといった、無駄な作業が多くなります。目的を明確にせず集めた大量データは、『最初の価格が安くても、後工程も含めた場合、トータルコストが高くなる』といったことが起こりがちです。最初から目的に合致したデータを集めることで、後工程も含めて短時間で、最適なコストで提供するのが当社のサービスなのです。」
AI用のデータ収集にも、ウェブクローリングを活用可能？
それではテンダのサービスを利用しているのは、どういった業種で、どういった目的を持っているユーザーが多いのだろうか？
「多いのは価格調査、マーケティング目的での導入です。業種で言えば、量販店やメーカーなどが他社の情報収集をするために、ウェブクローリングを利用されています。また、不動産やホテルなどのお問い合わせも多く、自社製品やサービスなどの情報を他社と比較するための利用が多いですね。」
最近増えてきたのが、AIで活用するためのデータ収集だ。ご存じの通り、AIはデータ量が多いほど分析の精度が上がる。自社だけではデータが十分ではない場合、ウェブクローリングを活用できないか？と考える企業が増えているのだ。
「AI用データが必要という場合には、特に良いデータを集める必要があると思います。データ量が多ければいいわけではなく、目的に合致したデータを多く集めなければ、期待するような答えが出てこない可能性があるからです。最近では情報システム部門からの問い合わせも増えています。社内でデータを集めたいという声があるものの、そのオーダーをさばききれないので対応してくれないか？というケースです。データの必要性が高まっているからこそ、需要が増えているのだと思います。」
目的をもって問い合わせをしてきた案件が、ウェブクローリングにとどまらず、他のシステム開発案件に発展することもあるという。
「カウンセリングでいろいろとお話をさせていただく中で、他のシステムと連携ができるのではないか、こんなシステム的な発展が見込めるのではないかといった提案となるケースもあります。当社はシステム開発を手がけてきた企業で、ウェブクローリングも、社内でLAMPベースのウェブ開発の経験から発展し、サービスとして提供するようになったという経緯があります。その経験から、ウェブクローリングだけにとどまらない提案を行っていくことができるのです。Crawl Kreiというクラウドサービスをきっかけにいろいろとご相談いただければと思います」と渡邊氏は話している。
（協力：株式会社テンダ）