グーグル、日本語N-gramデータを公開

記事検索

最新ニュース

■

レゴ、小学生向けプログラミング教材「WeDo 2.0」発売

■

マクロウイルスを知らない世代の社員が狙われる？　「Office文書を開いて感染」攻撃が再び増加

■

新gTLD「.shop」、49億円でGMOが落札、AmazonやGoogleなどに競り勝つ

■

Windows SQL Server 2005サポート終了の4月12日が迫る、報告済み脆弱性の深刻度も高く、早急な移行を

■

インストール不要の非常駐型セキュリティソフト「Dr.Web CureIt!」、日本語版を無料で提供

■

筆まめ、中小事業者向け顧客管理ソフト「筆まめ顧客管理 Windows版」発売

■

大日本印刷が「サイバーナレッジアカデミー」設立、IAIの訓練システムでセキュリティ技術者を養成

■

「インターネット白書2016」発売、20周年記念の特別版

■

NEC、中小規模事業者向けセキュリティアプライアンス「Aterm SA3500G」を発売

■

Synology、2ベイNASのハイエンドモデル「DS216+」、暗号化データも上下100MB／秒以上で高速転送

■

公安9課が情報流出の危険性を解き明かす、「攻殻機動隊 S.A.C.」の描き下ろしPDFコミック「HUMAN-ERROR TRAPS」無償公開

■

Google Playに「マンガストア」オープン、ジャンプコミックスも配信開始

■

BIGLOBE、電力とインターネットのセットプラン、中部電力の首都圏エリア展開に合わせ

■

ウェブブラウザーのプライベートブラウジング機能、認知していた人は23.1％

■

LINE、違う電話番号のスマホから一方的にアカウント移管操作を行えないよう仕様変更

■

LINEのiPhone版アプリがiPadにも対応、「LINE for iPad」より多機能、大画面で音声・ビデオ通話が可能に

■

Microsoft、Officeと他社クラウドストレージとの連携を強化

■

Googleのディープラーニングシステムによって、人工知能が初めて囲碁のプロ棋士に勝利

■

ソラコム、IoTプラットフォーム「SORACOM」と既存システムを専用線でつなぐサービスや認証機能など提供開始

■

Google「Chrome 48」iOS版ではクラッシュ率70％低下、JavaScript実行速度も大幅改善

グーグル、日本語N-gramデータを公開

　グーグルは1日、Webから抽出した約200億文（約2,550億単語）の日本語データにより作成した、単語単位のN-gramデータを公開した。データの配布は特定非営利活動法人言語資源協会を通じて行なわれ、学術目的限定でデータを記録したDVD-Rを有償で入手できる。

　グーグルが公開したN-gramデータは、直前の単語の並びから次に来る単語の出現頻度を記録したもの。例えば、「グーグルで」という言葉の後ろには、「検索」という単語が最も多く出現するといったことがわかる。直前の言葉から次に来る単語の頻度がわかることで、かな漢字変換、機械翻訳、OCRのエラー訂正、音声認識といった分野に応用できる。

　公開されたデータは、日本語データを形態素解析エンジンの「MeCab」を使用して分割し、1～7個の単語の並びについて出現頻度20回以上のものが収録されている。英語のN-gramデータについても2006年8月に米Googleが公開しており、このシステムに日本語独自の処理を加えて構築した。

　データを作成したのはソフトウェアエンジニアの工藤拓氏と賀沢秀人氏で、勤務時間の20％を自分の好きなことに使ってよいという、グーグルの「20％ルール」による成果だという。

関連情報

■URL
　 Google公式ブログの記事
　 http://googlejapan.blogspot.com/2007/11/n-gram.html

■関連記事
・「Yahoo!知恵袋」のデータを研究目的で利用、国立情報学研究所が契約締結（2007/03/06）

（三柳英樹）
2007/11/02 15:34

- ページの先頭へ-

INTERNET Watch ホームページ

Copyright (c) 2007 Impress Watch Corporation, an Impress Group company. All rights reserved.