イベントレポート
NTT R&Dフォーラム 2015
NTT、「おもてなし」の最新技術を研究・開発中、2020年に向けて
（2015/2/20 16:23）
日本電信電話株式会社（NTT）は、同社の最新研究・開発成果を紹介するイベント「NTT R&Dフォーラム 2015」を、NTT武蔵野研究開発センタ（東京都武蔵野市）で2月19日・20日に開催。東京オリンピック・パラリンピックが開催される2020年に向けた、1）訪日外国人などへの「おもてなし」、2）スタジアム内や遠隔地などでの新たな「スポーツ観戦」、3）プロ／アマチュア向けの「スポーツ上達支援」――という3つのコンセプト・技術を披露した。
看板を撮影するとナビしてくれる「おもてなし」の最新技術
「おもてなし」に関する最新技術として、駅に設置されている看板をスマートフォンで写すと、目的地まで案内してくれる移動支援サービスのコンセプトを紹介。スマートフォンで指定した目的地への移動中に道に迷ってしまった場合は、端末を案内看板にかざすだけで、その方向が正しいのかなどを表示する。情報はユーザーの使用言語にあわせて翻訳される。
電子透かしを利用することで、デジタルサイネージでも活用できる。可能運行情報を表示するデジタルサイネージに端末をかざすと、翻訳された運行情報が端末の画面に表示されるため、訪日外国人でも緊急のアナウンスの内容を知ることができる。サイネージに表示する動画に電子透かしを埋め込み、看板やディスプレイに縁取られたマーカーや位置推定技術を手掛かりに、どの情報に該当するか識別する。イベントのチケットをマーカーとすることで、チケットに端末をかざすだけで目的地まで案内することも可能だという。
ユーザーが見ている景色から“モノ”を発見することで、国籍・言語・性別などのユーザー属性や位置・行動履歴に応じて最適な情報を抽出し、人・場所に応じたナビゲーションを行うシステムも開発中だ。さまざまな角度から同じ対象物を探知できる「アングルフリー検索技術」を組み合わせることで、初めて訪れた観光地など、外から見てどのような店か判別できない場合などに、スマートフォンなどのカメラを通してユーザーが興味のある店や観光情報を案内してくれる。
アングルフリー検索技術は、従来は50～60枚程度の画像が必要だったマルチアングル検索において、10分の1の画像登録のみで物体を判別できる技術。VGA程度の画像でも検出可能で、スマートフォンのカメラでもリアルタイムで検出できる。Google ストリートビュー内での検索や、スマートグラスといったウェアラブル端末と連携して実際に自分が見ている景色に観光情報を重ねることも、技術的には可能としている。
ユーザー同士の会話から意図を適切に理解することで、自然な説明文で情報提供する対話システムも開発。音声認識・合成技術、共感インタラクション技術を組み合わせたぬいぐるみやロボットをインターフェイスとしてユーザーと会話したり、ユーザーの感情を分析し、共感するといった動きを付けることができる。主に観光地などでの情報提供方法や、宿泊施設でのコンシェルジュといった利用用途が考えられる。
自然な対話には、ユーザーとの会話に含まれる意図を理解し、自然言語を機械処理可能な言語に適切に翻訳することで実現している。例えば、お寺の前で「いつできたんだろう」と話すと、そのお寺の建設年を返答。また、一問一答ではなく、背景や補足情報も含めて回答する。「おなかへった」といったあいまいな表現でも意図を理解するという。
車椅子利用者や高齢者などのユーザー属性に応じたナビゲーションシステムでは、地下鉄・屋内地図や1m精度の高精度測位技術を前提に、車椅子の走行距離やセンサー情報、段差などの情報から、ユーザーの置かれている状況を推定。エージェントを介してユーザーの行動をサポートする。得られた情報は、クラウド上に「バリアフリーマップ」として蓄積され、ほかの車椅子ユーザーのナビゲーションに活用される。
例えば、ナビゲーション中に車椅子で移動していて工事現場に遭遇し迂回すると、エージェントから迂回した理由を尋ねてくる。「1カ月間工事中だってよ」とユーザーが返答すると、バリアフリーマップに共有される。ただし、人が急に飛び出した時の急制動など、一時的な状況の場合は共有しないこともできる。また、ユーザーの位置や属性に応じた情報を自動で通知し、突発的な雨などでもユーザーが対応できるようになるという。
NTTドコモによる音声エージェントでは、、見た・聞いたことに応じて話しかけてくるため、ボタン操作不要で会話のキャッチボールができるのが特徴。メールや天気といった外部サーバーと接続されており、エージェントはメールの受信などがトリガーとなり話しかける。また、「出身地はどこ？」「星座は？」とたずねてくるため、個人データを習得しつつ雑談できるほか、テレビ番組であれば「ドラマ」「アニメ」など、ユーザーそれぞれの興味に応じた番組を提案する。
そのほか、混雑を緩和する人流データ解析のコンセプトを紹介。リアルタイムに観測された人流や交通流、イベント情報から、近未来の人流・混雑度を予測し、集団全体が効率よく移動できるという。NTTではこの取り組みを「himico」と命名。ビッグデータ分析の関連技術を集結した「機械学習・データ科学センター」が中心となって研究している。2020年には、空港からの電車混雑度を予測してシャトルバスの割引・増便で対応したり、スポーツ競技やコンサートなどのイベント時に人の移動やインフラへの負荷を軽減するのに活用できるいう。
SNS上の写真・動画から特定の選手を追跡できる、新たな「スポーツ観戦」
ユーザーが興味を持つ選手の情報をスマートフォンやタブレット上で表示したり、観衆がアップロードした写真・動画から特定の選手のコンテンツを収集し、シーンごとに整理して表示するスポーツ観戦補助サービス。目の前を走行している選手にスマートデバイスを向けると、選手の情報を表示する。
スマートデバイス側で取得したGPSデータや選手のゼッケンなどに付けられたICタグによって選手を割り出し、複数の動画を繋げて特定の選手のみ視聴することも可能。そのほか、競技動画をアーカイブ化し、競技終了後、舞台となった場所でスマートデバイスをかざすと、当時の動画が再生されるといった観光施策としても利用できるという。
全天球映像音響インタラクティブ視聴技術は、ヘッドマウントディスプレイ（HMD）とヘッドフォンのみで、競技のフィールドに降り立ったような臨場感を得ることができる技術。360度の映像・音響を全方位カメラ／マイクで収録し、視聴者が向いている方向をセンサーで読み取ることで、視野に合わせた音場を構築する。方向を変えると音場も変化し、1フレームごとに音声処理しているため、高速で横にパンしても音声が遅延することはないという。
このシステムではドワンゴと協業しており、小林幸子の武道館コンサートでも利用されたシステムと同一。ただし、その時点ではマルチアレイマイクによる音響技術は実装されていなかったため、今回初めて全天球映像と組み合わせることで、臨場感の高い視聴体験を実現した。デモでは、PCに外部オーディオインターフェイスを繋げていたが、同様の音声機能がスマートフォンに搭載されれば、スマートフォンを簡易HMD化できる製品とヘッドフォンのみで同じ体験が可能だという。
NTTでは、競技空間をまるごとリアルタイムで再現する伝送技術「イマーシブテレプレゼンス技術 Kirari!」を研究・開発している。これは、NTTが開発した独自の映像圧縮規格（HEVC）や、高臨場感メディア同期技術「Advanced MMT」を組み合わせ、選手の映像・音声のみならず、選手の置かれた空間や環境情報を伝送し、離れた地域でもプロジェクションマッピング技術で音とともに3Dで再現できる技術。
このほか、イベント開催時に、災害・テロなどの危機が発生した際に自治体の危機管理室を支援する技術を紹介していた。事前に災害発生に備えた計画をまとめた「Plan」と、災害が発生した際に現場から上がってくる災害対応状況をまとめて対応状況を一覧できる「Do」、災害状況をマップにて分かりやすく表示する「See」の3画面で構成される。なお、システムの裏側では自然言語エンジンが動いており、現場から上がってくる情報が重ならないように設計されているという。
生態情報を取得する機能素材「hitoe」を利用した「スポーツ上達支援」技術
NTTドコモと東レが共同開発した機能性素材「hitoe」は、ナノファイバー生地に高導電性樹脂を特殊コーティングすることで、耐久性を保持しつつ、生態信号を高感度に検出可能。着衣するだけで心拍数・心電波形などの生態情報を取得できる。hitoeを用いたウェアと3軸加速度センサーを組み合わせることで、姿勢や活動量などのフィジカル面だけでなく、リラックス度や睡眠の深さなどを評価できるシステムを提案している。
また、筋肉や心臓が働く際に発生する電気信号（筋電位・心電位）をスポーツ運動中に計測し、生体信号から筋の活動や心拍の変動などを合成音に変換したり、ディスプレイに表示することで、力の入れ方や体の使い方などのスキル習得のトレーニングに利用できるとしている。そのほか、ウェアから取得されたデータからルールを取得し、パーソナライズ化することで、体の変化をより正確に検知できる。
このほか、モーターなどのアシストスーツを活用し、ユーザーに力覚フィードバックをかけることで、ゴルフなどの運動時における体の筋肉（主に体幹の部分）を正しくアシストする「コーチングスーツ」の技術研究コンセプトを参考出展していた。筋肉の使い方をユーザー自身に覚えさせることで、スーツ着脱時も正しい筋肉の使い方を再現できるという。なお、現在のパワーアシストスーツはシステム的に大掛かりなため、現時点ではパターの際の動き程度が現実的だというが、スーツのスリム化で大きな動きもアシストできるよう開発を目指すとしている。
