人物を疑似3Dで別空間にリアルタイム伝送して空中像投影、NTTが超高臨場感視聴体験技術を開発

　日本電信電話株式会社（NTT）は、疑似3D映像をリアルタイムで空間に映し出す技術「Kirari!」を開発した。NTT武蔵野研究開発センタ（東京都武蔵野市）で2月18・19日に開催する「NTT R&Dフォーラム2016」で披露する。

　なお、本イベントは一般向けに広く公開されるものではなく、NTTグループ会社社員の招待制で事前の参加登録が必要だが、展示内容の一部についてはニコニコ生放送の「NTT R＆Dチャンネル」で18日夜に紹介番組を配信する。

スポーツ選手や講演者があたかもそこにいるかのように空中像投影

　Kirari!は、競技場の空間・環境を中継先会場へリアルタイムで伝送するイマーシブテレプレゼンス技術。オリンピックやワールドカップなどのスポーツ大会に活用できる技術として披露された。

　NTTは2015年2月に「競技空間をまるごとリアルタイムに配信する」というコンセプトを発表。sutudio TEDの特殊フィルムを利用したホログラフィックス技術「Eyeliner」とNTT独自の音響システムにより、その場にいるような“超高臨場感”を実現するための技術を開発したが、リアルタイム配信の実現においては、選手の映像や競技の音声を切り出す技術の向上、合成した試合全景の映像や音声などさまざまな情報の同期伝送、遠隔地での臨場感の再現が技術課題となっていた。

　今回、「超高臨場感メディア同期技術」「任意背景リアルタイム被写体抽出技術」「臨場感デザイン技術」「超ワイド映像合成技術」を用いることでこれらの問題をクリアした。

　超高臨場感メディア同期技術は、撮影対象の大きさや位置関係、競技音声の方向などの3次元情報を記述できるMMTシグナリングの記述子を定義することで、映像・音声とともに空間的な情報を同期伝送する技術。これにより、映像提示デバイスのスクリーンサイズ、解像度、設置位置、姿勢などの物理的空間位置とフレーム内のピクセル情報との対応付けが可能になった。また、映像の空間的な大きさや音像の定位情報などを遠隔会場に伝送し、伝送先に応じて高い臨場感で競技空間を再構成できるようになったという。

　任意背景リアルタイム被写体抽出技術は、距離や温度のセンサー情報を用いた輪郭検出技術と、高速・高精度に被写体の境界を特定する画像処理技術を組み合わせることで、単純な背景の中で少人数が写るシーンにおいてリアルタイムに被写体映像を抽出できる技術。一定の条件下において、屋内外のフィールド環境で行われる個人競技などにおいて、疑似3D表示したい選手の映像のみをリアルタイムで切り出すことができるようになった。

　臨場感デザイン技術は、少数のスピーカーで広範囲な視聴エリアに仮想的な音源を定位させるもの。大画面に等身大で投影した被写体映像の任意の位置に音源を生成することができるため、被写体そのものから声や競技音が発生しているかのような効果を実現した。

　超ワイド映像合成技術は、複数台の4Kカメラを並べて撮影した映像をリアルタイムに補正してつなぎ合わせるスティッチング処理技術。広大な競技会場を写した映像や、陸上競技などの横方向に長いフィールドを使う競技の高精細ワイド映像をリアルタイムに作れる。

　今後、個人競技を中心に、空手、フェンシングや、ピッチャー、バッターなど個人のプレイにフォーカスがあたる野球などに向けてKirari!を展開する予定。また、2017年には選手複数人での競技へ対応するための研究開発を推進する。スポーツ以外にも、伝統芸能やコンサートのパブリックビューイング、講演のライブ中継などにも展開していく。

高精細で映し出されているため、あたかもそこに本人がいるように見える。今回は安定的な表示を重視しているため、中継元との遅延は2秒だという

人物が抜き出しきれず、白く表示される箇所はあったが、映像と音声にずれは感じず、違和感なくステージ上に合成されていた。なお、設置には半日程度を要する模様

全日本空手道連盟の協力により、空手の型の映像も披露

型を披露したのは、2015年全日本女子個人型競技で優勝した経験を持つ川崎衣美子選手2段

【記事訂正 2016/2/18 13:40】
　記事初出時、記事タイトルを「スクリーンも何もない空間に、疑似3Dの人物をリアルタイム投影」としておりましたが、これは誤りでした。実際はハーフミラーの反射を利用して映像を映し出す方式を採用しています。お詫びして訂正するとともに、記事タイトルを変更、本文を加筆・一部修正しました。