Perfumeのライブパフォーマンスをスキャン！ NTTが動きのある3D空間の高速高精細な伝送・再現技術

空間全体の情報を丸ごと伝送・再現するイメージ

　日本電信電話株式会社（NTT）は9月24日、ヒトやモノの動きを含む空間情報を、高精密かつ高速に遠隔地に伝送・再現する技術「動的3D空間伝送・再現技術」を確立したことを発表した。同技術は9月21日に行われたライブ配信イベント「Perfume 25th & 20th Anniversary Live Performance "IMA IMA IMA" Powered by NTT」にて、Perfumeのパフォーマンスを空間ごとスキャンし、3D空間データとして伝送・再現するために適用されている。

　実世界の空間をスキャンしてデジタル情報にする技術として、さまざまな角度から撮影した画像から3D空間データを再構成する「ボリュメトリックビデオ技術」が従来から知られている。しかし、この技術を利用するには、多数のカメラやグリーンバックの専用スタジオが必要であり、対象にできるオブジェクトも限られる。

　今回の「動的3D空間伝送・再現技術」では、少数のカメラおよびレーザーを使って距離を測るセンサー技術「LiDAR」（Light Detection and Ranging）を使用して、膨大な3次元点群データと画像データを組み合わせた技術となっており、撮影場所やオブジェクトに関係なく、丸ごと3D空間をスキャンし、IOWN APNにより伝送・再現が可能。これにより、都市や作業現場全体の3Dモデルを作成し、災害対策や都市計画のシミュレーション、遠隔のチームとの共同作業、リアルタイムでフィードバックを行えるメタバース環境などが実現可能になるとしている。

　今回の技術のポイントに、要素技術の1つであるリアルタイム3Dデータ高解像度化技術による、高密度な動的3D空間の伝送・再現がある。

　従来のLiDARの課題として、単位時間あたりで取得可能な点数に物理的限界があり、動きがある物体では取得できる点群データが疎かになることで、高密度な動的3Dデータの取得が困難になることがあった。NTTはこの課題に対して、カメラで収集した画像データと機械学習モデルを組み合わせて高密度な3Dデータにする技術を開発。加えて、約1000分の1にまで小型化された機械学習モデルにより、処理速度を従来より約6倍高速化できた。この結果、市販のLiDARで計測されるデータの空間解像度について、リアルタイム処理で約20倍の高解像度化を実現したという。

リアルタイム3Dデータ高解像度化技術のイメージ

従来手法との機械学習モデルのパラメータ数・単位時間あたり処理可能な処理点数の比較