筑波大学らの研究コンソーシアムがシンポジウムで報告

“仮想化現実”技術により
選手の視点でサッカー中継を

■URL
http://www.image.esys.tsukuba.ac.jp/virtualized/symposium2003.html

　現実のサッカーの試合を、まるで3DCGゲームのように好きな視点で観戦する──。そんな新技術の実証実験が大分県で行なわれ、2月28日に東京都内で開催されたシンポジウムで、研究コンソーシアムのメンバーである筑波大学らにより成果が報告された。

　この実験は、通信・放送機構の「地域提案型研究開発制度」の助成を受けて行なわれた「仮想化現実技術による自由視点3次元映像スタジアム通信の実証実験」。スタジアムのピッチを取り囲むようにスタンドや屋根などに複数のビデオカメラを設置し、あらゆる角度からの映像を収集・加工することで、コンピュータ上に3次元映像モデルを生成しようというものだ。実験には財団法人ハイパーネットワーク社会研究所、筑波大学、慶應義塾大学、大分大学、竹中工務店らが参加し、1999年度から4年間にわたって進められてきた。

　この技術により、単にカメラを切り替えるだけのマルチアングルと異なり、実際には映像が存在しないカメラとカメラの中間地点やピッチ上の選手の視点の映像も再現できるようになるという。また、あくまでも現実の映像をもとに生成されるということで、フルCGの人工世界である“Virtual Reality：仮想現実”と区別して、“Virtualized Reality：仮想化現実”と呼ばれている。

「鳥になってサッカー中継を見る」と題して、自由視点映像技術のリアルタイム配信実験の概要を説明した筑波大学の大田友一教授	この写真では小さ過ぎてわからないが、選手ひとりひとりは実写映像をもとに生成・表示されている

　サッカーW杯の舞台ともなった大分県のスタジアム「ビッグアイ」で2002年11月に行なわれた最終実験では、スタジアムと茨城県の筑波大学をJapan Gigabit Network経由で接続。遠隔地の視聴者が、自分の好きな視点でサッカー中継を観戦できるシステムが構築された。

　具体的には、スタジアムの各カメラが撮影したシーンをいったん画像処理サーバーに集約し、画像処理により選手の位置などを解析。視聴者のパソコンの専用ブラウザーが指定した視点位置に応じて、その視点からの映像をリアルタイムに生成して送信する仕組みだ。遅延時間は1秒程度で、中継中もマウス操作で自由に視点を移動できる。いわば、視聴者のパソコン上に仮想化現実としてスタジアムが出現するわけだ。

　ただし、今回の実験では画面全域を仮想化現実で表示するという段階には至っていない。スタジアムの3DCGモデルがあらかじめ視聴者側のパソコンに用意されており、個々の選手の映像のみ切り出してその上にオーバーレイ表示するに止まっている。この方法だと、背景がCGということもあって一見するとフルCGの仮想現実と違いがわからない。むしろ選手の映像の解像度が粗いことも手伝って、仮想化現実で表示する優位性が理解できないかもしれない。

　とはいえ、これは画像処理サーバーやクライアントの処理能力、元の映像の解像度、回線の帯域などによる制限。画面全域を仮想化現実で表示するのも非現実的な話ではないようだ。実際、シンポジウムの会場で披露されたデモンストレーションでは、すでにスタジアムの一部に観客の映像を貼り付け、試合の展開とともに盛り上がる様子も再現できるように改良されていた。

ハイパーネットワーク社会研究所の尾野徹氏	米カーネギーメロン大学の金出武雄教授

　今回のプロジェクトはもともと、2002年に開催されたサッカーのW杯を見据えて取り組みが開始されたものだ。ビッグアイなどのスタジアムにこのような自由視点での映像提供機能が備えられれば、スタジアムそのものの付加価値アップにもつながり、地場のIT産業の振興も期待できるとしている。

　最終的にW杯の自由視点中継は、権利問題などの事情により実現には至らなかった。また、実験で構築されたシステムでは、通常のテレビ中継の品質で自由視点中継を実現するのにまだまだ遠いのも事実である。ハイパーネットワーク社会研究所の尾野徹氏は、今回のプロジェクトで「一定の成果は達成できたが、あくまでも中間地点に過ぎない」としている。来年度以降、福岡市内のライブハウスで自由視点で中継できるモデルの構築を目指すという。

　シンポジウムでは、米カーネギーメロン大学の金出武雄教授も講演。現在の映像提示方法では、スロー再生やリバース再生、複数視点の切替は可能であるものの、「撮る視点と見る視点の1体1対応」に縛られていると指摘。例えばスポーツ中継などについて、「映像を提示する方法が、（このような制約のある）テレビだけでいいのか？」と疑問を投げ掛け、自由視点技術の可能性をアピールした。さらに、エンターテイメント分野だけでなく、人間の限られた視点だけでは全体の状況を把握できない、医療などの分野でも有用であると強調した。

　金出教授は、2001年1月に開催されたアメリカンフットボールの「第35回スーパーボウル」で、自由視点映像技術によるテレビ中継をバックアップした人物で、今回のプロジェクトにも参加している。スーパーボウルでは、リプレイされた映像がストップモーションになるのと同時に、任意の選手を中心にカメラがぐるりと一周する、まるで映画「マトリックス」の1シーンのようなカメラワークを実現し、テレビの視聴者を驚かせたという。

(2003/3/3)

[Reported by nagasawa@impress.co.jp]