360度カメラがとらえた画像から高精度でその位置を割り出せるクラウド3Dデータベース“もう一つの地球”、誤差は15cm以下

　自動運転の実現のために、世界中のさまざまな地域で、機械向けの高精度な3D地図の整備が進んでいる。レーザーレーダー（LiDAR）によってあらゆる地物の形状を3D化するこれらの取り組みは、言わば現実をコピーして“もう一つの地球”を作ろうとしているかのようにも思えるが、これとは全く違ったアプローチで“もう一つの地球”をクラウド上に構築しようとしている企業が日本にある。

　360度の全天球カメラで撮影した全天球画像から直接、位置や高さ・長さ、面積などの計測を可能とし、高精度な3D地図を生成することができる「CV（カメラベクトル）」という技術を開発した株式会社岩根研究所だ。

　自動運転向けの高精度な3D地図は、通常、LiDARによる点群データ（X、Y、Zの座標で表現される点の集合）をもとにしているが、CV技術では、点群データを使うことなく、全天球画像から直接、3D計測が可能だ。この技術を使って高精度な3D地図も作製できる。

　すでに国内で高速道路のCV映像収集が始まっているほか、海外の行政機関への納入実績もあり、香港やタイの道路でCV映像による道路管理が行われている。このCV技術を開発した岩根研究所に、同技術の詳細と、“もう一つの地球”構築の目的などを聞いた。

後処理キネマティックGNSSの高精度な位置情報とともに、走行撮影した全天球画像を記録

　CV技術の特徴は、レーザー点群を用いることなく、撮影した全天球の実写映像をそのまま使って、あたかも3D地図そのものであるかのように扱える点だ。LiDARによる計測と比べて計測データは容量が少なく、容易にクラウドでのデータ共有も可能。点群データから3D地図を作成する図化工程が不要となるため、リアルタイムに更新することができる。

　岩根研究所は、CV技術を使った計測車両として、「IMS（Iwane Mapping System）3」および「IMS5+」の2種類を用意している。いずれも全天球カメラをそれぞれ2台搭載しており、車両の上部に1台、後方斜めに1台を搭載している。全天球カメラは、水平方向に5個、上部に向けて1個のCCDカメラが付いており、IMS3では車両上部にフリアーシステムズの1200万画素カメラ「Ladybug3」、IMS5+は3000万画素のカメラ「Ladybug5+」を使用している。後方斜めに取り付けるカメラは、いずれも「Ladybug3」を使用する。

「CV技術」を使った計測車両（画像提供：岩根研究所）

　車両にはこのほかにGNSS受信機とアンテナを搭載している。測位方式は、後処理キネマティック（Post Prosessing Kinematic）GNSSを採用しており、GNSS受信機の測位結果に対して、固定局からの測位結果で得られた誤差情報を使って計測後に補正することにより、誤差数cmの高精度測位を行える。

　なお、カメラを2台搭載しているのは、カメラ間の距離が一定であることを利用して計測誤差を補正するためだ。この技術により、GPSの電波が届かないトンネルやビルの谷間などでも、高精度な計測を実現しており、屋外から屋内までシームレスな空間情報を取得できる。

システム構成図（画像提供：岩根研究所）

連続した全天球画像の“特徴点”をトラッキング、「CV演算」によって高精度な3D位置情報を付加

　このように位置情報を取得しながら計測車両を走行させて、1秒間に9～16枚の全天球画像を記録し、時刻情報で画像を位置情報と同期させる。そして、撮影された全周囲画像内の地物の3D計測機能（位置、高さ・長さ、面積計測）を実現するために「CV演算」を行う。

　CV演算では、移動するカメラの周囲の空間にある、ビルや構造物といった静止物から“特徴点”を抽出し、連続する複数の画像の中で、200個以上の共通の特徴点をトラッキング。これにより、移動した各カメラの全ての相対位置（X、Y、Z）と姿勢（ロール、ピッチ、ヨー）を求める。岩根研究所はこれらの値を「CameraVector値（CV値）」と呼んでいる。

全周囲画像を加工して「CV3DMap」を生成（画像提供：岩根研究所）

連続する全周囲画像から共通の特徴点をトラッキングして位置と姿勢を算出（画像提供：岩根研究所）

　さらに、相対CV値に高精度GNSSの解析値を適用することで、全てのカメラ中心位置の絶対位置（CV値）を求める。このようなCV演算により、高精度な3次元の位置情報が付加されて2D地図とリンクした全天球画像「CV3DMap」が生成される。

画像内のあらゆる点の3D座標を把握可能、誤差は十数cm、面積やビルの高さも画像から瞬時に計測

　サーバーやクラウドに格納されたCV3DMapは、岩根研究所が独自に開発したCV技術対応のウェブアプリケーション「WebALP3.1」や、デスクトップアプリケーション「ALV2.0」などを使うことにより、さまざまな作業を行える。

　WebALP3.1やALV2.0において、CV3DMapの映像の中のある1点をクリックすると、その地点の緯度・経度・高度などの情報が表示される。映像内に存在するあらゆる地物の3次元の位置情報を正確に把握できるため、これを利用して、例えばビルの1辺の上端と下端をマウスクリックで指定するだけで、瞬時に高さを知ることができる。3点以上を指定することで面積を計測することも可能だ。

　この計測機能は、レーザー点群のように画像内の1点1点に緯度・経度・高度の座標が付与されているわけではなく、ユーザーが点を指し示すのに応じて、複数の全天球画像とカメラ中心の位置と姿勢の情報から視差情報を求め、映像上の各点を3D座標として、その都度、瞬時に計測表示している。特筆すべきなのはその精度の高さで、絶対誤差が十数cm、相対誤差が数cmと測量並みの高精度を実現している。国土地理院が定める1/500の公共測量にも使用できるという。

　さらに、地物に対して、タグを付けることも可能だ。映像上に、施設構造物の情報を3Dタグとして付けることで、施設管理などに活用できる。格納できる情報は写真やPDF、URLなどで、タグを検索すれば対象物の映像にすぐにジャンプできる。

　ALV2.0では、実写映像に3Dモデルを合成するAR機能や、2D地図を横で表示させて現在地をマップ上に表示する機能も搭載している。これにより、2D地図上で場所を指定することで見たい地点の映像をすぐに映し出すことができる。地図はOpenStreetMapや国土地理院の地図を使用可能だ。また、過去の映像を蓄積して、現在の映像と比較することで、建物の建て替えや店舗の改装、災害による被害などの変化を抽出し、インフラ点検を自動化することもできる。

　さらに、道路標識などを自動認識させて標識中心の3D座標を取得する機能や、CV3DMapをカメラを搭載したさまざまな移動体の位置標定用3D地図として利用する機能なども現在開発中だ

「CV3DMap」を使ってできること（画像提供：岩根研究所）

画像内の任意の点を指定して長さや面積を計測可能（画像提供：岩根研究所）

店舗の改装などの変化を抽出できる（画像提供：岩根研究所）

道路標識を認識させて3D座標を取得する機能を開発中（画像提供：岩根研究所）

香港で6500km、タイで4万7000kmの大規模3Dデータベース、日本でも「CV映像」の撮影が進行中

　このようなCV映像を使って大規模な3Dデータベースを構築した事例としては、香港の道路局（総距離6500km）やタイ地方道路局（総距離4万7000km）が挙げられる。また、シンガポール、トルコ、サウジアラビアなどの政府機関への納入実績もある。岩根研究所は、走行動画と地図を組み合わせたビデオGISを国土交通省の各地方整備局や各道路管理事務所に納入した実績があり、日本国内においても高速道路のCV映像の撮影を進めている。

香港の道路局で採用（画像提供：岩根研究所）

タイ地方道路局でも使われている（画像提供：岩根研究所）

　岩根研究所の取締役副社長を務める鶴瀬隆一郎氏は、「CV技術は、いわゆるレーザー点群から生成した『3D地図』とは概念が異なります。現実の映像をコピーして仮想空間に格納した上で、現実と同じように高精度に座標が取れて、建物や標識、地面のクラックなどさまざまな情報を付加して取り出すことができる技術で、撮影した映像をそのまま3D地図として活用できるようにする技術です」と語る。

株式会社岩根研究所取締役副社長の鶴瀬隆一郎氏

視点位置や車線の変更も可能な高精度のドライビングシミュレーター

　このほか関連ツールとして、GISソフトウェア「ArcGIS」と連携できる「ALV for ArcGIS」や、CV3DMapから2Dのオルソ画像に変換できる「Ortho Creator」、CV3DMapからポイントやポリライン、ポリゴンを抽出してCADやGISソフトウェアにエクスポートし、3Dモデルを生成する「CVCG Modeler」などのツールも用意している。CVCG Modelerによって生成した3Dモデルに対して、テクスチャーの貼り付け合成を行うことで、Google Earthのようなリアリティの高い3Dモデルを生成することも可能だ。

　また、このCV技術の応用例として、岩根研究所と株式会社東陽テクニカが共同開発した「Real Video Drive Player」というソフトウェアも提供している。ドライビングシミュレーター用の実写映像再生ソフトウェアで、360度カメラで撮影した走行映像をステアリング操作やアクセル／ブレーキ操作に連動させて再生できる。

　CGを使わずに実写映像を使用するため、高い臨場感を味わえることに加えて、撮影から映像加工まで短期間で行えるというメリットもある。1台のPCで3台のディスプレイに画面を拡張して表示することが可能で、130度以上の視野を画面に投影できる。撮影時の移動速度とは関係なく、任意の速度やアクセル／ブレーキ操作に合った映像を再生可能で、再生時の車両速度にも制限がない。ステアリング舵角に連動して表示画像が左右に移動する機能を搭載しており、車両のロールやピッチも再現できる。

　また、オプションで、視点位置の変更や、車線変更なども可能となる。車線変更は、直線路を1回撮影した映像内で行うことが可能だ。撮影時にGPSで取得した位置情報はOpenStreetMapの地図上に表示させることが可能で、運転操作と連動させることができる。なお、計測時に、路面形状計測や車両情報を組み合わせて計測することも可能だ。

　実車によるステアリング操舵を含めた走行再現試験を実験室内で行うことも可能で、自動車メーカーなどが実車の走行シミュレーション用に導入するケースもあるという。

CV技術を使ったドライビングシミュレーター

自動運転やスマートシティの基盤となる“もう一つの地球”プラットフォーム構築へ

　このように幅広い使い方ができるCV3DMapには、もう1つ大きな特徴がある。事前に作成したCV3DMapの特徴点と、あとから同じ地点を撮影したライブ映像からリアルタイムに抽出した特徴点との間でマッチング処理を行うことにより、ライブカメラの位置や姿勢を求める「自己位置標定」という機能だ。

　あらかじめIMS3やIMS5+を使って高精度なCV3DMapを用意しておくことにより、カメラで撮影する実際の映像とCV3DMapとを整合させることで自己位置の標定が可能となる。これにより、自動車やロボットの自動運転にも利用可能だ。また、スマートグラスやホロレンズのカメラの位置標定をすることにより、AR/MRにも利用できる。GPSの電波が届かない屋内においても、正確な自己位置標定が可能だ。その誤差は、シミュレーターでの検証によると約15cm以内だという。

自己位置を高精度に標定（画像提供：岩根研究所）

　岩根グループでは現在、自己位置標定をする上で、そのベースとして必要となる高精度なCV3DMapを、広いエリアにわたって整備する「もう一つの地球を創る」プロジェクトを推進している。例えば東京都の道路について、細街路に至るまでくまなくCV3DMapの映像を基盤として用意しておけば、あとはRICHO THETAやGoPro Fusion、GARMIN VIRB 360などの一般ユーザー向け全天球カメラを搭載した車を走行させたり、歩行者が歩いて撮影したりするだけで、高精度な自己位置標定が可能となる。計測後に街の状況が変化した際にも、高精度な計測車両を使うことなく映像をすばやく更新できる。

　広範囲にわたって取得したCV3DMapをもとに、AIを使って映像上の道路標識や電柱などのオブジェクトを自動認識させることも検討しており、この取り組みを日本全国、そして世界に広げていけば、あらゆる国の地物の情報が入ったデータベースを作ることが可能となる。このデータベースは、スマートシティ構築の土台としても活用することが可能で、都市計画や人の移動、経済活動など、さまざまなシミュレーションを行う上での基盤となる可能性を秘めている。

　「まずは測量会社や大学などと協力してプラットフォームとなる全天球画像を取得し、画像処理によりCV映像を作成してクラウドのデータベースに登録します。データベース上では精度別の映像管理や時間管理、画像品質の管理を行うとともに、AIにより検索キーを作成するなど、利用者向けのデータを生成します。このようにプラットフォームを整えた上で、法人向けにAPIを提供したり、公共向けの3D GISへの利用やIoT、スマートシティ、自動運転などの基盤として活用していただくことを考えています。安価で新鮮な、リアルタイムに変化する“もう一つの地球”をプラットフォームとして構築し、将来的にはそこに仮想経済圏を作ることも検討しています。“もう一つの地球”を作ることで人類の活動空間を拡大し、世界の経済市場を拡大する。私たちはそれを目指しており、できると考えています。」（鶴瀬氏）

「もう一つの地球を創る」プラットフォームの構築フロー（画像提供：岩根研究所）

　岩根グループのアクアコスモス株式会社は、10月15～18日に幕張メッセ（千葉市美浜区）で開催される「CEATEC 2019」に出展し、情報通信研究機構（NICT）のエリアでCV技術に関するパネル展示を行う。15日にはCo-Creation PARKのプログラムで「もう一つの地球を創る」構想について20分間のプレゼンテーションを行う。また、16日にもNICT主催の「イノベーショントークステージ」でもショートピッチを行う予定だ。