マイクロソフト、Kinectをはじめとした「NUI」の活用・研究事例を解説

日本マイクロソフト株式会社の加治佐俊一氏

　日本マイクロソフト株式会社は28日、身体の動きや音声でコンピューターの操作を行う「ナチュラルユーザーインターフェイス（NUI）」について、報道関係者向け説明会を実施した。「Kinect for Windows」が医療や障害者支援の現場で活用されている例のほか、次期SDK（ソフトウェア開発キット）との併用によって3Dスキャナーとして応用できる例などが紹介された。

リリースから1年、Kinect活用製品が増加

　ハードウェアとしてのKinectは、ウェブカメラ風の筐体に光学カメラや赤外線センサーを複数内蔵。対象となる人物の動きを検知し、手をかざしたり、腕を振ったりすることで、キーボードやマウスを使うことなく、コンピューターを操作できる。当初は家庭用ゲーム機「Xbox 360」用の周辺機器として発売されたが、後にWindowsにも対応。日本でも2012年2月に「Kinect for Windows」が発売され、Kinectを組み込んだ製品の自由な開発が可能になった。

コンピューターのインターフェイスは文字（CUI）、グラフィック（GUI）を経て、よりナチュラルな「NUI」へ

　28日の説明会には、日本マイクロソフト株式会社の最高技術責任者で、マイクロソフト ディベロップメント株式会社の代表取締役社長を兼務する加治佐俊一氏が登壇し、解説を行った。MS-DOSを代表とする、文字ベースのインターフェイス「CUI」ではじまったマイクロソフトの歴史が、アイコンやグラフィックをふんだんに用いた「GUI」を経て、今まさにNUIの時代へ突入しつつあると加治佐氏は説明する。

　Kinect for Windowsの発売から約1年が経過し、実際の活用例も広がっている。株式会社ニチイ学館の「Opect」は手術を行う医師向けのシステム。手をかざす操作で必要資料が閲覧できるため、滅菌状態を容易に維持でき、手術時間の短縮化などに繋げられるという。すでに、東京女子医科大学などで導入実績もある。

　東京大学先端科学技術研究センターと日本マイクロソフトが共同開発した「OAK」は、重度の障害者が意思表示をしたり、コンピューターを操作するための支援を行う。説明会でも加治佐氏みずから、口の開け閉めでPowerPointのページめくりをするデモを披露。「重度の障害がある方は、頭を完全に静止させた状態で口を開けたりするのが難しい。そのため、身体が動いている状態でも反応するようにした」と、開発時の裏話も明かした。

Kinectで手の動きを感知することにより、キーボードなどに触れることなく、手術室内で資料の表示操作が行える「Opect」のデモ

同じくKinectを使い、顔の表情の動きでコンピューターが操作できる「OAK」。目、口、顔が認識されているのがわかる

　このほか、リハビリのモチベーション維持に役立つという介護施設向けゲーム「リハビリウム起立くん」（株式会社メディカ出版）、商業施設などで人の流れ・人数を計測する「Hello Counter」（株式会社リゾーム）、全身の動作で書道が楽しめる「AIRSHODOU」（株式会社システムフレンド）が紹介された。日本マイクロソフトでは、同社への問い合わせ件数からの類推だけでも、約150件のKinect関連プロジェクトがあるとみている。

楽しみながら膝の曲げ伸ばしリハビリができる「リハビリウム起立くん」

説明会会場に実際に展示された「Hello Counter」。Kinectの前を通った人の数を検知してくれる

新しいセンサー技術も開発中

マイクロソフト リサーチの研究成果「Digits」。手首に巻いたセンサーが手の動きを感知する

　近年、従来型のGUIを拡張し、音声認識や手書き入力を実現する例がスマートフォンやタブレットを中心に増えている。しかし加治佐氏は、その“拡張型GUI”とNUIは似て非なるものだと説明する。状況や環境（コンテキスト）に応じたインタラクションが行えるか、人間とPCの間でしっかりした会話が成立するかといったことがNUIでは求められるという。

　同様に、「機械学習」もNUIを構成する重要な要素という。「ビッグデータの中から、重要なルールや法則性をコンピューターがいかに自動的に見出し、さらには自動でプログラミングしていけるかどうか。『機械学習』はもともとは人工知能の用語ではあるが、NUIにとっても必要なものだ」（加治佐氏）

　マイクロソフト社内でも、研究部門「マイクロソフト リサーチ」でNUIの研究を進めている。その1つ「Digits」は手首に巻いて使う赤外線センサーで、指の動き（ジェスチャー）でさまざまな操作を行う。これにより、画面タッチ不要でスマートフォンを操作したりすることができる。

　また、マイクロソフトの米国本社では、ビル間移動用シャトルバスの手配窓口をNUIで代替する手段が模索されている。ごく一般的なハードウェアで構成されているが、ディスプレイ上に表示されたキャラクターと自然に会話しながら、バスの手配が行える。

　このシステムは、複数の人とのやりとりを並列的にサポートするのも特徴。現在対応している相手の後ろに並んでいる、別の客を感知し、それを踏まえた対応が行える。さらには、順番待ちで苛立っていないか、フォーマルな服装でいるかといった要素も考慮されるという。

米国のマイクロソフト本社で開発されているシャトルバス手配システム。ハードウェア的にはごくありふれたものが使われている

実際の応対の様子。背後に人物が並んでいることも考慮して、手配してくれる

　1月に米国の家電ショー「CES」で発表された「IllumiRoom」もマイクロソフト リサーチによるもの。部屋全体をゲーム画面にするためのコンセプト技術であり、室内を3Dスキャンし、家具配置などに応じた映像をプロジェクターで出力する。今後、コンピューター科学の学会で詳細が発表される予定。

Kinectが3Dスキャナーになる、新SDKは近日公開

　すでに発売しているKinect for Windowsについては、近日中にSDKのバージョンアップを行う計画。新SDKでは、既存のKinectを3Dスキャナーとして使える「Kinect Fusion」が追加される。

近日追加予定の新機能「Kinect Fusion」の概要

3Dスキャンで生成されたオブジェクト。テクスチャー（オブジェクト表面の模様）もきっちり反映されている

　紹介映像によると、Kinectを手にとって周囲をグルッと撮影するだけで、3Dオブジェクトがコンピューター上で再現された。加治佐氏は「2万円ちょっとのKinect1台でこれだけ面白いことができる」と、コストパフォーマンスの面でも優れていることを強調した。

　説明会終盤、加治佐氏は「NUIの進化によって、人とコンピューターの関わり方はドンドン変化していく。その時代に重要になってくるのは、やはり『機械学習』だ」と、再び強調。ソフトウェア技術を向上させつつ、その上で、新しいセンサー技術の開発にも力を入れるとしている。