イベントレポート
Interop Tokyo 2016
人工知能の敵とは？ SECCON実行委員の園田道夫教授らが人工知能のセキュリティについて議論
2016年6月10日 16:56
「Interop Tokyo 2016」9日午後の基調講演では、「人工知能の敵」と題したパネルディスカッションが行われた。副題は「人工知能は完全なるセキュリティの夢を見るか。人工知能への攻撃の可能性を検討する」。同講演は、国内最大のセキュリティコンテスト「SECCON 2016」のキックオフキーノートとして実施。SECCON実行委員会事務局長でサイバー大学教授の園田道夫氏がモデレーターを務め、パネリストとして、長崎県立大学情報セキュリティ学科准教授の松田健氏、日本アイ・ビー・エム株式会社エグゼクティブ・アーキテクトの大津留史郎氏が登壇した。
人工知能に対する攻撃とは？
パネルディスカッションでは、最初に大津留氏がIBMの人工知能「Watson」を例に、人工知能は現在どのようなことができるのかを解説。Watsonには、クイズなどの問いに確度の高い返答を行う「Engagement」、正解が必ずしも存在しない問いに根拠を精査して仮説などを出す「Discovery」、ある作業に必要な情報を提供する「Exploitation」、特定のケースがルールに適合しているかを判断する「Decision」という大きく分けて4つの機能があると説明した。
なお、Watsonは日本語対応を進めている段階にあり、現在、日本語版で利用できるのは、EngagementとDiscoveryのみ。大津留氏は「いずれは日本語でもフルスペックで提供する予定」と述べた。また、具体的なWatsonの利用シーンとしては、「顧客からの電話、チャットへの対応といった企業のサポートディクスが典型的な使われ方」だとした。
一方、松田氏はインターネットで話題になったという1枚の写真を例に、人工知能を実現する1つの方法である機械学習について解説した。写真には、新種のようにも思える見たことがない魚が写っているが、これは実はクラゲに飲まれた魚だという。
機械学習の場合、「人間がある程度パターンを用意して学習させるしかアプローチがない」と松田氏。この写真を機械学習によって認識させようとした場合、魚の画像を学習させることで、魚の写真だということまでは分かるが、「そこから先が問題」だと、学習の難しさを指摘した。
これらを踏まえ、園田氏が人工知能へのサイバー攻撃にどう対策すればいいかを質問すると、松田氏は「人工知能をどのように実装するかに依存する」としながらも、「例えばディープラーニング（深層学習）のように、人工知能の内部をブラックボックス化するのも1つの考え方」と述べた。
しかし、松田氏は「ディープラーニングの場合、（人工知能が）学習したパラメーターを見ても意味が分からないかもしれないが、パラメーターをいじることでハッキングできる可能性がある」と指摘。園田氏も「パラメーターを人為的に変え、起こる変化を見て、内部の情報を書き換えるように探っていくことは可能」だとし、「その場合、学習させるためのデータをどうするかが鍵になる」と語った。
これに関連する話として、大津留氏は、Watsonを活用してサイバー攻撃の判別を支援するプロジェクト「Watson for Cyber Security」に触れた。現在は北米の8大学との共同研究により、Watson for Cyber Securityを訓練している段階だが、大津留氏はそうした訓練が必要な理由として「インターネット上の情報をクローリングし、勝手に判断していくという仕組みも考えられるが、それらが必ずしも正しい情報とは限らない」と述べた。
また、園田氏は、Twitterでの“暴走”が話題になったMicrosoftの人工知能「Tay」に触れ、「人工知能を学習させるための入力データが大事。Tayが差別主義者になったのは、十分に訓練される前に入力データが汚染されまくったからだ」と語り、正しい情報で学習させることが重要だと強調した。
人工知能もメンテナンスが必要
企業が人工知能を利用する場合の留意点として、大津留氏は「ある問いに対して適切な答えを出すように情報をインプットしなければ、目的通りに動くシステムにならない。適切なQ&Aのデータセットが人工知能の肝になる」と述べた。ただし、データセットをいったん設定したとしても、「ビジネス環境の変化によって、適切な答えも変わってくるはず」として、メンテナンスの必要性について言及。
これに対して、園田氏は「データセットを汚染しようとする攻撃も考えられる。どうやって攻撃を排除し、データセットを保護しながらメンテナンスをすればいいのか？」と質問。大津留氏は「必要なのは、人工知能にデータを入力する人、組織、プロセスを限定すること」と回答した。
大津留氏は「人工知能はいったん育てても、そこで終わりではなく、メンテナンスし、最新の知識を教え込む手間が必要。それを忘れてはいけない」と述べた。さらに、IBMがWatsonを人工知能ではなく“コグニティブコンピューティング”と呼んでいることについて、「あくまでも自分で勝手に考えて判断するものではなく、人が調べたり、考えたり、判断したりというのをサポートする役割として位置付けているから」だとした。
最後に、まとめとして大津留氏は、過去には仮想化やクラウドなど、大きなトピックが登場するたびに「○○セキュリティ」ということが話題になってきたと指摘。「新しい技術革新が起きたときに、最初はそれを使って何ができるかと夢を追うような議論がされるが、実際に使われ始めて理解が進むと、セキュリティなどの現実的な議論が始まる」と述べ、人工知能のセキュリティの議論が始まるのはこれからだと示唆した。
