Google、「DQN」という人工知能を開発、ゼロからゲームをプレイして自力で攻略方法を見つける

　米Googleは、深層強化学習（Deep Reinforcement Learning）アルゴリズムを用いた人工知能「DQN」を開発したと発表した。DQNは「deep Q-network」の略で、深層強化学習を通して、人間レベルの制御を可能にする。自力でコンピューターゲームをプレイし、攻略方法を見つけ出すことができるという。

　Googleでは、DQNに横スクロールシューティングゲーム「River Raid」やボクシングゲーム「Boxing」、3Dカーレースゲーム「Enduro」といったAtari 2600のゲーム49種類をプレイさせた。同じネットワークアーキテクチャーとチューニングだったにもかかわらず、すべてゼロからプレイすることができたという。

　ゲームのプレイ回数に応じてプレイスタイルも洗練され、ブロック崩し「breakout」では、プレイ回数が100～200回の時点ではボールを取りこぼすこともあったが、400回を超えるとうまく跳ね返すことができるようになった。600回を超えると、別の壁を使ってボールをバウンスさせることでブロックを崩す攻略方法を発見した。

プレイの結果、49ゲーム中43ゲームで、これまでの機械学習手法を上回ったほか、29のゲームではプロのゲームテスターと同等か、それを超えるパフォーマンスを見せたという。

29のゲームではプロのゲームテスターと同等か、それを超えるパフォーマンスを見せている

　DQNは、累積報酬（今回の場合はゲームのスコア）を最大化するためにどのように行動すべきかを規定する機械学習フレームワーク「Reinforcement Learning（RL）」をスケーラブルに組み合わせた「Deep Neural Networks（DNN）」をベースとしている。

　今回の成果は、DQNが学習フェーズ時に蓄積したエピソードをもとにトレーニングする「experience replay」という、人間の海馬を通じて経験を再活性化する工程に似た神経生物学的なメカニズムが大きく貢献しており、この機能をオフにするとパフォーマンスに深刻な劣化を引き起こしたという。