ドワンゴ、投稿されたイラストの閲覧数を予測するディープラーニング技術、2つの画像の“意味的な”中間を探る技術も

　株式会社ドワンゴは、同社のイラスト共有サービス「ニコニコ静画」のイラストデータを用いたディープラーニング技術の応用デモンストレーションを、11月2日～5日に神戸で開催される「第8回 ACM シーグラフアジア 2015」にて展示する。

　ニコニコ静画のイラストに設定されたタグをディープラーニングで学習することで、投稿されるイラストにユーザーがどのようなタグを付けるか推定する「自動タグ付け」をはじめ、「セマンティックモーフィング」「意味的類似画像検索」「イラスト画像からの閲覧数予測」といった技術を公開する。モデルデータは、9月に稼働したGPUサーバーファーム「紅莉栖」を使用し、ニコニコ静画に投稿された200万枚を超えるイラストを学習させたものを使用している。

　セマンティックモーフィングは、イラストのキャラクター名やシチュエーション、ジャンルなどを示すタグを予測するよう学習したニューラルネットワークを通して、イラストの特徴を表す数千のベクトルを抽出。その中から2つの画像のベクトルの中間に近いイラストを近傍探索することで、それらの画像の“意味的”に中間の画像を探しだすモーフィング技術。タグを直接扱わず、画像とタグの中間的な情報を用いており、髪の色や長さの程度、服装の差異、デフォルメの度合いにおいて、モーフィングが可能となる。

「セマンティックモーフィング」は、画像の意味的に中間の画像を探しだす技術

　イラスト画像の閲覧数予測技術は、ニコニコ静画にこれまで投稿されたイラストの閲覧数とお気に入り数をニューラルネットワークで学習。一切のメタデータを使わず、画像データのみから閲覧数やお気に入り数を予測するもの。クリエイターがイラストを公開する前に、閲覧数などをある程度予測できるため、予想スコアが上がるまでの描き直しや、画像を複数エリアに分け、どの箇所がどの程度予測閲覧数に寄与するか提示し、エリアごとの重要度の可視化を行うことで、クリエイターの投稿支援に応用できるとしている。

イラスト画像からの閲覧数予測技術

　これらのデモは、東京大学大学院情報理工学系研究科の相澤・山崎研究室との共同研究によるもの。ドワンゴでは、デモとして利用したデータセットやディープラーニングの学習済みモデルデータを公開するためのデータ公開サイト「nico opendata」を開設。モデルデータは、11月2日より公開。イラストデータセット（イラストおよびタイトルや説明文などのメタデータ）は、大学などの学術機関を対象に12月上旬より提供する。