手描きスケッチから古典籍画像を検索できるシステム、ディープラーニングとAIを活用、NIIと国文研が開発

　大学共同利用機関法人情報・システム研究機構国立情報学研究所（NII）と国文学研究資料館（国文研）は8日、ディープラーニングなどの最新の人工知能（AI）手法により手描きのスケッチや画像から類似の古典籍画像を検索できるシステムを開発したことを発表した。

　検索はウェブブラウザーから実行できる。検索窓に手書きでスケッチをすると、似た形状を含む古典籍画像を1ms以下で検索可能。さらに検索結果の画像を検索窓にドラッグ＆ドロップすると、その画像を元に類似画像を再検索できる。

古典籍画像データに対する画像検索機能

　現在の検索対象の画像は、「絵本和歌浦」「絵本時世粧」「絵本姫小松」「絵本玉かつら」「十二類絵巻」「絵本徒然草」の古典籍6冊のデータベースに含まれる画像178枚における1309領域。NIIでは、検索対象の画像が数百万に増えた場合でも、1ms程度で検索を実行できるとしている。

　手書きによる検索では、画像情報を表現する高次元のベクトルを表す「深層特徴量」を即座に抽出し、リアルタイムに検索を実行できる。画像による検索では、画像中の人物が着ている衣類の色、人物の顔や画像全体の色彩、画像中の川に反応して同様に川が描かれている画像などを選択できる。

　古典籍画像の検索システムは、共同研究「画像検索のための構造化問い合わせ言語による歴史的典籍画像検索システム」の研究成果。今後は、開発を進めている「領域指定検索機能」を組み込むとともに、画像検索の処理を構造的・統一的に記述する問い合わせ言語の開発・実装を行う予定。

画像検索処理を構造的・統一的に記述する問い合わせ言語の例

　これにより、平安時代の絵巻物の中から『光源氏を後ろから見つめる葵の上』の構図を持つ絵を探す」「天保時代の人々の生活を描いた画集の中から『男女が共に稲作に従事している姿』を探す」といった「画像内容を考慮した問い合わせ」による検索が可能になるという。さらに将来的には、国内外の美術館に収蔵された古典籍画像の横断検索の実現を目指すとしている。

　なお、この古典籍画像の検索システムは、6月9日・10日に開催される「国立情報学研究所オープンハウス2017」においてデモが実施される。