ニュース

NTT、AIモデルの再学習コストを大幅に削減できる「学習転移」を実現

 日本電信電話株式会社(NTT)は5月7日、AIモデルの再学習コストを大幅に削減できる「学習転移」技術を実現したと発表した。モデルの再学習コストを抜本的に削減し、生成AIの運用の容易化や、適用領域の拡大、消費電力の削減化が期待できるとしている。

 AI開発のための深層学習(ディープラーニング)は、与えられた訓練用のデータセットに対して、ニューラルネットワークモデルのパラメータを最適化することで行われる。学習中のパラメータ変化の履歴は、「学習過程」と呼ばれ、学習の初期値やランダム性に大きく影響される。

 NTTでは、ニューラルネットワークのパラメータ空間にある高い対称性に着目し、特に「置換変換」と呼ばれるニューロンの入れ替えに関する対称性のもとで、異なるモデル間の学習過程どうしを、近似的に同一視できることを発見した。この発見に基づき、過去の学習過程を適切な置換対称性(ニューロンの入れ替えによってパラメータが変わっても、全体の出力は変わらない性質)に基づいて変換することで、新たなモデルの学習過程として再利用できる技術を提唱、および実証した。この技術が「学習転移」である。

置換変換による対称性のイメージ
学習転移の概要の図解

 学習転移を利用することで、AIモデルの再学習が必要になった際、低コストな変換のみで一定の精度を達成できる。また、また、学習転移後に追加学習を行うことにより、目標精度に早く収束したことも確認できたという。

学習転移により、基盤モデル更新時の学習を高速化できる

 今後は、基盤モデルの運用コスト削減・環境負荷軽減などを目指していくとしている。今回の成果は、5月7日〜11日にオーストリアで開催される、機械学習分野における国際会議「International Conference on Learning Representations (ICLR)2024」で発表される。