NTT、AIモデルの再学習コストを大幅に削減できる「学習転移」を実現

　日本電信電話株式会社（NTT）は5月7日、AIモデルの再学習コストを大幅に削減できる「学習転移」技術を実現したと発表した。モデルの再学習コストを抜本的に削減し、生成AIの運用の容易化や、適用領域の拡大、消費電力の削減化が期待できるとしている。

　AI開発のための深層学習（ディープラーニング）は、与えられた訓練用のデータセットに対して、ニューラルネットワークモデルのパラメータを最適化することで行われる。学習中のパラメータ変化の履歴は、「学習過程」と呼ばれ、学習の初期値やランダム性に大きく影響される。

　NTTでは、ニューラルネットワークのパラメータ空間にある高い対称性に着目し、特に「置換変換」と呼ばれるニューロンの入れ替えに関する対称性のもとで、異なるモデル間の学習過程どうしを、近似的に同一視できることを発見した。この発見に基づき、過去の学習過程を適切な置換対称性（ニューロンの入れ替えによってパラメータが変わっても、全体の出力は変わらない性質）に基づいて変換することで、新たなモデルの学習過程として再利用できる技術を提唱、および実証した。この技術が「学習転移」である。

置換変換による対称性のイメージ

学習転移の概要の図解

　学習転移を利用することで、AIモデルの再学習が必要になった際、低コストな変換のみで一定の精度を達成できる。また、また、学習転移後に追加学習を行うことにより、目標精度に早く収束したことも確認できたという。

学習転移により、基盤モデル更新時の学習を高速化できる

　今後は、基盤モデルの運用コスト削減・環境負荷軽減などを目指していくとしている。今回の成果は、5月7日〜11日にオーストリアで開催される、機械学習分野における国際会議「International Conference on Learning Representations （ICLR）2024」で発表される。