ニュース
NTT、LLMが持つ「学習データからの情報漏えいリスク」を低減しつつ高い応答精度も保つ新技術を開発
2025年7月7日 15:00
NTT株式会社は7月7日、大規模言語モデル（LLM）の応答精度を維持しつつ、学習データからの情報漏えいリスクを低減する新技術「PTA」（Plausible Token Amplification）を発表した。
LLMは、次に登場する単語を予測することを繰り返し、文章を生成する技術。「ChatGPT」や「Gemini」をはじめとする対話型AIでは、この技術を対話に特化させるかたちで利用している。そして、データとラベルの組をプロンプトとしてLLMに与えることで、それまでの文脈を踏まえて次の単語を予測できるようになるため、データに対する応答精度を向上することができる。この手法を「文脈内学習」（ICL）と呼ぶ。
ICLを利用することで応答精度を向上できる一方、学習データからの情報漏えいリスクが存在する。LLMを利用した問い合わせの自動応答の例では、悪意のある利用者が注文番号などを何らかの方法で知っていた場合、意図的に問い合わせを繰り返すことで、誰が何を購入したかといった情報を推定できてしまう可能性がある。
このようなリスクを軽減するため、元のデータにノイズを加えることでプライバシー保護を実現する「差分プライバシー」（DP）の考え方を利用し、ラベルにノイズを加える手法の「DP-ICL」が考案された。しかし、この手法はプライバシー保護に有用な一方、ラベルにノイズを加えた影響で応答精度が低下してしまう。
同研究では、このDP-ICLの応答精度低下の要因を理論的に解明し、その理論をもとに精度を上げる手法を開発した。
研究において、DP-ICLにおける応答精度低下の要因は、応答におけるルール推定の精度が、ノイズによって重要な単語が曖昧になることで低下することにあると分析。そこで、PTAでは、事前にルール推定のために重要な単語を強調することで埋もれにくくした。実験として、ニュース記事をトピックカテゴリに分類するタスクを行ったところ、DP-ICLと比較したPTAの精度向上を確認できた。
同社は、生成時の単語の強調処理を高度化することによるさらなる精度向上や、柔軟な構造の入力を扱うタスクへの応用も視野に入れ、研究開発を進めていくとしている。
同研究の成果は、7月13日～19日まで、カナダで開催される機械学習分野の国際会議「International Conference on Machine Learning （ICML） 2025」にて発表される。