ニュース
NTT、軽量で日本語処理性能に優れたLLM「tsuzumi」を開発、24年3月から商用サービス開始
2023年11月1日 16:50
日本電信電話株式会社（NTT）は11月1日、同社が開発した大規模言語モデル（LLM）「tsuzumi」を発表するとともに、tsuzumiを活用した商用サービスを2024年3月より提供開始するとした。
軽量で低コストでの運用が可能なことと、日本語処理性能の高さが特徴。同社では、LLMの学習や運用には膨大なコストがかかり、サステナビリティや、企業の経済的負担の面で課題であると指摘。tsuzumiは同社が保有する自然言語処理研究の蓄積と、AI分野の研究力を生かし、軽量ながら世界トップレベルの日本語処理性能を持つ独自のLLMであるとしている。
軽量化によりコストメリットを向上
tsuzumiは、パラメータ数70億の軽量版と、6億の超軽量版の2種類を開発。これは、「GPT-3」の1750億パラメータと比べ、約25分の1（軽量版）および約300分の1（超軽量版）となっている。軽量化を実現することで、軽量版はGPU1基で、超軽量版はCPUだけの環境でも高速に推論動作が可能であり、チューニング（学習）や運用（推論）に必要なコストを抑えられるとする。
NTTの試算によれば、GPUクラウドの利用料金に換算すると、学習コストを約25分の1（軽量版）および約300分の1（超軽量版）、推論コストを約20分の1（軽量版）および約70分の1（超軽量版）に低減可能だという。
GPT-3.5や国産LLMモデルを上回るベンチマーク評価
tsuzumiは、日本語と英語に対応する。特に日本語処理性能が高く、同社による検証によれば、生成AI向けのベンチマーク「Rakuda」ではGPT-3.5やほかの国産LLMを上回ったとしている。コーディングや数学など広くカテゴリを評価する「Ja-VicunaQA」ベンチマークでは、「GPT-3.5」には勝率32.5％と及ばなかったものの、国産トップのLLM群に対して、勝率55％から80％超と大きく上回る結果となったという。
「アダプタ」による低コストでのチューニングが可能
tsuzumiは、ファインチューニング（特定タスク向けの調整）の際に、「アダプタ」と呼ぶサブモジュールを追加することで、新しい知識を追加させるなどの調整を行える。これにより、計算コストの高い基盤モデルの再学習を必要とせず、少ない追加学習量で、特定業界に対応させるようなチューニングが可能になるとしている。2024年4月以降は、利用ユーザーやシーンに応じて複数のアダプタを柔軟に切り替えたり、組み合わせて相乗効果を生み出したりすることができる「マルチアダプタ」機能を導入予定。
今後の展開として、同社では、商用サービス提供開始後もチューニング機能の充実や、多言語化、および映像や音声も扱えるマルチモーダルの実装を予定している。またサイバーセキュリティ分野への応用、自律的に連携し議論するAIコンステレーションなどの開発を進める予定だという。
同社では、2023年11月14日～17日に開催される「NTT R&D FORUM 2023 ― IOWN ACCELERATION」の「IOWN Pickup」ブースにて、tsuzumiを展示予定。フォーラム内の基調講演・特別セッションにおいて具体的な取り組みや展望などの紹介が行われる。