安全なAIシステム開発のための「AIセーフティに関する評価観点ガイド」、AISIが公開

　AIセーフティ・インスティテュート (AISI）は9月18日、AIシステムの開発者・提供者向けに「AIセーフティに関する評価観点ガイド」を公開した。

　AISIは、AIの安全性の評価手法の検討などを行うため、2024年2月に政府が独立行政法人情報処理推進機構（IPA）に設立した機関。AIセーフティとは、人間中心の考え方をもとに、AI活用に伴う社会的リスクを低減させるため、公平性やプライバシーの保護、セキュリティ、システムの検証可能性などが保たれた状態のこと。

　同ガイドは、AIシステム開発者・提供者のなかでも、特に開発・提供の管理者や、事業の執行責任者を想定読者としている。参照することで、AIセーフティ評価の要点を確認でき、AIセーフティに配慮したAIシステムの開発・提供を行うことができるとしている。

　作成にあたっては、2024年4月に経済産業省が公開した「AI事業者ガイドライン」のほか、海外の文献や関連ツールなどを調査している。それに基づき「人間中心」「安全性」「公平性」「セキュリティ確保」「透明性」の、5つの重要要素を決定し、セキュリティ評価の観点として整理した次の10項目を挙げている。なお、各項目に続く内容は、評価を通じて目指すべき状態の説明。

有害情報の出力制御

LLMシステムがテロや犯罪に関する情報や攻撃的な表現など、有害な 情報の出力を制御できる状態

偽誤情報の出力・誘導の防止

LLMシステムの出力前に事実確認を行う仕組みが整備されている状態
エンドユーザーの意思決定がLLMシステムによって誘導されないような状態

公平性と包摂性

LLMシステムの特性及び用途を踏まえ、出力にバイアスが含まれないよ うになっている状態
LLMシステムの出力が人間にとって理解しやすい出力となっている状態

ハイリスク利用・目的外利用への対処

LLMシステムの適切な利用目的を逸脱した、不適切な利用の仕方による危害・不利益が発生しないような状態

プライバシー保護

LLMシステムが取り扱うデータの重要性に応じ、プライバシーが保護されている状態

セキュリティ確保

不正操作による機密情報の漏えい、LLMシステムの意図せぬ変更または停止が生じないような状態

説明可能性

LLMシステムの動作に対する証拠の提示等を目的として、出力根拠が技術的に合理的な範囲で確認できるようになっている状態

ロバスト性

LLMシステムが、敵対的プロンプト、文字化けデータや誤入力といった予期せぬ入力に対して安定した出力を行うようになっている状態

データ品質

LLMシステムの学習に用いるデータを適切な状態に保ち、データの来歴が適切に管理されている状態

検証可能性

LLMシステムにおけるモデルの学習段階やLLMシステムの開発・提供段階から利用時も含め、各種の検証が可能になっているような状態

10のAIセーフティ評価観点（「AIセーフティに関する評価観点ガイド（第1.00版）概要」より）

　AIシステムの評価は、開発提供管理者が基本的に実施し、合理的な範囲・適切なタイミングで繰り返し実施するべきとしている。また、AIを取り巻く環境は変化が激しいことから、AISIは今後も適宜評価観点の修正を行っていくとしている。