OpenAI、サイバー攻撃能力テスト中のAIモデルがHugging Faceに不正アクセスしたと発表

　OpenAIは7月21日、同社製AIモデルのサイバー攻撃能力のテスト中に、サンドボックス化されたテスト環境を突破し、Hugging Faceのサーバーに対して不正アクセスを実施する事案が発生したとして情報を公開した。

　Hugging Faceでは7月16日に、自律型AIエージェントによる攻撃で、一部の非公開データセットおよび同社サービスで使用されている複数の認証情報への不正アクセスが確認されたとして情報を公開していた。攻撃はHugging Faceが開発したAIによって検知されたとしており、同社は封じ込めとフォレンジック調査を実施したとしている。

　この不正アクセスについて、OpenAIは「GPT-5.6 Sol」や、さらに高性能な未発表モデルを使用したAIのサイバー攻撃能力のテスト中に発生したものだと説明。Hugging Faceと共同で詳細な調査を継続し、調査が完了次第、詳細な情報を公開するとしている。

　この、OpenAIが実施したテストは、AIモデルに複雑な攻撃経路を用いて高度な攻撃を試みさせ、サイバー攻撃能力を定量化することを目的としたもの。リスクの高いサイバー攻撃に関する内容を推論することを防ぐフィルターを適用しない状態で実施することで、AIモデルの潜在的な最大能力を測定していた。

　高度に隔離された環境でテストを実施しており、外部へのネットワークアクセスについても社内ホスト型のパッケージレジストリとして機能するサードパーティソフトウェアを使用するなどの制限が施されていた。しかし、AIモデルはサードパーティソフトウェアのゼロデイ脆弱性を特定し、インターネットアクセスを取得した。

　インターネットアクセスを取得後、AIモデルはHugging Faceが「ExploitGym」（同テストで使用されていたベンチマーク）のモデル、データセット、解答をホストしている可能性があると推測。そして、不正に解答を取得するために、利用できる機密情報へアクセスする方法を探し出し、Hugging Faceへの不正アクセスを行ったが、これをHugging Faceが前述のように検知した。OpenAIのセキュリティチームも、この「異常な活動」を社内で発見したとしている。

　OpenAIは、Hugging Faceをサイバー防衛プログラム「Trusted Access for Cyber」に迎え入れ、AIモデルを活用した防御の強化ができるように支援すると発表した。また、サードパーティソフトウェアのゼロデイ脆弱性の修正に協力するとともに、今後のトレーニングと評価における保護策を改善するとしている。