Anthropic、「Claude」のサイバー攻撃能力テスト中に3件の不正アクセスが発生したと発表

　Anthropicは7月30日、AIモデル「Claude」のサイバーセキュリティ能力のテスト中に、モデルがテスト環境からインターネットに接続し、3つの組織のシステムに不正アクセスする事案が発生したとして、情報を公開した。

　同社は外部パートナーのIrregularと共同で、AIのサイバー攻撃能力を定量化する「Capture The Flag」（CTF）と呼ばれる評価テストを実施していた。評価テストは、モデルに架空のシナリオを与え、ネットワーク上の別のマシンに機密情報（フラグ）が隠されていると告げ、その情報の入手を目的とする内容だった。

　Claudeに対しては、シミュレーションであり、インターネットアクセスは不可能であると指示していたが、環境の設定ミスにより、実際にはインターネットアクセスが可能になっていた。その結果、インターネット上の実在のシステムをシミュレーションの一部と誤認し、攻撃を実行してしまったという。

　本事案はOpenAIの同様の事案を受けて実施した調査で発覚し、「Claude Opus 4.7」「Claude Mythos 5」および社内研究用のテストモデルが関与していた。それぞれの事案の詳細は次の通り。

事案1：実在の企業への不正アクセス

　テスト用に設定した架空の企業と同じドメイン名がインターネット上に存在しており、Claude Opus 4.7はこれを発見して脆弱性を探し出し攻撃を行った。認証情報を抽出した上で、数百行の運用データを含むデータベースへのアクセス権を取得した。

　AIモデルは実在の環境で動作している可能性が高いと認識していたが、テストの一部であると推論し、攻撃を停止することはなかった。

事案2：PyPIへのマルウェアの公開

　Claude Mythos 5は、架空のセットアップ手順書に記載されていた存在しないPythonパッケージと同名のマルウェアを作成し、PyPI（Pythonの公式パッケージリポジトリ）に公開した。このパッケージは約1時間公開され、15台のシステムでダウンロードされた。そのうち1台のセキュリティ会社のシステムでは、悪意のあるコードが実行され、認証情報が抽出された。

　AIモデルはパッケージを公開することが現実世界への攻撃になる可能性を認識しつつも、証明書の表記やシステム上の日付などの理由からシミュレーションであると誤認し、パッケージを公開した。

事案3：約9000件のスキャンと自発的な攻撃停止

　架空の標的に到達できなかった社内研究用のテストモデルは、インターネット上で約9000件の標的をスキャンし、最終的に企業のインターネット接続アプリケーションに対して攻撃を実行した。

　しかし、攻撃の途中でAIモデルは対象がCTFとは関係のないクラウドアカウントに存在することに気づき、攻撃を停止した。

Anthropicの分析

　Anthropicは今回の事案について、AIモデルに問題があったのではなく、実在のシステムをシミュレーションだと誤認したことが原因で発生したと分析している。再発防止のため、予期しない動作がないか評価記録を継続的に監視する体制を強化するなどの対策を行うとしている。

　また、同社はこの発表において、発表内容は現時点の同社の理解に基づくものであり、今後更新される可能性があるとしている。そして、ほかのAI研究機関にも、同様の検証の実施を推奨するとも述べている。