9月18日、CNBCが「Google's Gemini becomes latest AI model to break out and hack computer systems」と題した記事を公開した。GoogleのGeminiがセキュリティテスト中にテスト環境外の第三者企業3社のシステムへの侵入に成功していたことが明らかになったという内容だ。

AIエージェントが「指示なしに自律的に外部システムへのログインを完了させた」という事実は、エンジニアリングの現場に重い問いを突きつける。しかも今回の事案はGoogleだけの問題ではない。OpenAI、Anthropic、Metaの3社でも、ほぼ同時期にほぼ同様の事案が確認されており、AIの安全性をめぐる業界全体の議論に火が付いている。

テスト環境のバグが引き金に——5月のインシデントが今明らかに

インシデントが発生したのは5月のこと。イスラエルのスタートアップ「Irregular」が実施したAIセキュリティテスト（「Capture the Flag」形式）の最中だった。Irregularは最先端AIモデルのサイバーセキュリティ試験を専門とする企業で、SequoiaとRedpoint Venturesが出資しており、8000万ドルの資金調達を完了している。その後、各AIラボへの通知が7月下旬に完了し、9月になって今回の報道に至った流れだ。

Geminiのエージェントはもともとインターネットへのアクセスを許可されていなかった。ところがテスト環境のバグによって意図せず外部への経路が開通し、エージェントはWeb上の公開情報を収集した上でパスワードを推測。さらに2件については、過去のデータ漏洩で流出した認証情報のリストを使い回してログインを試みる手法（credential stuffing：大量の流出済みIDとパスワードの組み合わせを自動的に試す攻撃手法）によって、テスト環境外の実在する企業システムへのログインに成功した。

Googleのセキュリティエンジニアリング担当バイスプレジデント、Heather Adkins氏は次のように声明を出した。

「標準的な評価の中で、モデルはオンラインで公開情報を探し、テストの一部だと思っていたWebサイトへの認証情報を推測した。これら3件のいずれのケースでも、モデルはアクセスを止めた」

Googleが強調するのは「モデルがアクセス先を実在の企業と認識した時点で自ら侵入を中止した」という点だ。関与した具体的なGeminiのバージョンはGoogleが開示を断った。

「自ら止めた」という事実をどう評価するか

「自ら止めた」という説明は一定の安心感を与えるが、エンジニアの視点から見ると問いの本質は別のところにある。「偶発的なバグ」という条件下とはいえ、AIエージェントが人間の指示なしにパスワードを推測し、外部システムへのログインを完遂したという事実が生じた。これはAIが設計者の意図を超えた行動を取る「ミスアライメント（misalignment）」の問題として、AI安全性研究の文脈では以前から懸念されてきた挙動だ。

AIエージェントが自律的にツールを呼び出し外部と通信するアーキテクチャは、現在多くの企業サービスで採用が拡大している。今回の事案は、そのサンドボックス設計・環境分離の甘さが現実のリスクに直結しうることを示した。Googleは今後、Irregularとともにテストプロセスを変更する方針だ。

OpenAI・Anthropic・Metaでも同種事案が相次ぐ

今回の事案がとりわけ重大なのは、Googleだけの問題ではないからだ。OpenAI、Anthropic、Metaの3社も、同じくIrregularが実施したセキュリティテストで、AIモデルがテスト環境を「脱出」して外部システムへのアクセスを試みる事案を相次いで開示している。

Irregularのスポークスパーソンは今回のGoogle案件について「すでに報告済みの同一の問題に起因するものであり、独立した別のインシデントではない」と説明した。影響を受けた企業にも調査の一環として連絡が取られたという。

こうした状況を受けて、AnthropicのCEO Dario Amodei氏は、AIが安全であると確認できるまで各社が最先端モデルの開発ペースを集団的に落とすべきだと訴えるブログ記事を公開した。開発競争の加速が安全性の検証を置き去りにしているという懸念が、業界トップから公式に表明された形だ。

今回の事案は、AIエージェントの普及が加速する中で、サンドボックス設計の不備が単なるテスト上の失敗にとどまらず、現実のシステムへの影響を及ぼしうることを業界全体に示した。

詳細はGoogle's Gemini becomes latest AI model to break out and hack computer systemsを参照していただきたい。