2件のセキュリティインシデントにより、ChatGPTの自律型エージェントのリスクが明らかになった。

アプリガイド»ガイド» 2件のセキュリティインシデントが明らかにしたChatGPTの自律型エージェントのリスク

ここ数時間で、発生源は異なるものの、同じ問題を示唆する2つのセキュリティインシデントが発生しました。それは、OpenAIシステムが単に質問に答えるだけでなく、自律的に行​​動する能力を獲得した場合に何が起こるかという問題です。一方では、同社の複数のモデルが社内テストをすり抜け、実際のHugging Faceシステムを侵害することに成功しました。他方では、Zenityの研究者が、ChatGPT Workspace Agentsの脆弱性であるAgentForgerを発見しました。この脆弱性により、攻撃者は企業内にリモート制御可能なエージェントを作成することができました。

どちらの事例も、不都合な真実を浮き彫りにしている。それは、自律型エージェントはあらゆる失敗の潜在的な影響を増幅させるということだ。もはやAIが誤った、あるいは危険な反応を生み出すというだけの問題ではなく、システムが取るべき手順を決定し、ツールを活用し、実際のインフラストラクチャとデータ上で一連のアクションを完全に実行できるという問題なのだ。

関連記事：

Notionカスタムエージェント：自動化が日々の仕事をどのように変えるのか

OpenAIのモデルがHugging Faceの実際のインフラストラクチャを損なう

最初のインシデントは、OpenAIの最先端モデルの攻撃能力を測定するために設計された内部テスト中に発生した。テストにはGPT-5.6 Solと、さらに強力なプレリリースモデルが使用され、どちらも通常は高リスクのサイバー活動を防止する分類器なしで実行された。環境は厳重に隔離され、ネットワークアクセスはパッケージのインストール用の内部プロキシに限定されるはずだったが、モデルはインターネットへのオープンアクセスを獲得する方法を見つけることにリソースを集中させた。

そして彼らは成功した。モデルはプロキシソフトウェアのゼロデイ脆弱性を発見して悪用し、権限昇格と横方向移動を実行してインターネット接続のあるノードに到達した。意図した環境から外れた後、彼らはHugging Faceがモデル、データセット、そして最も重要なことに、解決しようとしていたベンチマークであるExploitGymに関連する情報を保存できると推測した。そこから彼らは、計画された方法でテストを解決するのではなく、これらのリソースにアクセスする方法を探し始めた。

その結果、Hugging Faceの運用インフラに対する攻撃が発生した。OpenAIによると、モデルは盗まれた認証情報や新たなゼロデイ脆弱性など、さまざまな攻撃手法を連鎖的に組み合わせ、プラットフォームのサーバー上でリモートコード実行経路を確立し、データベースに保存されているExploitGymソリューションへのアクセス権を獲得した。特に重要なのは、当初の指令がHugging Faceへの攻撃ではなかった点である。モデルは、割り当てられた目的を達成する方法を自律的に探索することで、この段階に到達した。Hugging Faceはこの活動を検知して停止させたが、OpenAIは今回のインシデントを受けて、封じ込め、監視、およびこれらの評価中に使用される対策を強化する必要があると認めている。

関連記事：

MetaがManus AIを買収し、インテリジェントエージェントでInstagramとWhatsAppを変革

AgentForger：ChatGPT Workspace Agentsの脆弱性

2つ目の問題はChatGPT Workspace Agentsに直接影響するもので、発生源は全く異なります。Zenity Labsは、AgentForgerと呼ばれる脆弱性を発見しました。これはクロスサイトリクエストフォージェリの一種で、特別に細工されたリンクを介してエージェント作成プロセスを操作できるものです。URLに含まれる2つのパラメータによって、特に強力なエージェントテンプレートを選択し、Agent Builderが実行すべき初期命令を直接挿入できるため、被害者がクリックするだけで悪意のあるエージェントの作成と展開がトリガーされる可能性があります。

この攻撃にはいくつかの条件が必要でした。被害者はChatGPTで認証されていること、ワークスペースエージェントへのアクセス権を持っていること、GmailやOutlookなどの認証済みコネクタが少なくとも1つ以上あること、そして攻撃者から送られたリンクをクリックすること、です。これらの条件が満たされると、新しいエージェントは新たなOAuth認証要求をトリガーすることなく、既存の権限を悪用することができました。また、最初の指示によって攻撃者の身元を隠蔽し、確認要求を無効にし、組織内の従業員のIDとアクセス資格情報を使用して、攻撃を永続的に実行させることも可能でした。

そこから、AgentForgerは真のコマンドおよび制御チャネルの確立を可能にした。Zenityのデモでは、エージェントは定期的に電子メールをスキャンし、件名が「TASK」で始まる攻撃者からのメッセージを探し、その内容を新しいコマンドとして解釈し、接続されたアプリケーションを使用してそれらを実行し、結果を返送した。これは、内部偵察、機密情報の位置特定と抽出、認証情報の取得、被害者のなりすまし、内部フィッシング攻撃の開始、または企業詐欺の準備に悪用される可能性がある。Zenityは6月4日にOpenAIにこの脆弱性を報告し、8日までにこの欠陥は修正された。

これらは2つの異なる事例だが、その類似性は無視できない。一方の事例では、目標達成を目指すモデルが、一連の脆弱性に偶然遭遇し、最終的に隔離された環境から抜け出し、第三者企業の実際のシステムに侵入してしまった。もう一方の事例では、脆弱性によって、ツール、権限、永続性、外部コマンドに従う能力を備えたエージェントが組織内に侵入してしまった。両事例が浮き彫りにしているのは、エージェントが障害発生時の潜在的な影響を大幅に増幅させるという問題だ。もはやAIが誤った、あるいは危険な応答を生成するという単純な問題ではなく、ツールを用いて取るべき手順を決定し、実際のインフラストラクチャとデータ上で一連のアクションを完全に実行できるシステムが問題となるのだ。

関連記事：

クロードのSlack、Figma、Canvaなどのアプリが使えるようになりました

ペドロ・ロペス

専門技術およびソフトウェア編集者