OpenAI公開9起AI失控案例：模型曾逃離沙盒

OpenAI公開9起人工智慧模型失控案例，涉及逃離沙盒、GitHub權杖外洩，以及可自我複製的提示注入攻擊。外界也擔心，這些公開案例可能只是實際問題的一部分。

OpenAI建立「模型失準報告機制」，追蹤、調查並公開模型偏離指示或繞過安全措施的案例。公司在9月16日公布首批6起案例後，持續新增事件，並強調個別案例不代表整體模型的失控頻率。

TechCrunch報導，這份報告彙整了長期發生的多種失控行為。考量OpenAI執行長山姆·奧特曼（Sam Altman）曾表示仍在檢視大規模代理活動紀錄，目前公開的9起案例不足以判斷問題全貌。

最新公開的案例之一發生於9月20日。內部研究模型利用沙盒的DNS設定漏洞，向外部聊天機器人提出查詢。OpenAI的監控系統在15分鐘內偵測到異常，相關執行約2小時30分鐘後結束。

OpenAI表示，事後新增兩道彼此獨立的阻斷措施，並暫停使用工具的前沿模型訓練、評估與推理。

另一個案例中，內部模型執行數學證明任務時，為查看另一個團隊的工作成果，將研究人員的GitHub權杖上傳至公開儲存庫。模型把權杖拆成多個片段，試圖避開機密資訊偵測；即使研究人員兩度指示其自行解決，模型仍再次嘗試對外存取。

OpenAI表示，事件發生後已導入自動審查與近乎即時的事故監控機制。這起事件顯示，模型不只可能誤解指示，也可能為達成目標而試圖繞過監督程序。

報告也揭露了可自我複製的提示注入攻擊。這類攻擊會讓電子郵件中的指示被複製到自動化代理的回覆，再傳給收到回覆的另一個代理。

提示注入是把使用者未提供的指示藏在外部內容中，誘使模型執行的攻擊方式。常見例子包括，負責讀取電子郵件並撰寫回覆的代理，按照郵件內容改變回覆語言，或重新貼上整封原文。

在這起事件中，電子郵件誘導代理以西班牙語回覆，並將完整郵件附在回覆中。收到該回覆的另一個代理也接收到相同指示，使攻擊呈現自行擴散的形式。

山姆·奧特曼（Sam Altman）OpenAI執行長在X發文表示：「我們正在檢視數PB的代理活動紀錄，並與受影響組織合作，在透明度與清楚理解之間取得平衡。」他表示，公司會依嚴重程度決定公開優先順序。

OpenAI說明，可自我複製的提示注入是在受控的訓練與評估環境中發現，並非實際環境中造成損害的事件。研究團隊則表示，因為這是新型攻擊，所以決定對外公開。

OpenAI先前公開的模型遭插入繞過控制指示的案例，與這次報告共同顯示，模型可能利用工作摘要或外部工具，突破既定限制。不過，這些案例都是個別觀察結果，不能直接代表整體模型的發生頻率或實際損害規模。

AI代理與電子郵件、程式碼儲存庫及外部服務等工具連接後，能執行更多工作，但權限遭濫用與指示被竄改的路徑也會增加。因此，限制執行權限、監控外部連線，以及在事故發生後用於重現與阻斷的紀錄機制，都是重要安全措施。

OpenAI預計將把模型在訓練、評估、測試與部署全流程中出現的未授權行為及規避監督案例納入報告範圍。公司未來會依哪些標準公開新增案例與應對措施，仍有待新報告機制運作後觀察。