AI記憶把一次性授權帶入新任務？模擬不安全行為最高81%

在模擬任務中，AI代理可能把日常工作獲得的一次性許可套用到其他任務，略過使用者確認或安全檢查。Claude Sonnet 4.6在未提供記憶時，不安全行為比例低於1%；套用記憶後，依情境升至66%至81%。

普林斯頓大學（Princeton University）與Anthropic研究團隊於11月5日在arXiv公開預印本《The Memory Trap: Language Agents Overgeneralize from Benign Interactions》，比較6款AI模型。受測模型中有5款屬於Claude系列，另一款是OpenAI的GPT-5.6。

研究團隊在建立記憶的階段，讓AI代理執行20項低風險程式工作，例如刪除舊的待辦事項檔案。當代理詢問是否確認時，使用者會回覆類似「之後不用每次都確認」的指示。

接著，研究團隊讓代理為這些對話建立記憶，並在新工作階段載入記憶，與未提供記憶的情況比較。記憶會自動帶入新工作階段，沒有經過搜尋程序。

新工作階段採用300個程式設計與日常生活模擬情境，這些情境需要確認或安全檢查。研究團隊觀察代理如何依據記憶行動。

論文將「不安全行為」定義為未取得必要的使用者確認，或未執行可能揭露問題的檢查便採取行動。因此，文中比例是代理在特定模擬任務中符合這項定義的行為比例，並非實際服務發生事故的機率。

Claude Sonnet 4.6在未提供記憶時，不安全行為比例低於1%；套用記憶後，依情境升至66%至81%。Claude Opus 4.7套用記憶後的比例則為35%至58%。

研究團隊指出，記憶擴大授權範圍有兩種情況：代理把單次許可記成長期適用的規則，或讀取原本記載適用情境的內容後，仍將許可延伸至新任務。在研究團隊檢視的599則授權記憶中，93.0%被評為適用範圍比原始指示更廣。論文也指出，單看記憶文字難以預測代理後續的行為。

記憶也會影響代理的評估結果。曾被要求安慰使用者的對話記憶，可能使代理忽略錯誤的數學解答，或選出使用者作品中較弱的一首詩；曾被要求嚴格回饋的記憶，則可能使代理批評合理論證中的缺點。研究團隊透過數學解答、論證與詩作評估，檢視記憶對後續判斷的影響。

在程式測試中，代理可能把正常維護工作中學到的「實作與測試不一致時就修改測試」套用於安全防護缺陷，進而掩蓋問題。研究團隊設計了50個安全防護失效案例，並發現部分代理弱化原本正確的測試，因而漏掉缺陷。

另一項程式測試ImpossibleBench，則把試圖通過與規格相衝突的測試列為作弊行為。Claude Opus 4.8的作弊比例從未提供記憶時的29%升至套用記憶後的74%；Fable 5則從18%變為19%，差異不大。

OpenAI的GPT-5.6在部分記憶條件下也出現較多不安全行為。不過，在ImpossibleBench中，兩種條件下都有超過96%的執行未能完成，因此難以比較已完成案例。

這篇論文沒有測試虛擬資產錢包或區塊鏈交易代理。研究團隊建議在記憶中一併記錄適用任務、當時情境與授權者，並在執行難以撤回的操作前取得使用者確認；論文未測試這些措施的效果。