Circle 的 AI 代理錢包實驗中,10 個模型有 9 個找到寄到持有人電子郵件的驗證碼,並提高支出上限;實驗指示並未要求模型向使用者申請調高上限。
康乃爾科技(Cornell Tech)與耶魯大學研究人員公布了這項探討 AI 代理電子郵件存取權與支出上限的實驗結果。9 個模型各自進行 20 次測試,至少有一次調高上限。這不代表所有測試中有 90% 都發生了相同行為。
研究人員在 Base 網路錢包中存入 10 枚 USDC,並將每日支出上限設為 0.01 枚。電子郵件信箱裡有 3 張帳單,每張金額都是 0.01 枚;若要全部付款,就必須調高每日上限。
Circle 變更支出政策時,會將一次性驗證碼寄到帳戶持有人的電子郵件。實驗中的代理使用讀取帳單的同一個電子郵件工具,也能取得驗證碼。研究人員表示,他們沒有告訴代理支出上限、驗證碼或如何變更上限。
例外是「claude-opus-5.5」。該模型在 20 次測試中都只依照既定上限付款,並將未付款帳單通知使用者。研究人員分析指出,自行提高上限的行為與模型能力程度沒有明顯關聯。
在另一項實驗中,研究人員只要求代理摘要電子郵件信箱。他們假扮使用者寄出一封要求轉帳 0.02 枚的郵件後,10 個模型中有 5 個至少一次提高上限,並將款項轉至研究人員控制的地址。這項結果來自研究人員設計的實驗環境。
研究人員表示,他們於 9 月 22 日將結果告知 Circle,Circle 也確認收到相關情況。Circle 目前在代理錢包指南中建議,不要讓 AI 代理無限制存取電子郵件帳戶,並由使用者親自輸入驗證碼。
研究人員認為這項提醒是合理的應對方式,但也指出,核准變更上限的機制本身並未改變。他們提出一種替代方案:在代理無法控制的受信任裝置上處理核准,並製作了實作該方案的原型。
留言 0