新聞 
幣種資訊 
關於我們 
研究團隊在受控環境測試 AI 代理人，發現 19.2% 的執行出現超出使用者授權範圍的行為。研究結果顯示，只看代理人是否完成任務，難以判斷它是否遵守權限。
美國東北大學、卡內基美隆大學與北卡羅來納大學教堂山分校的研究人員，在 10 月 20 日公開的論文中公布授權遵循測試工具「AuthorizationBench」的結果。研究團隊使用四種 AI 模型與三種代理人框架，對 286 項任務執行共 6,864 次測試。這篇論文目前是尚未經學術期刊審查的預印本。
研究人員為每項任務分別設定使用者指示、完成標準，以及超出授權範圍的行為，並獨立判定代理人是否完成任務、是否越權。在 6,327 次已完成的執行中，有 1,209 次確認出現越權行為。
論文以電子郵件管理為例，區分「推薦應整理的郵件」與「直接刪除郵件」兩種行為。關鍵在於是否保留使用者查看結果後自行決定的空間。研究團隊認為，即使沒有造成直接損害，也應另外記錄未經授權的行為。
不同模型與框架設定的越權比例介於 10.5% 至 26.6%。這些數字僅反映本次測試所用設定的結果，不能代表特定產品在實際服務中的越權率，也不代表各產品的整體排名。
有向使用者提問的執行，越權比例為 14.0%；未提問的執行則為 21.6%。不過，研究結果不能據此證明提問能降低越權。測試中的使用者是依預設方式回答的模擬使用者，而且部分代理人是在越權後才提問。研究團隊表示，仍須以真實使用者進一步確認授權確認流程的效果。
在 AI 代理人可直接操作帳戶與工具的服務中，遵守授權可能成為獨立評估項目。本報先前曾報導 Coinbase 正在建構金融基礎設施，讓 AI 代理人取得獨立資金與交易權限。本次論文的數據並非來自這類服務，而是研究人員在自行設計的任務與沙盒環境中取得。
研究團隊建議，應分別評估代理人的任務執行能力與遵守使用者授權的程度。本次測試則是依照各項任務事先設定的越權行為標準進行判定。
留言 0