代理式AI逐漸能在資安與反洗錢(AML)工作中負責調查、判斷和應對,企業也需要同步完善權限控管與監督機制。
CertiK於5日發布Int3D報告《AI員工崛起:代理式AI如何改變網路安全、反洗錢與合規》。報告指出,代理式AI不只協助分析人員找出問題,也能在預設權限範圍內進行調查、判斷與處置。
一般AI輔助工具通常只提供分析結果建議;代理式AI則能直接執行工作流程。若它獲准分類調查結果或啟動應對程序,部分工作流程便可自動化。
執行範圍愈廣,錯誤判斷直接引發實際處置的風險也愈高。報告將模型誤判、提示注入,以及攻擊者濫用AI列為風險因素。
提示注入是利用輸入文字或資料,誘使AI採取偏離既有指示的行動。若資安AI會調查外部輸入並執行應對措施,就必須分別控管輸入驗證與執行權限。
CertiK將設定權限邊界、取得人工核准、記錄決策及劃分責任列為治理核心,也建議定期進行紅隊測試。紅隊測試是從攻擊者角度檢查系統弱點的程序。
報告也強調,AI涉及數位資產持有或交易時,其行為應納入稽核。如果AI能存取帳戶或資產,就需要留下可追蹤紀錄,以確認它依據哪些權限作出決定。
報告建議,監督與責任制度應配合AI的執行能力一併建立,治理重點在於隨著應用範圍擴大,同步落實控管原則。
留言 0