企業AI代理實驗中,成功率最高的多代理架構,Token用量是單一代理基準組的4.7倍,處理時間則為3.1倍。亞馬遜(Amazon,AMZN)與華盛頓大學(University of Washington)研究團隊建議,企業可先從單一代理開始,再衡量各項工作的效能提升是否值得投入額外資源。
研究團隊於11月7日公開的論文,比較了4種AI代理架構、8種配置,測試範圍涵蓋企業的13套標準作業程序(SOP)。SOP是組織處理工作的流程規範。
實驗固定使用Claude Opus 4.8,並讓各組採用相同任務與工具,只調整代理架構。任務成功率(TSR)是以答對任務數占全部任務的比例計算。
單一代理基準組的成功率為67.4%,每項任務平均使用24,900個Token,處理時間為24秒。
加入高品質技能後,單一代理組的成功率升至73.1%;若加入低品質技能,成功率則降至59.8%,低於基準組。研究團隊認為,技能指引的品質及其與工作的適配程度,比有沒有加入技能更重要。
多代理架構的結果則因配置而異。最初將工作拆分、交由專業代理處理的配置,成功率為58.2%,低於單一代理基準組。
另一種配置讓每個工作代理都能取得完整SOP與工具,並加入重新分派工作及驗證結果的步驟,成功率達75.6%。研究團隊表示,這是唯一一種效能在統計上顯著高於基準組的配置。
這種改良版多代理架構每項任務使用117,300個Token,處理時間為73.5秒。研究團隊比較的各種調整型配置,Token用量是基準組的1.4至4.7倍,處理時間則為2.6至5.8倍。Swarm配置的處理時間最長,為138.6秒;論文沒有提供實際費用金額。
研究團隊也探討,在複雜工作中增加架構是否可能改善效能,但工作複雜度與效能提升幅度之間的相關性未達統計顯著。這不代表單一代理在所有工作中都更準確;研究團隊建議先採用單一代理,再評估各項工作的效能提升是否足以合理化額外資源投入。
論文內的成功率數據另有不一致之處:結果表與正文以13套SOP為範圍,列出單一代理組成功率67.4%、改良版多代理組75.6%;結論卻稱評估範圍為12套SOP,並分別列出65.6%與74.4%。
研究團隊指出,改良版多代理組在需要同時輸出多個項目的任務中出現錯誤,但未能完成驗證,因此論文提醒讀者應暫時看待這項結果。
先前也有研究同時檢視AI代理的效能與資源用量。本刊先前報導,Meta研究團隊的代理測試框架研究也觀察到數學與程式設計基準分數提升,同時Token用量增加。
亞馬遜雲端服務(Amazon Web Services,AWS)於11月9日發布的設計指南,建議簡單工作採用單一代理,跨越多個領域的複雜工作則使用監督代理搭配專業代理。這份指南是AWS為自家服務使用者提出的架構建議,並非針對上述論文的直接評論。
實驗使用的是預先設定結果的模擬工具,而非實際服務;研究沒有測量服務運作時可能發生的延遲、錯誤及重複執行造成的變動,模型也僅限一種。虛擬資產與區塊鏈工作不在評估範圍內。
Comment 0