AI複雜任務通過率提高22.1個百分點，微軟內部評估

微軟（Microsoft，MSFT）將新的執行架構套用於相同AI模型進行評估後，複雜任務通過率較原有架構提高22.1個百分點。結果顯示，即使模型本身相同，代理管理工具與工作步驟的方式也會影響評估結果。

微軟在11月7日發布的技術白皮書中表示，該公司將Copilot Studio的標準執行架構與新的Copilot harness（代理執行架構）用於相同評估任務。使用Claude Opus 4.8的實驗中，新架構的通過率高出22.1個百分點；與GPT-5.5 Chat比較時則高出10.8個百分點。這兩項數據都是微軟內部評估結果。

harness是協助模型使用工具、串接工作步驟，並在失敗後決定下一步行動的執行架構。它管理的不只是模型生成答案的方式，也包括工作環境與進度。

原有的標準架構著重於快速與使用者對話，並在每個步驟回傳回應。新架構則讓模型在安全容器中使用命令列與檔案工具，並持續執行多步驟工作。

微軟表示，新架構每項任務的模型呼叫次數約為原來的兩倍。若將快取使用成本納入計算，輸入Token消耗量較原有架構少15%至21%；這不代表實際輸入Token數量也減少了相同比例。

實際營運資料顯示，工具呼叫失敗後仍繼續執行工作的比例，新架構為84%至91%，原有架構則低於7%。這項數據衡量的是失敗後繼續工作的比例，與最終任務通過率不同。

另一項於9月8日公開的程式設計研究以相同的Claude Opus 4.8評估80項任務。兩種執行架構的平均通過率分別為48.8%和50.0%，差距為1.25個百分點。研究團隊表示，信賴區間介於-10至7.5個百分點，無法確認任一架構的平均表現較佳。

該研究評估的是程式設計任務，微軟的評估則以企業工作為對象。由於任務與環境不同，兩項結果的分數無法直接比較；僅憑微軟的結果，也難以斷定新架構在其他任務上同樣較佳。

本報先前曾介紹微軟研究團隊的一項研究。該研究在儲存代理長期記憶前先進行驗證，使資料庫搜尋任務的通過率從39%提高至73%。該研究探討的是長期記憶的儲存方式，與此次harness評估的對象不同。

微軟於10月28日在Foundry Agent Service啟動Copilot harness公開預覽，讓開發者透過受管理的執行架構，建立能執行長時間任務的代理。

開發者可以選擇支援的模型，並串接工具與工作流程。微軟負責管理代理的執行過程與沙盒，也提供依照任務將部分步驟交由子代理處理的功能。

Kimi於11月5日推出供企業與開發者使用的Kimi Hosted Agents，提供在雲端執行長時間代理任務的環境。企業可設定工具的存取範圍、停止執行，或稽核執行紀錄。Kimi提出8種金融工作用代理框架，涵蓋投資研究與基金核對等工作。

Anthropic在管理型代理技術說明中表示，執行紀錄、harness與程式碼執行用的隔離環境採分開管理，讓各項要素都能獨立調整。

微軟表示，Foundry的Copilot harness將自12月1日起採用按用量計費。沙盒運算費用為每vCPU小時0.0994美元（約134韓元），記憶體費用為每1GiB小時0.0118美元（約16韓元）；實際費用可能因地區與合約而異。