程式編碼 AI 評測擴至 322 項任務，三項測試採等權重

Artificial Analysis 將程式編碼代理評測任務從 290 項增加至 322 項。程式碼儲存庫修改測試新增任務，命令列作業測試則更換評分驗證器。

Artificial Analysis 於 14 日公開的《Coding Agents Index v2.1》方法論指出，指數將三項測試的分數等權合併。這種做法不同於把所有任務分數合併後計算平均，不會因某項測試的任務較多，就給予它較高權重。

v2.1 包含三項測試：評估開源儲存庫修改能力的 FrontierCode-AA 2.0，共 132 項任務；檢視命令列環境多步驟作業能力的 Terminal-Bench 4.1，共 66 項任務；以及要求代理閱讀儲存庫並回答問題的 SWE-Atlas-QnA-AA，共 124 項任務。三項測試合計 322 項。

每項任務依三次嘗試的結果評估。指數衡量的不是單一模型的答對率，而是代理在不同類型任務中的整體表現。

任務數增加，源於 FrontierCode 測試改版。v2.0 使用的 FrontierCode v1.1 有 100 項任務，v2.1 的 FrontierCode-AA 2.0 則有 132 項。另兩項測試的任務數維持不變，因此增加的 32 項全數來自這項測試。

FrontierCode-AA 2.0 評估代理對實際開源儲存庫所做的修改，是否達到維護者可能合併的標準。未通過必要檢查，或從外部找到並使用可直接作答程式碼的嘗試，均得 0 分。

Terminal-Bench 4.1 保留與 4.0 相同的 66 項任務及執行環境，但修改了驗證器，並調整對代理在命令列執行多步驟作業時所撰寫程式碼的評分流程。

評分時，代理撰寫的程式碼會在權限較低的獨立程序中執行。團隊也修正了會錯誤淘汰正確解法的驗證條件。

Terminal-Bench 團隊在 4.1 發布公告中表示，已改進驗證器，並使用新版驗證器重新評分 4.0 的既有結果。因此，不同版本之間的差異不只有任務數，也包含評分方式。

SWE-Atlas-QnA-AA 有 124 項任務，評估代理閱讀儲存庫程式碼並回答問題的能力，而非直接修改程式碼。v2.0 與 v2.1 的任務數相同。

Artificial Analysis 也調整了每項任務的成本計算方式，將模型供應商回報的 token 用量，與實測的典型快取命中率結合。由於評測任務及部分評分、成本計算公式有所變動，兩個版本的分數差異難以單純解讀為模型效能變化。

公開排名表列出的不是單一模型，而是包含推論設定與執行工具的代理配置。同一模型採用不同工具或設定執行，分數也可能不同。

方法論文件說明了 v2.1；截至 14 日，公開排名表已標示 v2.1 及三項評測配置。

本刊先前曾報導指數改版納入將鑽獎勵機制漏洞的嘗試判為 0 分的評測標準。在當時介紹的 v1.4 改版之後，這次 v2.1 調整了程式碼修改任務，以及命令列作業的評分驗證器。