OpenAI 的 GPT-6.2 Astra 在 Arena.ai 的 Agent Arena Index 獲得 1291 分,排名第 6,較前一代 GPT-6 Astra 高 9 分。
Arena 於18日公布新指數。官方排行榜顯示,Claude Fable 5.2 排名第 1,Claude Opus 5.5 排名第 2;Google DeepMind 的 Gemini 4 Neon 與 Gemini 4 Carbon 分別排名第 3、第 4。
GPT-6.2 Astra 的模型頁面列出 1291 分,分數範圍為 ±35 分,排名分布介於第 2 至第 11 名。
Arena 的指數介紹指出,評估納入超過 290 萬筆實際使用者工作階段,排行榜共收錄 68 個模型。
指數綜合四項訊號:任務完成度、使用者好評與負評、對修正指示的回應,以及 Bash(命令列 Shell)工作穩定性。評估會觀察使用者交辦任務後,代理人是否完成工作,以及使用者的反應。
任務完成度衡量模型是否完成使用者交辦的工作;使用者反應則比較對模型的正面與負面評價。
對修正指示的回應,評估使用者改變方向後模型能否配合;Bash 穩定性則衡量模型在命令列執行指令的成功率。
Arena 會先將四項訊號標準化,再提高近期工作階段的權重,計算加權平均分數。因此,總分增加 9 分,不代表模型在所有類型的任務上都同步進步。
Arena 表示,推出新指數時雖調整了分數計算尺度,但與舊方法相比,各模型的排名不會改變。原有的「已確認成功」訊號改名為「任務完成度」,工具幻覺訊號則從指標中移除。
分領域排名與綜合結果不同。GPT-6.2 Astra 在程式設計指數排名第 3,在對話指數排名第 11;前一代 GPT-6 Astra 在這兩項指數都排名第 8。
18日公布的分項指數納入 103萬1799 筆程式設計工作階段,以及 99萬3807 筆對話工作階段。各指數只比較模型在對應任務領域的表現。
OpenAI 在模型發布資訊中,將 Astra 定位為處理複雜專業與科學工作的模型,並將 GPT-6.2 Sol 定位為日常工作模型。公司表示,Astra 在自家評測「Agents’ Last Exam」與「Terminal-Bench-Science 0.1」都創下新高分。
API 輸入與輸出 Token 價格較前一代低 20%,快取輸入則享有 60% 折扣。快取輸入是指重新使用先前已處理的指令等內容。
這次結果是綜合不同領域任務表現與使用者反應的指數。TokenPost先前報導 Astra 在 3D 場景製作評測中以 1318 Elo 排名第 1;該評測比較的是 3D 成品,採用不同評估方式。
TokenPost先前也報導過 OpenAI 模型在同一 Arena.ai 對齊指數上的排名。對齊指數評估未經授權的行為、錯誤標示來源與欺騙性完成等情況;Agent Arena Index 則衡量任務完成度及使用者反應,兩者採用不同標準。
Comment 0