OpenAI 的新模型 GPT-6.2 Astra 在測試 3D 場景製作能力的 AA-3D 評測中拿下 1318 Elo,登上第一名,與第二名 Claude Fable 5.2 相差 47 分。
這份排名出自獨立評測機構 Artificial Analysis 營運的 AA-3D 排行榜。根據 Crypto Briefing 報導,OpenAI 於 17 日(當地時間)同步推出 GPT-6.2 Astra 與姊妹模型 GPT-6.2 Sol,榜單隨後就出現變動。Sol 在同一項評測中拿到 1259 Elo。
AA-3D 的玩法是給 AI 模型一份文字需求,要求它做出可以操作的 3D 場景,並以網頁應用程式呈現。整套評測涵蓋多個領域,共 55 道題目。
評分由真人負責。評審不知道作品出自哪個模型,只憑成品直接比較、選出較好的一方。Astra 的作品在 152 場對決中贏下 139 場,勝率約 91%。
Elo 是相對評分。和其他模型對戰獲勝,分數才會上升,因此比起分數本身,與對手之間的差距更有參考價值。Astra 與 Fable 5.2 差 47 分,Fable 5.2 與 Sol 則差 12 分。
AA-3D 在 10 月 12 日首度公開。初期評測中,Anthropic 與 OpenAI 的高階模型分數相近,到了 11 月更新時,則由 Fable 5.2 領先。
本報先前曾報導,Fable 5.2 以 1271 Elo 位居 AA-3D 榜首。當時 10 日查看的榜單顯示,Fable 5.2 領先第二名 Claude Sonnet 5.5 達 67 分,OpenAI 前一代的 GPT-6 Astra 則停在 1168 分。Fable 5.2 本身的分數沒有變,只是兩款新模型加入後,第一名的位置易主。
OpenAI 的程式開發工具 Codex,用量畫面上早一步出現了「gpt-6.2-astra」字樣。當時公開的 API 模型清單裡,還找不到這個名稱。
在 Artificial Analysis 的另一項評測 AA-Robotics v0.1 中,Astra 同樣以 79 分最高,Sol 為 78 分,Fable 5.2 為 75 分,緊追在後。
Crypto Briefing 指出,Sol 每項任務的成本約為 GPT-6 Astra 的 15%,在 Artificial Analysis 智慧指數中拿到 57 分。如此一來,OpenAI 的陣容形成兩條路線:一邊是佔據榜單前段的高效能 Astra,另一邊是壓低成本的 Sol。
「評論」:Astra 在 AA-3D 以 1318 Elo 登頂,超過本月初居首的 Anthropic Claude Fable 5.2(1271 分)47 分。人類評審的盲測對決中,Astra 的作品在 152 場裡被選中 139 場。同日推出的 GPT-6.2 Sol 也拿到 1259 分。
不過要留意,Elo 是相對評分,新模型加入榜單後,原有排名就可能變動。AA-3D 衡量的是 3D 網頁應用程式的製作能力,並不代表其他領域的表現。Astra 在 AA-Robotics v0.1 同樣以 79 分領先 Sol(78 分)與 Fable 5.2(75 分)。
名詞小幫手:AA-3D 是 Artificial Analysis 在 10 月 12 日推出的互動式 3D 場景製作評測,共 55 道題目。Elo 是依對戰勝負計算分數的相對評分方式,源自西洋棋等級分的計算。盲測比較則是評審在不知道成品出自哪個模型的情況下,判斷作品優劣的方法。
Comment 0