Anthropic的Claude Fable 5.2在Code Arena的WebDev整體排行榜中以1824分排名第一,領先第二名Claude Opus 5.5 6分。
Code Arena於18日公布的排行榜列出162款模型與1,027,059筆評測投票。這項排名評估模型製作網頁應用程式的「WebDev」項目。
GPT-6.2 Astra以1797分排名第三。評測Claude Fable 5.2時採用xHigh設定,Claude Opus 5.5則採用Max設定。
模型詳情頁顯示,Claude Fable 5.2為1824±17分,Claude Opus 5.5為1818±11分。兩款模型的估算排名範圍都在第1至第3名,彼此重疊。
Code Arena的評測方式是讓評審比較兩款模型製作的網頁應用程式,並投票選出較佳成果。評估面向包括功能是否正常、使用便利性、對需求的符合程度與設計等。
評測方式說明指出,模型會在受控環境中建立並修改檔案,完成應用程式;經過多輪操作與修改後的成果也會納入評估。
這種方式與著重檢查模型能否通過指定測試案例的傳統程式碼評測,衡量重點有所不同。Code Arena表示,評估除了應用程式功能,也會考量使用體驗,以及成果是否符合指定設計。
各項任務的排名有所不同。Claude Fable 5.2在React任務中以1887分排名第一,在HTML任務中以1779分排名第四,在依參考設計製作的任務中則以1844分排名第二。
本報先前曾報導Claude Fable 5.2在互動式3D評測AA-3D中以1271 Elo排名第一。AA-3D與WebDev的評測任務和計分方式不同,兩項分數無法直接比較。
Anthropic於9日發布官方公告,推出Claude Fable 5.2,並介紹這款模型是為複雜且耗時較長的技術工作打造。公司表示,輸出速度較前一版本最快提升30%。
Anthropic表示,該模型可透過自家平台,以及Amazon Web Services的Bedrock、Google Cloud和Microsoft Foundry使用。模型文件列出的API基本費率為每100萬個輸入token 8美元(約10,656韓元),每100萬個輸出token 40美元(約53,280韓元)。
輸入與輸出費率都比Claude Fable 5.1低20%。不過,Claude Opus 5.5的API基本費率為每100萬個輸入token 4美元、每100萬個輸出token 20美元,分別是Claude Fable 5.2的一半。
Code Arena統計的每項任務中位成本,Claude Fable 5.2為11.58美元(約15,425韓元),Claude Opus 5.5為9美元(約11,988韓元)。每項任務成本是實際評測任務所花費的金額,與每100萬個token的API基本費率採用不同計算單位。
Comment 0