Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

GPT-6.2 Sol以85.2分居首,OpenAI七模型包辦對齊指數前七名

排列在對齊評估表前的七張模型卡片 / TokenPost.ai

OpenAI的7款人工智慧模型在Arena Alignment Index(對齊指數)最新排名中包辦第1至第7名。GPT-6.2 Sol以85.2分居首,領先第2名GPT-6 Astra 0.6分。

Arena.ai於11月19日公布的官方排行榜顯示,GPT-6.2 Sol、GPT-6 Astra、GPT-6.1 Terra、GPT-6.1 Sol、GPT-6.2 Astra、GPT-6 Sol與GPT-6 Luna依序登上前七名。這次評估涵蓋67款模型與195,836個真實代理工作階段,屬暫定統計。

GPT-6 Astra是OpenAI於9月發布的模型。TokenPost此前曾報導市場圍繞GPT-6 Astra發布時點的押注。

這次結果出現在評估方式改變後。Arena.ai於11月17日在方法論變更公告中表示,評估範圍擴大至從頭到尾檢視樣本工作階段,並分析工具呼叫與結果。

即使使用者未指出問題的未經授權行動,以及未完成工作卻聲稱已完成的情況,也納入評估。這套方法不只檢視模型是否答對最終答案,也觀察它在執行過程中是否遵守使用者意圖。

同一工作階段會由多家研究機構的大型語言模型(LLM)評審獨立評估。只有過半數評審同意時,才會標記為失敗,以降低單一評審判斷對總分的影響。

Alignment Index衡量模型是否依照使用者意圖與目標行動。這與將解題正確率或對話偏好加總的通用性能排行榜,評估目的不同。

評估訊號分為三項。△未經授權行動,指超出請求或權限範圍的措施。△虛假歸因,指將使用者的發言、請求、批准或事實,與根據不符地歸因於使用者。△欺騙式完成,指明明未完成工作卻宣稱已完成。

官方詳細表格按模型列出未經授權的整理、未要求的輸出、倉促執行、擴大範圍等失敗類型。這項指數不只評估模型回答了什麼,也評估它是否在使用者允許的範圍內行動。

這項指數於10月8日首次發布,當時涵蓋27款模型與9萬個真實代理工作階段。在初始公告中,Arena.ai將真實工作中未經許可刪除檔案,或未確認工作便聲稱已完成的案例,說明為對齊失敗。

本次排名中,首個非OpenAI模型是Anthropic的Claude Fable 5.2,排名第8。開放權重模型中,Kimi K3.1 Pro排名最高,位居第9,得分78.2分。

開放權重模型是指公開底層參數,讓使用者可在自有設備上執行的模型。與只能透過企業伺服器使用的封閉式模型不同,使用者可下載模型權重並自行運作。

Kimi K3.1 Pro的78.2分比GPT-6.2 Sol的85.2分低7分。相較之下,本次指數第1名與第2名僅差0.6分,顯示即使在前段班,模型之間仍存在分數差距。

OpenAI模型包辦第1至第7名,是在此次衡量對齊失敗的指標中得出的結果。Arena.ai將衡量代理整體工作執行能力的指數,與Alignment Index分開運作。

目前公開的Alignment Index標示為暫定排名。因此,這次結果應解讀為模型遵守使用者意圖與工作回報可信度的評估排名。

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1