Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

41.25%通過率居首,Fable 5.2仍有58.75%受測專案未達標

評估者比對 AI 與專家的任務成果 / TokenPost.ai (mono)

Anthropic 的 Fable 5.2 在遠端自由工作評測中以 41.25% 的通過率排名第一,但仍有 58.75% 的受測專案未達客戶驗收標準。

Scale AI 公布的遠端勞動指數(Remote Labor Index,RLI)排行榜截至 13 日顯示,Fable 5.2 通過率為 41.25%,排名第二的 Opus 5.5 為 21.25%,兩者相差 20 個百分點。

Anthropic 在 9 日發布的模型資料中,公布 Fable 5.2 的 RLI 分數為 41.3%。公司表示,這項結果是在採用「High effort」高推理努力設定與安全防護措施後得出。排行榜與公司公布的分數差異,來自小數位數的呈現方式。

RLI 評估的重點不是模型能否回答單一問題,而是能否完整完成委託專案。評分對象是提交成果的完整度,而非只看任務中的部分工作。

Scale AI 在 RLI 研究資料中表示,評測資料集包含 240 項自由工作,涵蓋 Upwork 64 個分類中的 23 個領域。

每個專案都包含委託內容、完成工作所需的輸入檔案,以及專家製作的成果。評測會將 AI 依據相同資料產出的結果,與專家成果進行比較。

評分標準是「合理的客戶是否會接受這項委託成果」。3 名受過訓練的評估者會分別判斷,再以多數決決定是否通過。

即使部分功能正常運作,或草稿具有參考價值,也不代表能通過評測。若最終成果未達標,即使完成了部分工作,也不會計入通過率。

因此,41.25% 並不代表 AI 能取代 41.25% 的自由工作職缺,而是模型在特定專案樣本中達到評分標準的比例。

RLI 從 240 個專案中選出 230 個未公開專案,納入正式量化排名評估;其餘 10 個專案則公開供質化分析。排行榜沒有列出 Fable 5.2 實際通過的專案數。

評測範圍也有侷限。樣本未納入需要直接與客戶溝通、涉及體力勞動,或必須長期觀察結果的工作。

單憑這項分數,也難以判斷實際工作所需的人力支援程度或部署成本。排名呈現的是特定條件下的成果品質,無法回答哪些領域能以多少成本交由 AI 承擔。

Hacker News 討論 Fable 5.2 發布時,出現期待與審慎看法。有使用者認為,相較於其他模型約 20% 的通過率,Fable 5.2 可能讓新的 AI 代理工作成為可能。

也有使用者指出,應一併考量日常使用時的實際表現、不同模型的比較條件與成本。這些是使用者意見,並非另一項獨立的效能驗證結果。

解讀 AI 評測分數時,仍須一併檢視任務如何設計,以及採用哪些判定標準。

公開排行榜列出各模型的通過率,但未說明 Fable 5.2 未通過專案的個別失敗原因。

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1