公開AI模型在評估任務中的「50%時間地平線」估計每3.61個月翻倍。不過,在難以立即確認答案的判斷任務中,也有模型未達專家估計的表現水準。
AI評估非營利機構 METR 於20日發布能力評估報告,評估範圍涵蓋 Claude Opus 5.5、GPT-6 Astra 等公開模型。研究在既有任務中加入判斷、概念推理與驗證耗時較長的研究任務,以檢視模型在答案明確的工作中展現的能力,是否也能延伸至其他任務。
「50%時間地平線」不代表AI實際工作的時間,而是以人類完成特定任務所需時間作為難度基準,估算模型完成該任務的機率達50%時所對應的時間。
這批任務主要涵蓋軟體工程、機器學習與網路安全。新增的 TH2 任務分為兩類:8個較容易自動確認成敗的任務組,以及4個需要花較多時間判斷、進行概念推理與驗證的任務組。
METR將222個既有 TH1.1 任務與36個新增 TH2 任務合併,計算時間地平線的增長速度。估計翻倍週期為3.61個月,95%信賴區間為2.08至4.94個月。
這與既有 TH1.1 評估得出的105天翻倍週期相近。不過,這個週期是根據評估納入的任務組得出的趨勢,不代表AI可處理的工作時間在所有職務中都以相同速度增加。
由75個軟體重現任務組成的 MirrorCode,未納入時間地平線計算,而是作為獨立任務組評估。報告將這組任務與 TH1.1、TH2 的合併分析分開處理。
若只看 TH2 中能自動確認成敗的任務,翻倍週期縮短至1.65個月。METR指出,這項結果的數據變動幅度較大。
以其他方式綜合衡量公開模型能力的指標,並未顯示整體改善速度明顯加快。因此,難以自動驗證的任務中觀察到的較短週期,不宜直接解讀為公開模型整體加速。
判斷能力是指在結果品質難以立即確認,或選擇的影響需要一段時間才會顯現時,仍能做出良好決策的能力。評估這類任務時,答案是否容易自動評分,以及評估標準本身是否合適,同樣重要。
METR曾要求模型設計可用於研究的新評估任務,但提交的任務中,沒有一項被認為足以納入報告。模型主要提出容易自動確認成敗的最佳化問題。
在評估哲學論證批判品質的任務中,所有公開模型的評估一致度都未達到專家投入15分鐘後的估計表現。不過,部分模型的表現高於專家投入5分鐘後的估計水準。
METR說明,這不代表人類在所有判斷工作中都優於模型。部分機器學習最佳化任務中,模型表現勝過人類評估者;此外,現有判斷任務也可能尚未充分展現模型能力。
估算人類完成新增任務所需時間時,直接採用實際執行結果的比例為9%。其餘估算則參考公開紀錄、專家估計與外推等方式。
METR指出,容易自動評分的測試可能高估模型的實際能力。報告也提到,目前判斷任務數量有限,AI設計優良評估任務的能力對加速AI研究與開發究竟有多重要,仍未確定。
這次公開模型評估與 METR 於11月5日發布的 Anthropic 評估,在對象與方法上有所不同。當時的評估以 Anthropic 內部資料及研究人員訪談為基礎,提出截至2026年10月,在定義明確的任務中,模型能力改善速度可能較過去快約一倍。METR估算加速幅度為1.3至3倍,基準測試分數的成長率為1.9倍;後者的95%信賴區間為1.5至2.8倍。本刊當時曾報導,METR表示該評估的大部分關鍵依據未公開。20日發布的報告則未在公開模型整體中確認相同程度的加速。
Comment 0