非營利AI評估機構METR指出,截至2026年10月,Anthropic模型的任務能力提升速度可能約為過去的兩倍。評估對象是能以明確標準判定成功與否的任務。
METR於5日公布獨立評估報告。評估工作於8月12日開始,檢視Anthropic內部資料的部分則持續至10月29日。
比較基準從2024年3月開始,測量期間延續至2025年10月。
METR認為,實際加速幅度可能僅為過去速度的1.3倍,也可能接近3倍。至於同樣的加速幅度是否適用於成功標準不明確的廣泛任務,METR表示仍不確定。
另一項指標AECI估計,自2025年10月以來,Anthropic模型的基準測試分數成長速度約為先前的1.9倍,95%信賴區間為1.5至2.8倍。
AECI是Anthropic以Epoch Capabilities Index為基礎建立的能力指標。METR表示,約兩年的基準測試進展,相當於在一年內完成。計算也納入未公開最新模型的評估結果,但METR表示,沒有向Anthropic要求該模型的查詢權限。
約兩倍是對有限任務範圍內能力提升速度的整體判斷;1.9倍則是AECI基準測試分數的成長率。本報先前報導Anthropic公布加速標準及METR的基準測試分析時,也曾提及1.9倍數據。
METR估計,截至2026年10月的加速幅度中,過半、甚至約80%可能來自運用AI的研究與開發(R&D),但表示尚未找到足以定論的關鍵證據。
METR也承認,2025年底的加速可能有相當部分來自AI以外的因素。該機構表示,研發速度提升主要仰賴AI協助研究人員,而非由AI完全自主執行工作。
METR表示,對得出結論特別有幫助的大部分證據,因Anthropic要求保密而未納入報告。Anthropic有權要求刪除非公開資訊。
未公開的項目包括中間能力指標、演算法進展估算、研發投入資料、瓶頸分析與預測。METR表示,因此讀者難以直接檢視其判斷加速原因的依據。
Anthropic在8月風險報告中,將自動化研發相關風險評為「低」,評估基準日為7月15日。
METR認同當時災難性風險偏低的評估,但認為可能已越過「早期警示門檻」。METR與Anthropic的多數研究人員則傾向認為門檻尚未被突破。METR在另一份審查文件中討論了這項分歧。
早期警示門檻用於觀察AI研發加速的風險訊號,並不代表已判定災難性傷害發生。METR評估的是有限任務中觀察到的改善速度與加速風險,並未提出超級智慧何時到來的時間表。
Comment 0