新聞 
幣種資訊 
關於我們 
AI代理人執行物理工程任務的評測中，最高組合的成果平均得分為50.6%。這是各項任務產出評分的平均值，並非任務完成率。
Google Cloud AI Research研究團隊本月公布論文《PLE：Physical-Engineering’s Last Exam》，評估14個AI模型與7種代理人執行架構。其中，Anthropic的Claude Opus 5.5搭配Claude Code得分最高。
該組合對85項任務各執行三次。每項任務平均使用量為2,700萬個token，執行時間為63分鐘。
PLE不是選擇正確答案的考試，而是評量代理人閱讀專案資料後，能否依物理定律與設計規範完成成果。
任務涵蓋結構、土木、電機與機械領域，提交內容包括計算書、圖面及設計審查結果。
每個任務環境平均包含61個檔案。評測也涵蓋代理人整合散落在不同資料中的條件，並整理成成果的能力。
研究團隊透過自動檢查與專家評分標準為成果打分，分數介於0至1，再換算為百分比。
最高組合的各項任務得分中位數為43.5%。85項任務中有48項得分低於50%，但這不代表這些任務都完全失敗。
各領域得分有所差異：土木工程為69.9%、結構工程為46.6%、機械工程為40.5%。評測將符合單一條件，與同時滿足多項限制並考量成本，視為不同類型的問題。
論文統計了29項公開開發任務與56項非公開測試任務，共85項。比較整體任務得分與非公開測試分數時，應留意兩者的評測範圍不同。
PLE官方網站列出的Claude Opus 5.5與Claude Code組合得分為48.3%。這項分數只涵蓋56項非公開測試任務，因此評測範圍與論文的整體任務分數不同。
比較AI代理人分數時，也需一併檢視模型、執行架構、任務組成與評分方式。相同模型的結果可能因執行環境與測試範圍不同，而有不同解讀。
本次評測僅限物理工程任務，沒有依據可據此推論代理人在加密貨幣分析或智慧合約開發上的表現。
本報先前曾報導AI代理人競爭焦點正從模型效能轉向企業系統。這項研究比較模型與執行架構的組合，評測對象是工程成果，並非企業整體工作。
留言 0