GPT-6.2 Astra發布後,被指在長時間程式設計與創意工作中的一致性不足;但在3D場景製作評測中以1318 Elo排名第一,顯示評測結果會因工作類型而異。
西奧·布朗(Theo Browne)T3 Code創辦人在17日於X公開的預先測試信中表示:「如果是程式設計工作,我不會選擇Astra,而會選Claude Opus 5.5。」布朗將Astra評為OpenAI推出模型中最差的模型之一。
布朗指出,Astra在長時間工作中會停止進度或重複相同步驟。他說,當他要求Astra為遊戲《Outer Wilds》設計新區域時,約兩小時後,模型反而詢問內部檔案與影片輸出路徑應設在哪裡。
在程式碼重構方面,他在把TypeScript轉換為Rust的專案上投入7天,卻未能交付改善結果,編譯器速度反而慢了56%。他補充,在再次要求模型專注提升速度後,接下來4天仍沒有變化。
創意表現也受到質疑。布朗與另一名測試者分別要求不同遊戲的新區域,兩個結果都以水和鐘聲為共同素材,連名稱也同樣是「Bellwether」,布朗對此提出質疑。
馬特·舒默(Matt Shumer)這名AI投資人及前HyperWrite執行長也在17日測試GPT-6.2 Astra與GPT-6.2 Sol後表示:「兩個模型幾乎都無法使用,我不建議使用它們。」他評估Astra在多項核心評測中落後Anthropic的Claude Opus 5.5,即使與Claude Fable 5.2相比也存在差距。
舒默表示,他曾把Astra作為子代理投入工作,但負責監督的Claude Opus 5.5與Claude Fable 5.2最後都必須重寫輸出結果。子代理(sub-agent)是由承擔大型工作的模型分擔部分任務的輔助模型;若需要重做,整體工作時間可能延長。
OpenAI於17日公布Astra,將其定位為用於複雜專業工作、推理與程式設計的模型,Sol則面向日常工作與多步驟任務。兩者同屬GPT-6.2系列,但使用者對長時間工作與代理運作的評價出現分歧。
OpenAI自有評測顯示,Astra得分高於上一代GPT-6 Astra,每項任務成本也較低。這次案例顯示,自有評測分數與實際長期工作經驗可能出現差異。
Astra在Artificial Analysis營運的AA-3D評測中以1318 Elo排名第一,領先第二名Claude Fable 5.2達47分。部分測試者也肯定Astra在Three.js、Blender與3D視覺化工作上的優勢。
AA-3D要求模型根據文字需求,以網頁應用程式製作可操作的3D場景,再由人員比較成果。評測者不知道場景由哪個模型製作,因此測量的是不同於長時間程式設計的能力。
布朗的案例顯示,模型生成答案的能力,與連續多日把工作管理到完成的能力可能不同。這次批評也凸顯,讓使用者理解工作進度與中斷原因同樣重要。
本報先前報導,Astra在3D評測拿下第一,但長期程式設計工作中則偏好Claude Opus 5.5。這次公開的舒默與布朗案例,進一步以持續7天的重構工作與子代理重做問題,具體呈現同一落差。
對導入模型的開發者與企業而言,除了單一基準測試分數,也有必要確認工作持續性、結果說明能力,以及是否需要重做。Astra的初步評價呈現特定領域優勢與長期工作不穩定並存的情況。
Comment 0