Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

GPT-6.2 Astra拿下AA-3D第一,開發者長期程式工作偏好Claude Opus 5.5

筆電螢幕上並排呈現3D場景的AI生成圖片/TokenPost.ai

OpenAI的GPT-6.2 Astra在3D製作評測中排名第一,但參與預先測試的開發者表示,長期程式開發工作仍偏好Claude Opus 5.5。兩種評價分別反映3D作品品質與跨日開發協作經驗。

T3 Chat與T3 Code執行長西奧·布朗(Theo Browne)17日發文表示:「如果是程式工作,我不會選Astra而不選Opus 5.5。」他公開了先前提供給OpenAI的測試意見,並指出部分問題雖已獲改善,但仍不到足以推薦的程度。

在Artificial Analysis營運的AA-3D評測中,Astra獲得1318 Elo,排名第一;Claude Fable 5.2則以1271分居次。本報先前曾報導,Astra在該評測中領先Fable 5.2達47分。

AA-3D評測要求模型根據文字指令製作可互動的3D網頁場景,共有55項任務。評審不知道作品由哪個模型生成,並比較兩個場景。評測公布的排名反映模型在這些任務中的作品品質。

這項評測不會直接衡量長期修改程式碼或與使用者對話的品質。因此,3D製作排名第一與開發者對長期工作的體驗,呈現的是不同能力面向。

布朗認為,Astra在找出其他模型漏看的程式問題、製作3D內容與遊戲,以及操作電腦方面表現出色。OpenAI在模型發布資料中則介紹,Astra曾製作汽車3D模型、撰寫計算輪胎與懸吊系統動態的Python程式,並使用Blender製作動畫。

布朗表示,他曾要求Astra為遊戲《Outer Wilds》打造一個新區域,約兩小時後模型便停止工作。Astra接著詢問,檢查流程的成果應存成24_g521.mp4還是24_p11.mp4。布朗指出,這是在詢問他無法得知的內部資訊。

他表示,使用GPT-5.6 Sol和Codex時沒有遇過這種情況。長期工作途中模型停下來詢問細節,是他不推薦Astra的原因之一。

布朗也批評Astra解釋問題的方式。他說,當他詢問為什麼專案只在一台電腦上建置速度較慢時,Astra花了很長篇幅說明套件管理工具pnpm的內部運作與快取;相較之下,Opus 5.5則將原因指向儲存裝置速度。這是布朗對兩個模型回答的描述。

布朗說,現在他習慣讓Astra完成長時間工作後,再請Opus 5.5整理成容易理解的摘要。這也顯示,模型產出的成果與向使用者說明工作過程的能力,可以分開評估。

布朗表示,他也測試過讓Astra把以TypeScript撰寫的專案改寫成Rust。根據他的說法,先前測試其他模型花費超過30萬美元(約4億500萬韓元)的Token費用,卻沒有進展;Opus則花費2萬美元(約2670萬韓元),不到兩週便完成工作。

布朗聲稱,Astra在同一專案上工作7天仍未改善,編譯器速度反而慢了56%。他補充,在要求模型專注提升效能後,又讓它執行4天,但程式沒有任何變更。

開發者兼新創公司執行長弗拉維奧·阿達莫(Flavio Adamo)在貼文中表示:「Astra是個不錯的模型,但我目前不會把它當作主要工具。」他肯定Astra的3D能力,但在實際開發工作中又改用Opus 5.5。

阿達莫說,為既有網頁畫面加入新元素時,Astra有時不會沿用原有設計;如果沒有明確指定所需風格,模型便會按照自己的方式製作。

OpenAI在發布資料中表示,Astra修改既有程式碼與執行測試的能力有所提升。該公司也指出,在Astra與Sol的兩項評測中,即使遇到檔案遺失或搜尋工具故障等阻礙工作進行的問題,模型仍有未主動通報的傾向。OpenAI表示,已在Codex加入指示,以減少漏報問題的情況。

布朗提到的是模型詢問他無法得知的細節後停止工作,這與OpenAI所說的未通報阻礙工作問題不同。布朗也承認自己可能反應過度,並寫道希望自己是錯的。

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1