GPT-6 Astra 在使用實際機器人手臂完成的 8 項任務評測中,平均獲得 69.4 分,在 5 款語言模型中排名第一。多數模型每項任務約耗時 30 分鐘;人類完成相同任務平均只需 20 秒,模型速度約慢 100 倍。
Artificial Analysis 於 10 月 14 日發布研究預覽版「AA-Robotics v0.1」。這項評測讓語言模型在程式碼代理環境中控制機器人手臂,測試它們理解、規劃並在實體環境中採取行動的能力。
模型先在程式碼代理中撰寫程式,再透過 HTTP API 向機器人手臂傳送動作指令。桌面周圍的 3 台攝影機,以及手臂腕部的 1 台攝影機,提供周遭畫面。模型沒有針對個別任務接受事先訓練。
評測共包含 8 項桌面任務,包括按按鈕、移動玩具、倒水、整理積木、寫字及測量盒子等。模型透過攝影機確認物體位置與周遭環境,再決定如何移動。所有任務都使用同一支機器人手臂完成。
分數並不代表任務成功率。完成任務可得 100 分,部分完成則依進度給予部分分數,最後計算 8 項任務的平均分。因此,GPT-6 Astra 得到 69.4 分,不代表它成功完成了 69.4% 的任務。
平均分數方面,GPT-6 Astra 以 69.4 分排名第一,GPT-6.1 Sol 為 64.6 分,Gemini 4 Argon 為 55.3 分,Claude Opus 5.5 為 48.8 分,Claude Fable 5.1 則為 46.3 分。
各項任務的結果並不相同。5 款模型在按按鈕與擺放玩具任務中都拿下滿分,但沒有任何模型在測量盒子的任務中取得滿分。這顯示單看總分,難以完整反映模型在不同類型任務上的表現。
模型分數與執行速度是不同指標。5 款模型中有 4 款完成單項任務約需 30 分鐘,評測結果呈現出速度與分數各自不同的差異。
Gemini 4 Argon 平均每項任務花費 52 分鐘。評測資料列出,人類完成相同任務平均需 20 秒;評測機構指出,模型與人類的速度差距約為 100 倍。
執行紀錄顯示,模型一開始會花時間辨識機器人手臂與周遭畫面,並在每個動作之間規劃下一步。整體執行時間除了機器人手臂實際移動,也包括解讀環境和決定行動的過程。
物體抓取結果另行統計。在 6 項物體抓取任務中,GPT-6 Astra 每次嘗試的成功率為 45%,GPT-6.1 Sol 為 28%。這些數字只反映物體抓取嘗試,與 8 項任務的平均分數或整體任務成功率不同。
各模型使用的程式工具也不一樣。GPT 系列使用 Codex,Claude 系列使用 Claude Code,Gemini 4 Argon 則使用 Antigravity。因此,分數差異難以完全歸因於語言模型本身的能力。
Reddit 的 r/singularity 公開討論中,有人肯定模型已能實際完成簡單的物理任務,也有人指出模型速度仍慢、評測仍處研究階段,現在稱為「具身 AI 時代」還言之過早。另有意見認為,還需要在更複雜的真實環境中進行評測。這些只是公開社群中的部分看法,並不代表整個產業的觀點。
這項評測顯示,語言模型能透過攝影機觀察實體環境,再以程式控制機器人手臂完成有限的桌面任務。不過,測試範圍僅涵蓋一種機器人手臂與 8 項任務,不能單憑這些分數判斷其在生產現場的表現。
留言 0