OpenAI的GPT-6.2 Astra在實體機器人操作評測Ember-0中取得41.2%成功率,超過前代GPT-6 Astra的19.6%,達到兩倍以上。
XDOF於20日公布Ember-0評測結果,列出GPT-6.2 Astra與前代模型的比較數據。Ember-0是XDOF營運的實體機器人基準測試,讓雙機械臂執行攤開T恤、打結、尋找被遮蔽物體等16項任務,再將各任務成功率等權平均,以比較模型的操作能力。
模型先把自然語言指令轉成行動規劃,再依序執行兩支機械臂的動作。每次嘗試都涉及抓取、搬運物體或使用工具等實際操作。
此次結果的重點之一,是GPT-6.2 Astra在T恤、繩索等可變形物體任務中取得成功。磚塊或杯子移動後仍大致維持原形,但布料與繩索會因拉力方向和接觸位置改變整體形狀,機器人必須重新理解場景並調整動作。
平均預測延遲由GPT-6 Astra的15.0秒降至GPT-6.2 Astra的10.1秒。模型決定下一步的間隔雖然縮短,但10.1秒對要求即時反應的控制而言仍偏長。
GPT-6.2 Astra先前在另一項實體機械臂控制評估AA-Robotics v0.1中平均得分79分,完成8項任務中的6項,機械臂指令共668次。AA-Robotics v0.1同時呈現機械臂指令次數與任務完成狀況;Ember-0則計算包含可變形物體和雙臂協作的16項任務平均成功率。由於任務和統計方式不同,兩項分數不能直接相加或比較排名。
Ember-0的41.2%不代表16項任務都各自成功一次,而是將各任務成功率以相同權重計算。XDOF以每項任務重複30次為基本設定,並同步提供95%信賴區間;必須一併查看重複次數與區間,才能判斷成績是否受單次表現影響,或在多次嘗試中大致穩定。
這項基準測試不只評估計畫制定和視覺判斷,也測量接觸精度、工具操作、雙臂協作及應對可變形物體的能力,檢視語言模型如何把指令轉成實際動作。
XDOF表示,初期評測顯示語言模型能將指令轉為計畫,但在精準接觸與可變形物體操作上仍遇到困難。此次結果中的成功案例,正出現在初期評測所指出的弱項。
Ember-0結果表除成功率外,還列出執行時間、成本和預測延遲。這類標準化評測可在大型語言模型用於機器人控制的過程中,將模型宣稱與實際行動數據相互對照。
OpenAI的GPT-6.x系列也被納入確認語言與影像模型能否把指令轉成實體動作的機器人控制實驗。Ember-0與AA-Robotics v0.1等標準化任務,讓研究人員能在模型版本更新時,以相同框架比較效能差異。
GPT-6.2 Astra此次在成功率與延遲方面均優於前代,並在可變形物體任務中取得成功。41.2%平均成功率與10.1秒延遲,仍須連同執行時間和成本一併檢視,才能評估其在機器人應用上的實用性。
Comment 0