輝達(NVIDIA,$NVDA)公開一套工作流程,透過AI代理為微型鴨機器人打造虛擬障礙賽道,並在4096個模擬環境中進一步訓練與評估步行策略。這次案例是在虛擬環境中進行訓練與評估,並非實體機器人的行走成果。
輝達於23日在技術部落格介紹,流程涵蓋工作規劃、3D資產製作、賽道組裝,以及策略訓練與評估。這套方法是在既有步行策略上,加入應對斜坡與障礙物的能力。
流程從一段指令開始,內容描述微型鴨需要通過的賽道,以及要學會的動作。運行於RTX Spark上的Hermes與NVIDIA Nemotron 3.5 Bolt會將指令拆解為逐步計畫,檢視賽道路線與障礙物尺寸,並整理資產清單。
Astra依據清單製作模擬用物件。系統先調整參考圖,再以FreeCAD建立基本形狀,接著在Blender中補上細節與材質。完成的資產會匯出為可編輯模型與USD檔案;圖像無法確認的面向或尺寸,則記錄為建模假設。
製作完成的資產會在Isaac Sim中組裝成障礙賽道。Omniverse函式庫負責畫面渲染與感測器觀測,物理引擎Newton則計算微型鴨的動作與平衡。機器人跌倒或撞上障礙物的結果,會作為調整步行策略的訓練資料。
進一步訓練在Isaac Lab中進行。策略以頭部攝影機的深度資訊與機器人狀態資訊為輸入,學習應對彎曲斜坡和不平地形。輝達表示,使用一張RTX PRO 6000 Blackwell Workstation Edition GPU,平行運行了4096個模擬環境。
訓練完成的策略會移至RTX Spark上的Isaac Sim,在虛擬環境中評估。流程檢視微型鴨能否偵測障礙物、調整動作並通過賽道,也會記錄完成賽道、跌倒、碰撞及停止前進的位置,供後續訓練使用。這些紀錄不代表實體機器人的成功率或障礙物行走表現。
微型鴨是Pollen Robotics與Hugging Face共同開發的開源雙足機器人,高25公分、重量約800公克。官方文件列出,機器人配備15具馬達、攝影機、光達及2個慣性測量單元(IMU)。其設計目標是讓透過強化學習習得的步行等動作能在實體機器人上執行。
Hugging Face於21日發布的輝達合作教學,說明如何在Isaac Lab訓練步行策略,再以ONNX格式匯出並套用至實體機器人。教學中的61個輸入值與14個關節位置輸出值是模型介面規格,並非這次障礙賽道實驗的效能數據。
輝達表示,為縮小實體機器人與模擬環境的差異,可以將摩擦、指令延遲和機械間隙等因素納入模型。這篇技術部落格介紹的範圍僅涵蓋虛擬賽道建置,以及策略訓練與評估。本報先前也曾在相關報導介紹輝達機器人模擬平台與開發工具中的Isaac平台功能。
留言 0