輝達(NVIDIA,NVDA)介紹 SOMA Retargeter 的操作流程,可將人體動作轉換為5款人形機器人的關節軌跡。轉換結果可作為機器人訓練或控制用的參考動作,但本身不代表動作能在實體機器人上安全執行。
輝達於13日在技術部落格說明,人與機器人的四肢長度、關節配置和活動範圍不同,因此難以直接套用人體關節數值。這項工具會將人體動作轉成通用骨架格式,再依目標機器人的體型和關節調整。
輸入檔是以 SOMA 骨架表示的 BVH 動作檔。工具會依機器人身形縮放動作,並套用反向運動學(IK),逐影格計算關節姿勢;接著再依關節活動範圍和雙腳接觸地面的區段修正動作。
人體動作可來自動作捕捉、從影片還原的動作,或生成模型的輸出。不過,轉換前必須先整理成 SOMA 骨架格式,因此不能直接輸入原始影片或格式不同的 BVH 檔。
輸出的 CSV 包含機器人每一影格的位置、朝向和關節數值。轉換多種動作後,可建立供不同機器人訓練使用的參考動作集。將人體動作轉換為機器人動作並建立訓練資料的流程,也與先前介紹的機器人訓練資料研究相關。
範例涵蓋宇樹科技(Unitree)G1、H2,Booster T1,以及 AgiBot X2 Ultra、A3T3,共5款機器人。範例動作由 Bones 的 BONES-SEED 資料集提供。機器人設定工具會將人體骨架各部位對應至機器人關節。
反向運動學權重用於設定優先調整哪些身體部位,以處理機器人難以同時符合所有動作目標的情況。接觸偵測、腳部固定修正和權重最佳化則列為實驗性功能。
在揮手範例中,同一段人體動作會因機器人的基準姿勢不同而產生不同結果。調整 Booster T1 的基準姿勢前,機器人雙臂向外張開;調整後,則是一隻手在頭部旁揮動,另一隻手臂放在身側。輝達建議先以代表性動作調整設定,再將相同設定套用到多種動作。
儲存庫變更紀錄顯示,v0.2.0於9月15日發布;修正關節限制值編輯錯誤的v0.2.1則於10月1日記錄。13日的技術部落格並非宣布新版本,而是說明既有功能的操作流程與應用方式。
ROBOTIS在自家文件中指出,將 SOMA Retargeter 用於 AI Sapiens 時,應使用自家維護的分支版本。該分支包含適用於 AI Sapiens 的轉換目標和 CSV 輸出格式,因此配置與輝達官方儲存庫中的5款範例不同。
轉換結果屬於運動學動作資料。輝達也介紹一項案例:將人體動作轉換為 MicroDuck 可使用的動作,並在物理模擬中針對不同動作訓練控制器。官方儲存庫提醒,套用到實體機器人前,應先在模擬環境確認安全性、執行可行性和控制器相容性。
Comment 0