Robbyant公開機器人AI模型LingBot-Touch,能以共同格式處理磁性、壓阻式與視觸覺感測器的訊號。預訓練使用4,983小時觸覺紀錄,約13億個影格。
相關論文於10日凌晨3時12分(韓國時間)提交至arXiv。目前公開可查的是arXiv預印本,尚未確認是否經學術期刊審查或刊登。
觸覺感測器依接觸偵測原理不同,會產生不同訊號,因此某一種感測器取得的資料不容易直接套用到另一種感測器。
Robbyant在技術說明中表示,各感測器的輸入模組「Tokenizer」會先處理各自訊號,再透過共同幾何介面傳送至共享模型Haptic Transformer。這套架構將不同感測器的接觸資訊整合為共同表徵。
模型採用JEPA式潛在空間預測進行訓練,不直接重建訊號值,而是根據時空脈絡預測觸覺情境表徵。這些表徵可與擴散策略或視覺、語言、動作(VLA)模型結合。
預訓練資料包含464,431個互動回合。各感測器的紀錄時數分別為壓阻式2,197小時、視觸覺1,650小時、磁性1,136小時。
訓練資料同時包含從觸覺手套與機器人手收集的紀錄,總計約13億個影格。
實體機器人評測使用Sharpa Wave手部執行20項作業,並使用XHand手部執行6項。開發團隊表示,每項作業都測試了20次。
比較對象包括基礎模型、輸入原始觸覺訊號的模型,以及只在後訓練階段加入LingBot-Touch固定表徵的策略。團隊藉此比較不同觸覺資訊使用條件下的作業成功率。
測試作業包括精密操作、處理可變形物體與雙手協作。開發團隊公開了三種條件下的成功率比較圖表。
這些性能結果來自開發團隊自行評估;目前公開資料中尚未看到外部研究團隊獨立重現的結果。
最小型的HaT-Tiny編碼器有546萬個參數,模型也設計了較小版本供推論使用。
官方GitHub儲存庫提供推論程式碼、感測器轉接器與範例資料。Tiny與Small模型權重及設定檔另行登錄於Hugging Face和ModelScope;權重頁面標示Apache-2.0授權。
模型檔案與程式碼儲存庫分開託管。下載時,使用者需要有權存取相應模型儲存庫的帳號。
公開資料包含推論工具與部分範例,但未提供完整訓練資料和訓練程式碼。連接新的感測器配置時,仍須調整並校準感測器座標、測量範圍與偵測點順序等設定。
韓國也曾有觸覺機器手部相關開發計畫。TokenPost先前報導過一項遠端機器人手套開發計畫,目標是將觸覺與溫度資訊傳遞給使用者。
Comment 0