Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

4,983小時觸覺資料訓練機器人AI,評測涵蓋26項實體作業

配備觸覺感測器的機器手操作物體畫面/TokenPost.ai

Robbyant公開機器人AI模型LingBot-Touch,能以共同格式處理磁性、壓阻式與視觸覺感測器的訊號。預訓練使用4,983小時觸覺紀錄,約13億個影格。

相關論文於10日凌晨3時12分(韓國時間)提交至arXiv。目前公開可查的是arXiv預印本,尚未確認是否經學術期刊審查或刊登。

觸覺感測器依接觸偵測原理不同,會產生不同訊號,因此某一種感測器取得的資料不容易直接套用到另一種感測器。

Robbyant在技術說明中表示,各感測器的輸入模組「Tokenizer」會先處理各自訊號,再透過共同幾何介面傳送至共享模型Haptic Transformer。這套架構將不同感測器的接觸資訊整合為共同表徵。

模型採用JEPA式潛在空間預測進行訓練,不直接重建訊號值,而是根據時空脈絡預測觸覺情境表徵。這些表徵可與擴散策略或視覺、語言、動作(VLA)模型結合。

預訓練資料包含464,431個互動回合。各感測器的紀錄時數分別為壓阻式2,197小時、視觸覺1,650小時、磁性1,136小時。

訓練資料同時包含從觸覺手套與機器人手收集的紀錄,總計約13億個影格。

實體機器人評測使用Sharpa Wave手部執行20項作業,並使用XHand手部執行6項。開發團隊表示,每項作業都測試了20次。

比較對象包括基礎模型、輸入原始觸覺訊號的模型,以及只在後訓練階段加入LingBot-Touch固定表徵的策略。團隊藉此比較不同觸覺資訊使用條件下的作業成功率。

測試作業包括精密操作、處理可變形物體與雙手協作。開發團隊公開了三種條件下的成功率比較圖表。

這些性能結果來自開發團隊自行評估;目前公開資料中尚未看到外部研究團隊獨立重現的結果。

最小型的HaT-Tiny編碼器有546萬個參數,模型也設計了較小版本供推論使用。

官方GitHub儲存庫提供推論程式碼、感測器轉接器與範例資料。Tiny與Small模型權重及設定檔另行登錄於Hugging Face和ModelScope;權重頁面標示Apache-2.0授權。

模型檔案與程式碼儲存庫分開託管。下載時,使用者需要有權存取相應模型儲存庫的帳號。

公開資料包含推論工具與部分範例,但未提供完整訓練資料和訓練程式碼。連接新的感測器配置時,仍須調整並校準感測器座標、測量範圍與偵測點順序等設定。

韓國也曾有觸覺機器手部相關開發計畫。TokenPost先前報導過一項遠端機器人手套開發計畫,目標是將觸覺與溫度資訊傳遞給使用者。

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1