Manus數據手套：從人類手部運動到機器人靈巧手實時映射

機器人靈巧手正在成為具體化人工智能的基石。運動捕捉、模擬、強化學習和自我監督基礎模型的最新進展使機器人能夠執行越來越像人類的操縱技能。

人手由27塊骨頭、幾十塊肌肉和肌腱以及近30個自由度組成。復制人手的精確性、適應性和觸覺控制仍然是機器人領域最大的挑戰之一。

建造一只與人手靈活性、靈敏性和協調性相匹配的機器人手不僅需要機械設計，還需要能夠將人類運動轉化為智能控制的先進訓練管道。

本文比較了兩個領先的培訓策略，RialTo和V-JEPA 2，并概述了MANUS手套如何支持這兩種方法實現遙操作機器人靈巧手。

通過模擬協調現實：一種用于遙操作的真實對比模擬仿真的方法(麻省理工學院計算機科學與人工智能實驗室)

V-JEPA 2：自我監督視頻模型實現理解、預測和規劃(Meta AI)

兩種培訓策略：RialTo vs. V-JEPA 2

RialTo：從真實-模擬-真實的培訓方案

RialTo將模仿學習(IL)和強化學習(RL)結合起來，為特定的操縱任務訓練提供數據高效的控制策略。

該過程從真實世界的演示開始，在模擬中擴展學習，并將改進的策略用于物理部署。

它是如何工作的

捕捉專家演示：演示可以通過人類操作員通過遠程操作或運動捕捉執行任務來獲得，這為初始學習提供了高質量的演示數據。

建立一個數字孿生：具有精確三維物理和視覺感官真實的環境數字孿生，以創造一個適用于模擬的訓練空間。

模擬訓練：機器人執行強化學習試驗，對物體位置、照明和物理干擾進行領域隨機化，以建立穩定性。

虛擬現實部署：優化的基于視覺的策略部署在機器人上，在現實條件下保持穩定性和精確性。

這種真實到模擬到真實的循環允許機器人大規模安全訓練，彌合模擬與現實之間的差距，并在動態環境中實現可靠的表現。

虛擬JEPA新策略——自我監督的世界模型

V-JEPA 2使用自我監督學習(SSL)來建立一個連接感知和物理行為的通用世界模型。

它不是掌握一項任務，而是學習運動和因果關系的廣泛表示，從而能夠在不熟悉的環境中進行零樣本學習。

它是如何工作的

無動作預訓練(V-JEPA 2)：大型視覺轉換器(ViT)通過預測不同在線視頻中的掩蔽區域來學習對運動、外觀和物理動態的總體理解。

動作條件后訓練(V-JEPA-AC)：一個較小的改變在來自大型機器人操作數據集中未標記機器人視頻微調，以促使其能夠學習已執行動作和環境變化之間的核心關系。

規劃和控制：該系統使用模型預測控制(MPC)來預測未來狀態，并選擇使其最接近目標的行動，不需要特定任務的獎勵或再培訓。

這種自我監督的過程使機器人能夠跨任務進行歸納，適應新環境，并在沒有特定任務經驗的情況下智能地行動。

通過MANUS手套捕捉人體運動

RialTo和V-JEPA 2都依靠高保真的人類和機器人運動數據來連接感知和行動。

這些數據通常通過使用高級手部跟蹤解決方案的遙控操作來收集，MANUS手套可以高精度、低延遲地捕捉手指的細微動作。

通過實時記錄自然的手部運動，MANUS為創建靈巧手遙操作和訓練的數據集提供了基礎，從而推動了應用化人工智能研究。

運動數據表示

關節角度數據

最常見的格式是將人類手指關節旋轉直接映射到機器人手關節。這種方法快速簡單，但是當人和機器人的運動學不同步時將會失去準確性。

指尖軌跡映射

一種新興的方法將關注指尖位置和方向，而非關節旋轉。這減少了運動不匹配，并提高了精細任務的精度，如手動操作和工具使用。

模擬策略培訓

在RialTo風格的管道中，遠程操作的運動數據可以傳輸到模擬訓練中，在模擬中，強化學習和域隨機化可以幫助機器人適應照明、紋理和物理動態的變化。

NVIDIA Isaac Sim等模擬平臺可為機器人訓練提供了安全、可擴展的環境。

有了機器人訓練框架，Isaac實驗室2.3，研究人員可以加速全身控制，集成多個遙操作接口(包括MANUS手套、Apple Vision Pro和Vive手部跟蹤)，更高效地評估策略性能。

結論

RialTo和V-JEPA 2的核心是通過捕捉到的高保真人體運動數據來訓練機器人。

在RialTo中，這些數據為數字孿生模擬中的模仿學習提供了基礎事實。

在V-JEPA 2中，其提供了因果基礎，幫助AI理解人類運動如何影響現實世界的結果。

憑借毫米級的精確度和真實程度，MANUS手套證明了精確的動作捕捉將有巨大的潛力把人類的靈活性和機器的智能連接在一起。

隨著人工智能的不斷發展，人類運動和機器人學習之間的協同作用將塑造下一代更靈巧、適應性更強的機器人，實現與世界自然互動。