USC團隊發布HumDex：攻克人形機器人數據瓶頸，低成本靈巧操控

人形機器人全身靈巧操作是通向通用具身智能的核心目標之一。在這一愿景下，機器人不僅需要雙臂與高自由度多指靈巧手的精細協調，還需要與全身位姿（如行走、彎腰）進行動態配合。

盡管近年來機器人的硬件設計與控制算法取得了顯著進展，但高質量示范數據的獲取，依然是制約該領域發展的一大核心瓶頸

在傳統的人形機器人遙操作系統中，研究人員往往面臨著「便攜性與精度」的權衡困境： 基于光學動捕或外骨骼的系統雖然能提供高精度的姿態捕捉，但嚴重依賴固定的空間設施與龐大的設備，這使得數據采集被死死局限于單一的實驗室環境中； 相反，基于 VR 等設備的便攜式方案雖然打破了空間限制，但在面對遮擋嚴重的復雜操作時，追蹤精度會大幅下降，且往往無法對高自由度靈巧手提供足夠細粒度的控制。

為應對上述挑戰，來自南加州大學（USC）PSI 實驗室與 WorldEngine AI 的研究團隊提出了一套名為HumDex的全新遙操作與數據采集系統。該系統結合了高精度便攜追蹤、基于學習的手部控制算法以及人類數據預訓練機制，專為打破人形機器人高質量數據采集瓶頸、提升全尺寸操作泛化能力而設計。

• 論文標題： HumDex: Humanoid Dexterous Manipulation Made Easy
• 論文主頁：https://psi-lab.ai/humdex
• Github 鏈接： https://github.com/physical-superintelligence-lab/humdex

視頻鏈接：https://mp.weixin.qq.com/s/BmOlW8IktiNyOEwidE9Mjg

HumDex 方法介紹

HumDex 框架框架涵蓋了從高精度硬件追蹤、基于學習的靈巧手重定向，到最終跨越具身鴻溝的兩階段訓練范式。

全場景便攜追蹤方案

在實際的復雜操作任務中，由于物體和雙手的相互遮擋，基于視覺或傳統頭顯設備的追蹤方案常常會丟失目標，導致操作被迫中斷。這種視覺盲區嚴重限制了機器人能夠學習的任務范圍。

為了實現真正的全場景數據采集，HumDex 摒棄了對外部攝像頭的依賴，采用了一套完全無線的慣性動作捕捉硬件。操作者只需穿戴輕量級的身體追蹤節點以及慣性數據手套，即可在任何環境下自如地移動和操作。由于數據手套直接通過傳感器獲取物理姿態，即使在嚴重的視線遮擋下，系統依然能夠高精度地捕捉多指的精細動作與全身位姿。

更值得一提的是，為了讓高質量數據采集不再是少數頂尖實驗室的專屬，團隊還驗證了 HumDex 系統對低成本開源硬件的完美兼容。他們直接引入了基于 SlimeVR 開源生態的追蹤方案。在這套現成的開源方案中，除手套外的全身節點總成本不到 200 美元，卻能在數據采集成功率上達到與昂貴商業系統相媲美的高水準，極大地降低了人形機器人研究的硬件門檻。

基于學習的手部重定向算法

對于人形機器人而言，精準控制擁有 20 個自由度的靈巧手是遙操作過程中的另一大技術鴻溝。

傳統系統通常依賴基于優化的逆運動學解算方法。這類方法不僅計算成本高昂，且需要針對不同操作者的手部尺寸進行繁瑣的手動參數調節。更為致命的是，在處理復雜的精細動作時，傳統方法經常會出現手指異常耦合、動作僵硬不連貫，甚至無法完成精確的捏合動作，極大地影響了接觸密集型任務的成功率。

為解決這一痛點，HumDex 提出了一種基于學習的手部重定向算法。研究團隊摒棄了復雜的逐幀優化過程，轉而訓練了一個輕量級的多層感知機網絡。該網絡能夠將數據手套捕捉到的指尖三維位置坐標，直接端到端地映射為機器人靈巧手的 20 個關節角度。更為重要的是，這個網絡僅需不到 20 分鐘的成對運動數據即可完成訓練。在真實部署中，這種基于學習的重定向方法實現了恒定時間的高效推理，免去了手動調參的煩惱。

跨越具身鴻溝的兩階段訓練框架

除了用于遙操作機器人，HumDex 系統的極高靈活性還解鎖了另一種高效的數據獲取方式：直接采集人類執行任務的動作數據。人類數據的采集無需機器人參與，速度更快、規模更大。

然而，直接將人類動作映射到機器人身上往往會導致災難性的失敗。這是因為人體與機器人在動力學、關節結構和視覺視角上存在巨大的具身鴻溝。實驗表明，如果將人類數據與機器人數據簡單混合訓練，機器人的任務成功率會直接跌至接近零。

為了充分獲取人類數據中的價值，研究團隊提出了一種創新的兩階段訓練流程。首先，他們利用大規模、多樣化的人類演示數據對 ACT 策略進行預訓練，讓模型學習到通用的視覺特征和運動先驗；隨后，再使用少量的機器人遙操作數據進行微調，將這些通用先驗對齊到機器人上。

真實世界實驗評估

1. 高難度長程任務與遙操作效率

為了驗證 HumDex 的綜合性能，團隊在掃碼打包、掛衣服、開門以及抓取籃子等多個極具挑戰性的長序列任務上進行了評估。這些任務涵蓋了精細捏合、雙臂協調、柔性與鉸接物體操作以及全身移動配合。

團隊將 HumDex 與主流的基于 VR 的遙操作系統進行了對比。在整體數據采集效率上，HumDex 將數據收集時間縮短了 26%，并將遙操作成功率從 74.6% 大幅提升至 91.7%。更重要的是，使用 HumDex 采集的數據訓練出的模仿學習策略，最終自主執行成功率達到了 80%，遠超基線方案的 57.5%。

視頻鏈接：https://mp.weixin.qq.com/s/BmOlW8IktiNyOEwidE9Mjg

2. 靈巧手重定向對比

為了驗證基于學習的手部重定向算法的有效性，團隊將其與傳統的基于優化的方法進行了定性和定量對比。

在定性評估中，結果直觀地顯示，在面對如精確捏合等代表性的復雜手部姿態時，傳統優化方法往往會發生手指異常耦合甚至徹底失效；而 HumDex 的學習方法則能忠實、穩定地完成追蹤，實現更平滑的接觸過渡與可靠的單指獨立控制。

在定量評估中，團隊選取了三個極其依賴精細接觸的子任務進行測試。實驗數據表明，無論底層追蹤硬件是基于慣性傳感器還是基于 VR，HumDex 提出的基于學習的手部重定向算法都顯著提升了遙操作的成功率。

3. 零樣本泛化能力：人類數據帶來的質變

在抓取面包的策略評估中，團隊重點測試了兩階段訓練框架在分布外場景下的零樣本泛化能力。測試覆蓋了機器人微調數據中從未見過，而人類數據包含的三種情況：未見過的位置（目標物體在桌面上的隨機坐標）、未見過的物體（將面包替換為蘋果、香蕉或樹葉等形狀）以及未見過的背景（鋪上不同顏色的桌布）。

實驗結果表明，僅用機器人單環境數據訓練的策略在面對上述變化時性能急劇下降；而采用了兩階段訓練（引入人類數據預訓練）的策略，在所有分布外場景下的成功率均實現了近兩倍的巨大提升。這充分證明了人類數據提供的通用視覺與運動先驗能夠被有效地遷移到機器人身上，極大地拓寬了策略的泛化邊界。