情人節暴擊！下跪求婚的可以是機器人了

這個情人節，Unitree G1 人形機器人解鎖了 “求婚” 新技能。

在人類眼中充滿儀式感的求婚動作，對于機器人來說其實是頗具難度的全身操作任務：既要維持重心穩定，又要保證手部動作的精準，這對機器人的全身協調能力提出了不小的考驗。

這一浪漫場景的背后，是清華叉院、上海期智研究院、千尋智能與上海交通大學聯合團隊的最新研究成果 ——HuMI (Humanoid Manipulation Interface)，一個集成了人形機器人便攜式數據采集與多樣化技能學習的通用框架：研究人員不再受困于繁瑣的遙操作或昂貴的動捕環境，只需佩戴簡單的追蹤設備，就能高效教會人形機器人協調全身，完成復雜的操作任務 。

• 論文標題：Humanoid Manipulation Interface: Humanoid Whole-Body Manipulation from Robot-Free Demonstrations
• 論文鏈接：http://arxiv.org/abs/2602.06643
• 項目主頁：https://humanoid-manipulation-interface.github.io

教人形機器人學會全身操作，難在哪里？

盡管遙操作是目前獲取數據的主流方案，但其采集效率低下，對操作員的經驗要求也較高；同時，由于無法脫離實體機器人，采集場景往往局限于實驗室內部，難以獲取支撐泛化的多樣性數據。

相比之下，雖然 UMI 的 “無真機” 數采方案在機械臂上大獲成功，但直接遷移到人形機器人時卻面臨如下難題：

• 演示信息缺失：僅記錄手持夾爪部軌跡無法約束全身姿態，機器人不知道向下抓取時該 “彎腰” 還是 “下蹲”；
• 人機構型差異：人與機器人的身體比例不同，簡單的尺寸縮放會導致機器人與交互物體的空間錯位；
• 執行誤差干擾：與機械臂的高精度不同，人形機器人的底層控制器往往存在較大的跟蹤誤差，導致高層策略規劃的軌跡與實際執行脫節。

HuMI 系統的核心技術

針對人形機器人數據采集難、效率低的痛點，團隊提出了 HuMI 系統。該系統通過硬件、交互與算法的協同設計，實現了低成本、高效率的人形機器人全身操作策略學習。

1. 硬件設計：便攜式穿戴設備

采集數據時，操作員僅需手持兩個帶有魚眼 GoPro 相機的 UMI 手柄，并在手柄上、腰部和雙腳佩戴 5 個 HTC Ultimate VIVE 追蹤器。有了這套便攜的設備，無需將笨重的實體機器人搬運到現場，即可在樓道、大堂等各種環境中采集全身動作數據，極大降低了數據獲取的門檻。

2. 數據采集：實時逆運動學預覽

為了解決人機身體構型差異導致的動作不可用問題，HuMI 提供了實時逆運動學（IK）預覽。采集數據時，操作員可以通過屏幕觀察虛擬機器人做出對應動作的效果。如果人的動作超出了機器人的物理極限，操作員能立刻發現并調整姿態，從而確保采集到的數據物理可行。此外，重定向后的全身數據也會進一步用于底層控制器的訓練。

3. 算法架構：分層控制策略

HuMI 采用高低層協同的分層式控制架構，通過精心設計的接口層將規劃與控制模塊有機串聯，共同完成復雜的全身操作任務：

• 高層規劃策略：基于 Diffusion Policy，利用手腕相機的視覺輸入規劃全身關鍵點軌跡；
• 底層控制策略：通過強化學習訓練。在訓練階段，HuMI 設計了自適應的手部跟蹤獎勵，并引入了變速增強訓練，使機器人能同時兼顧全身的協調平衡與手部的精準操作。

實驗表現：多維任務驗證

團隊在 Unitree G1 人形機器人上進行了多方面測試，從任務能力、泛化表現和采集效率三個維度驗證了系統的有效性：

1.任務能力：HuMI 成功實現了五項頗具挑戰性的全身操作任務：求婚（單膝下跪）、拔劍出鞘、投擲玩具、上前清理桌面以及下蹲拾取，展現了雙臂協同、高動態、長距離移動操作等多方面能力，且均達到了 75% 以上的成功率。實驗證明，機器人能夠流暢地完成大幅度重心轉移和精細的手部動作，保持了極高的平衡穩定性和動作連貫性。

2.泛化表現：憑借便攜硬件隨時隨地采集數據的優勢，HuMI 能夠輕松覆蓋各種真實場景，為策略的泛化性打下了堅實基礎。在下蹲拾取這一任務上的實驗結果顯示，機器人在會議室、電梯間、走廊等未見過的場景，面對未見過的瓶狀物體時，仍能保持 70% 的任務成功率。上述實驗表明，得益于便攜式設備帶來的數據采集規模與多樣性，策略在復雜環境下具有出色的泛化能力。

3.采集效率：與傳統遙操作模式相比，HuMI 在數據收集效率上展現出顯著優勢。由于擺脫了對機器人真機的依賴，系統的數據采集吞吐量提升至傳統方式的 3 倍 —— 以拔劍任務為例，僅需 15 分鐘即可快速收集 60 條有效演示數據。此外，HuMI 還擴展了動作采集的邊界：在遙操作中，若底層控制器不支持單膝下跪等高難度動作，操作員便無法進行數據采集；而 HuMI 則能夠擺脫真機限制，先行采集這類復雜動作。

HuMI 的核心價值在于打破了數據采集對機器人實體的依賴。通過全新的數據采集方式，HuMI 大幅降低了人形機器人數據的獲取門檻與成本，在顯著提升學習效率的同時，也為開發更具泛化性的通用人形機器人技能提供了有力支持。

關于作者

該項目有三位共同一作：佴瑞乾，鄭博遠，趙俊銘。

佴瑞乾是清華大學交叉信息研究院的四年級博士生，導師為高陽教授。他的主要研究方向為具身智能，致力于通過大規模數據使機器人能夠感知、推理和學習。佴瑞乾已在 ICLR, ICRA, AAAI, NeurIPS 等多個機器人學和機器學習頂會發表論文，研究項目涵蓋人形機器人，VLA，四足機器人等多個方向。

鄭博遠是清華大學交叉信息研究院的一年級博士生，導師為高陽教授。他的主要研究方向為具身智能，目前專注于通過人形機器人的全身協同控制，實現復雜多樣的移動操作任務。鄭博遠已在 CoRL、ICLR 等多個機器人學和機器學習頂會發表論文。

趙俊銘是清華大學交叉信息院（IIIS）的一年級博士生，導師為高陽教授。他的研究聚焦于具身智能，致力于賦予機器人更通用和魯棒的操作能力。他重點關注機器人操作數據的高效擴展及人形機器人的移動操作。此前的工作包括高效泛化的插入裝配模型，以及融合自適應推理的 VLA 模型等。

項目的通訊作者是清華大學交叉信息研究院助理教授、千尋智能聯合創始人高陽，他主要研究計算機視覺與機器人學。此前，他在美國加州大學伯克利分校獲得博士學位，師從 Trevor Darrell 教授。他還在加州伯克利大學與 Pieter Abbeel 等人合作完成了博士后工作。在此之前，高陽從清華大學計算機系畢業，與朱軍教授在貝葉斯推理方面開展了研究工作。他在 2011-2012 年在谷歌研究院進行了自然語言處理相關的研究工作、2016 年在谷歌自動駕駛部門 Waymo 的相機感知團隊工作，在 2018 年與 Vladlen Koltun 博士在英特爾研究院在端到端自動駕駛方面進行了研究工作。高陽在人工智能頂級會議 NeurIPS，ICML，CVPR，ECCV，ICLR 等發表過多篇學術論文，谷歌學術引用量超過 5000 次。