圖靈獎得主Yann LeCun離開Meta后首篇論文？使用了宇樹機器人做研究

來源：機器之心

還記得《黑客帝國》里 Neo 通過腦機接口瞬間學會功夫的場景嗎？

現在，機器人離這一天也不遠了。想象一下，你只需在電腦上輸入一句提示詞：「一個人在打太極」，AI 視頻模型（比如 Wan2.1 或 Sora）立刻生成一段視頻，而旁邊的機器人看完這段視頻，竟然就能零樣本（Zero-shot）地把這套動作在物理世界中完美復現出來！

沒錯，這就是來自伯克利、紐約大學和約翰?開普勒林茨大學的一項最新論文想要實現的未來。

研究人員提出了一種名為GenMimic的新方法，讓機器人擁有了「模仿大師」的技能，甚至即便 AI 生成的視頻里人物動作有些變形、甚至出現「鬼畜」般的噪聲，機器人也能去偽存真，提取出核心動作邏輯，穩穩當當地在現實中動起來。

• 論文標題：From Generated Human Videos to Physically Plausible Robot Trajectories

• 論文地址：https://arxiv.org/abs/2512.05094v1

• 項目地址：https://genmimic.github.io/

已經離開 Meta、的圖靈獎得主 Yann LeCun 也是該研究的四位共同導師之一。有趣的是，在這篇論文中，Yann LeCun 的所屬機構已經沒有了 Meta。這應該是他離開 Meta 后發布的第一篇論文？不過，其所屬機構也尚未標注其新創業公司，僅有紐約大學。

該論文有四位共一作者：James Ni、Zekai Wang、Wei Lin、Amir Bar。其研究的核心問題是機器人領域一個關鍵問題：人形機器人如何能夠零樣本（zero-shot）地執行生成視頻中的人類動作？

這項研究有四大貢獻：

• 提出了首個使人形機器人能夠執行由視頻生成模型生成的動作的通用框架。

• 提出了 GenMimic，這是一種新的強化學習策略，使用對稱正則化和選擇性加權的 3D 關鍵點獎勵進行訓練，盡管僅在現有的動作捕捉數據上訓練，卻能泛化到充滿噪聲的合成視頻。

• 利用 Wan2.1 和 Cosmos-Predict2 整理了合成人類動作數據集 GenMimicBench，建立了評估零樣本泛化和策略魯棒性的可擴展基準。

• 在仿真和真實世界實驗中廣泛驗證了新提出的方法。在仿真中，該團隊提供了詳細的消融實驗，并展示了相比強基線模型的顯著改進。他們還進一步在宇樹 G1 機器人上確認了新方法的可行性，展示了連貫且物理穩定的動作。

下面我們更詳細地了解一下這項研究成果。

GenMimicBench 數據集

為了評估人形機器人控制策略在不同視覺和動作分布下的零樣本泛化能力，該團隊引入了GenMimicBench，這是一個包含 428 個生成視頻的合成人類動作數據集。

該數據集是使用兩個最先進的視頻生成模型 Wan2.1-VACE-14B 和 Cosmos-Predict2-14BSample-GR00T-Dreams-GR1 創建的。

如圖 2 所示，每個序列都是從初始幀和指定預期動作的文本提示生成的，從而實現了主體身份、視角和動作的系統性變化。

總體而言，GenMimicBench 涵蓋了廣泛的主體、環境和動作類型，從簡單的手勢到多步驟組合動作及物體交互行為。

• Wan2.1 視頻：受控室內場景。 GenMimicBench 的很大一部分是使用 Wan2.1 從 NTU RGB+D 幀生成的。這些片段提供了清晰、結構化的室內環境，并具有同步的前視、左視和右視攝像機視角。該團隊包括了五名具有不同人口統計學特征、身體比例和著裝風格的主體，確保外觀的多樣性，同時保持場景幾何的一致性。動作涵蓋四個結構化類別。這產生了 217 個多視角室內視頻，捕捉了形態、視角和動作組合的細微變化。

• Cosmos-Predict2 視頻：網絡風格場景。 為了以更大的多樣性補充這些受控場景，該團隊還使用 Cosmos-Predict2 生成了以 PennAction 幀為條件的視頻。這些片段反映了自然場景下 YouTube 視頻的特征：雜亂的場景、多變的攝像機運動、不均勻的光照和現實世界的物體布局。該子集包括 211 個視頻，主要由八個不同的主體執行簡單的手勢（例如，摸頭、豎大拇指）以及一系列物體交互行為，如開門、舉書或啞鈴，以及操作日常家居用品。這一部分使策略暴露于受控數據集中所缺乏的現實復雜性，為評估在自然環境中的魯棒性提供了一個具有挑戰性的測試平臺。

總計，GenMimicBench 提供了一個包含 428 個高方差合成動作序列的統一集合，涵蓋了結構化的室內場景和多樣化的現實世界視頻語境。

通過將受控動作與多樣化的自然人類動作相結合，GenMimicBench 建立了一個全面的基準，可用于評估在視覺、形態和動作分布偏移下的人形機器人策略性能。該數據集專門設計用于壓力測試魯棒性，使其非常適合評估依賴于從生成視頻中獲取的噪聲或不完美動作重建的策略。

從生成的視頻到人形機器人動作

為了解決從生成視頻中執行人形機器人動作的挑戰，該團隊提出了一個基于 4D 重建的兩階段流程，并提出了一個新的 GenMimic 跟蹤策略。圖 3 展示了方法概況。

兩階段流程

第一階段：從像素到 4D 人形機器人重建。

給定一個生成的輸入 RGB 視頻，該團隊使用最先進的人類重建模型來檢測和提取逐幀的全局姿態和 SMPL 參數。由于形態不匹配，生成的 SMPL 軌跡無法直接用于人形機器人。因此，該團隊選擇將 SMPL 軌跡重定向到機器人的關節空間，該空間結合逐幀的全局姿態可恢復機器人空間中的全局 3D 關鍵點。

第二階段：從 4D 人形機器人到動作。

為了正確地泛化到未見過的人類動作，該團隊的策略必須對輸入中的變化和噪聲具有魯棒性。

為了實現這一點，該團隊特意選擇 3D 關鍵點而非關節角度，因為關鍵點對變化更具魯棒性，且噪聲在這種表征中更容易被觀察到。

給定這些關鍵點和本體感知信息，該團隊的跟蹤策略輸出物理上可實現的期望關節角度。這些期望關節角度被比例-微分 (PD) 控制器使用，輸出可執行的力矩給機器人。

GenMimic 策略

如圖 3 所示，從視頻生成的人類動作包含噪聲和形態不匹配，這使得它們偏離了訓練數據的分布。

該團隊表明，添加加權關鍵點跟蹤獎勵和對稱增強提供了足夠的魯棒性來解決這些挑戰。

加權跟蹤 (Weighted Tracking)

某些關鍵點（例如對應于末端執行器的關鍵點）在任務執行和物理穩定性方面本質上比軀干或非接觸關鍵點更為關鍵。因此，該團隊將跟蹤獎勵設計為使用逐關鍵點誤差的加權組合：

這個公式使得策略能夠選擇性地關注目標中最可靠和與任務最相關的方面。對于生成視頻，偏向末端執行器并遠離不準確的下半身會產生穩定的模仿效果。

對稱損失 (Symmetry Loss)

人體表現出固有的雙側對稱性，其中左側和右側近似為鏡像。

該團隊假設，由于這種對稱性作為一種強大的物理歸納偏置，一個顯式學習并利用左右關鍵點之間對稱相關性的策略，可以對生成視頻中的逐關鍵點噪聲實現更強的魯棒性。

為了實現這一點，該團隊在標準 PPO 訓練目標中加入了一個輔助對稱損失 L_SYM，并帶有權重系數 λ_SYM：

策略學習的細節（包括訓練數據、獎勵和域隨機化）請參閱原論文。

實驗表現

該團隊在 GenMimicBench 和真實的 23-DoF 宇樹 G1 人形機器人上進行了實驗。實現細節方面，訓練在 IsaacGym 中進行，樣本量超過 15 億，使用了四個 NVIDIA RTX 4090 GPU。部署使用單個 NVIDIA 4060 移動版 GPU。更多細節請訪問原論文。

仿真實驗

該團隊在 GenMimicBench 數據集上對比了該團隊的方法與強基線模型。結果見表 1。

如表 1 所示，GenMimic 優于現有基線。GenMimic 學生模型獲得了比 GMT 和 TWIST 更高的 SR 和 MPKPE-NT，而 GenMimic 教師模型獲得了比 BeyondMimic 和 TWIST 更高的 SR、MPKPE 和 MPKPE-NT。所有 unprivileged 策略都表現出較高的全局誤差，突顯了從生成視頻中進行零樣本模仿的挑戰。

真實世界實驗

該團隊成功地將策略部署在 23-DoF 的 G1 人形機器人上，展示了對生成視頻中人類動作的物理復現。

該團隊總共推演了 43 個動作，并在表 2 中報告了視覺成功率 (VSR)。與僅衡量偏離基準真值的定量仿真指標不同，VSR 評估執行的動作在視覺上是否與生成視頻相似。該團隊將任何過度的跌跌撞撞或無法在視覺上跟隨關鍵關鍵點（如手或腳）的情況視為失敗。

該團隊的策略成功復現了廣泛的上半身動作，包括揮手、指向、伸展及其序列組合。將這些動作與下半身運動組合會顯著增加難度。對于步進組合，策略能可靠地跟隨上半身動作，但無法一致地完成邁步或抬腿。對于轉身組合，策略能可靠地達到期望的方向，但經常會跌跌撞撞。

該團隊猜想，這些挑戰源于不準確或物理上不可行的動作線索，這個問題或可通過向 3D 目標關鍵點引入加權噪聲來解決。

下面展示了一些模仿示例。

該團隊也執行了消融實驗，詳見原論文。

閱讀最新前沿科技趨勢報告，請訪問歐米伽研究所的“未來知識庫”

https://wx.zsxq.com/group/454854145828

未來知識庫是“ 歐米伽 未來研究所”建立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學、互聯網、超級智能，數智大腦、能源、軍事、經濟、人類風險等等領域的前沿進展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進入。