國地中心×北理工“龍馭”小腦模型發布：零樣本全身動態動作追蹤

國家地方共建人形機器人創新中心（以下簡稱“國地中心”）與北京理工大學聯合研發的人形機器人“身外化身”小腦模型——“龍馭”，目前已正式發布。

人形機器人“身外化身”通常是指，讓機器人實時復刻人體全身高動態動作。不同于傳統機器人的遙操作，僅在固定基座上復刻上肢準靜態動作，“身外化身”需要在控制全身更多自由度的基礎上兼顧本體的運動平衡，甚至包含騰空起跳等高動態運動與落地平衡，對機器人運控算法提出了極高的要求。

此次推出的“龍馭”小腦模型，僅需前期少量動作數據訓練，即可零樣本泛化至真實場景的實時動捕、視頻衍生動作及全身遙操作等多樣輸入，在實體人形機器人上成功跟蹤行走、奔跑、跳躍、舞蹈乃至武術等復雜技能，并包含抗擾動，摔倒自動恢復能力，具備可用、耐用、能用的業界領先身外化身系統技術特征和優勢。

“龍馭”具備三大核心特點：

1. 胃口小——打破數據等于智能的傳統思維，利用模型設計精簡與訓練策略創新，僅需少量動作數據即可達到高泛化性能力；

2. 動作精——一絲不茍地復現人體快速、劇烈的運動，無論是奔跑、跳躍、武術招式，還是搬運物品，都能流暢跟隨；

3. 響應快——遇到碰撞或干擾時可自行調整恢復，即使摔倒，也能像人一樣迅速起身平衡。

基于“龍馭”小腦模型，我們致力于實現：

■ 遠程全身操控

不同于桌面遙操作，操作者可遠程操控機器人完成一系列需要全身協調的任務，例如工廠作業、遠程會議、養老看護、火災救援、危險排爆等，未來甚至可參與月球基地建設。

■ 機器人全身動作數據集

不同于現階段大部分專注上肢操作的數據集，結合真人全身操作與實機同步操作，“龍馭”可協助采集人體、機體同步的高質量素材，幫助機器人智慧積累。

■ 打造全能“機器人小腦”

“龍馭”為機器人構建身體協調與控制的基礎能力，實時響應上層決策指令，為未來實現機器人高度自主行動奠定基礎。

01.

技術介紹

論文預印本：

https://arxiv.org/abs/2601.23080

網站：

https://zeonsunlightyu.github.io/RGMT.github.io/

02.

核心方法

“龍馭”小腦模型的核心方法由高質量數據集構建與創新的策略架構兩部分組成，二者協同實現高效、魯棒的全身運動控制。

高質量數據集構建

策略訓練基于一個約3.5小時的精煉運動數據集，其數據源選自LAFAN1與AMASS兩大動捕數據庫的精選子集，并利用通用運動重定向技術將全部動作序列適配至目標人形機器人模型。

針對原始動捕數據中普遍存在的冗余性、低質量片段及接觸狀態不一致等問題，研究團隊實施了質量控制流程，剔除了不可行與低質量的運動序列。

這種以質量為導向的構建策略至關重要，它避免了大規模原始數據中重復和低效片段對模型優化的干擾，提供了更清晰、信息密度更高的監督信號，從而提升了策略的泛化能力與閉環跟蹤精度。

控制框架創新

“龍馭”小腦模型采用了一種基于動態條件命令聚合的創新控制框架。該框架的核心是一個由因果歷史編碼器與多頭交叉注意力命令編碼器組成的策略網絡，通過注意力機制使策略能夠依據當前物理動態，有選擇地聚合并解讀上下文中的參考命令。

■ 觀察與動作空間

策略網絡的觀察輸入包含本體感覺（如機體坐標系下的重力投影、角速度、關節位置/速度偏差）和來自參考運動的命令（如基座線/角速度、重力方向、關節位置目標）。

策略網絡的輸出為殘差關節位置命令，該命令與參考關節位置相加后，通過PD控制器生成最終關節扭矩。這種殘差形式將探索錨定在參考姿態附近，提升了訓練效率與跟蹤精度。

■ 策略架構與訓練

歷史編碼器：輕量化的因果Transformer，用于處理近期的本體感覺序列，并通過逐元素最大池化聚合并提取出表征當前機器人動態的嵌入特征。

■ 命令編碼器

將歷史編碼器輸出的動態嵌入作為“查詢”，對上下文的參考命令窗口執行多頭交叉注意力操作。這使得策略能夠根據當前物理狀態的可行性，以自適應的方式選擇出可靠的命令片段，并抑制存在的異常片段如噪聲、身體穿透或不一致接觸等。

得益于動態條件命令聚合機制對噪聲和異常命令的過濾能力，3.5小時的精煉數據集足以訓練出強大的策略網絡。該網絡不僅能在閉環執行中保持穩定，還能對全新的運動實現零樣本泛化。

性能評估

■ 基線對比

在基線對比實驗中，“龍馭”小腦模型采用的框架與當前的代表性框架Any2Track和GMT在相同數據集上進行了比較。評估涵蓋三種運動源：基于LAFAN1和AMASS的動捕數據、視頻衍生運動以及地面交互運動。

實驗結果表明，在所有數據子集上，該框架均取得了最高的任務成功率與最低的平均關節位置誤差。其中在視頻衍生運動上的性能提升尤為顯著，這證明了框架對參考運動分布偏移具備強大的適應能力。

■ 架構消融

策略架構消融實驗驗證了因果歷史編碼器與交叉注意力命令編碼器的關鍵作用。將因果歷史編碼器替換為CNN變體（Ours CNN HistEnc）會導致性能一致下降，而將交叉注意力命令編碼器改為自注意力變體（Ours SelfAttn CmdEnc）則引發更大幅度的性能劣化，特別是在視頻衍生與地面交互子集上。這凸顯了動態條件交叉注意力機制在分布偏移和命令噪聲下的核心價值。

03.

框架特性

■ 高動態運動泛化與跟蹤

實現高動態運動的精準、穩定跟蹤，是人形機器人控制領域的一項核心挑戰。這類運動（如快速跑跳、武術踢打、Breaking舞蹈等）特點在于全身協調復雜、運動速度高，且伴隨著頻繁且劇烈的接觸狀態轉換。

傳統方法在此類場景下常面臨兩大難題：一是閉環執行會放大參考動作中局部的缺陷或噪聲，導致機器人狀態漂移甚至失穩；二是針對單一動作訓練的策略泛化能力差，無法適應多樣的、未經事先訓練的運動模式。

本框架通過核心方法中所提到的動態條件命令聚合機制，為破解高動態運動跟蹤難題提供了通用解決方案。其核心在于，策略并非同等地選擇并執行每一幀參考命令，而是依據機器人的實時本體感知，有選擇地參考與聚合上下文中的命令信息。

這種“條件化篩選”能力，使得框架在面對高動態、多接觸運動時，能顯著減少參考數據中噪聲和不一致性的影響，極大提升了閉環跟蹤的穩定性。同時，正因為策略學會了依據物理可行性而非盲目跟隨參考信號，它獲得了強大的零樣本泛化能力——即使對于訓練數據中從未出現過的運動風格（如從網絡視頻中直接估計出的舞蹈動作），也能基于其內在的動力學邏輯進行穩健復現。

■ 集成倒地恢復

為實現人形機器人的可靠部署，研究團隊將自動倒地恢復能力集成至全身控制框架。該機制通過隨機恢復初始訓練環境與漸進式輔助力設計，使單一策略能夠自主應對失衡狀態，顯著提升系統在動態接觸場景下的安全性與連續性。

在訓練過程中，系統以15%的概率將并行環境設為恢復訓練環境，并在這些環境中將機器人重置至隨機生成的不穩定姿態。這種隨機初始化使策略能夠廣泛接觸復雜環境與接觸條件，同時通過反復的“跌倒-站起”循環自然積累豐富的地面接觸經驗，從而提升對復雜環境與過渡動作的跟蹤精度與泛化能力。

為提高訓練初期的探索效率，在恢復環境中施加幅度均勻采樣于[0, 200]范圍的向上牽引力，通過增加可恢復狀態的出現頻率加速策略學習。該輔助力隨訓練進程線性衰減至可忽略水平，確保最終策略僅依靠自身控制完成恢復動作。

在狀態終止機制方面，系統設定了基座姿態過度偏移、高度不足及關鍵身體鏈路高度異常等判據。特別針對恢復環境設置了3秒恢復窗口，在此時間內暫停因不穩定觸發的提前終止，允許策略在同一回合內完成站起與重穩定過程。若超時未恢復則終止回合，避免不可恢復狀態下的無效訓練，保障訓練效率。

這一設計使機器人能夠在發生跟蹤失敗或受外部擾動時，快速從倒地狀態自主恢復至穩定站立姿態，為長期任務執行提供了關鍵保障。

■ 多源輸入兼容性

本框架具備多源輸入的兼容性，能夠靈活處理從高精度動捕到便捷遙操作等多種類型的參考命令，展現出泛化與抗干擾能力。其支持的輸入模態、技術特點與性能表現如下表所示：

綜上所述，該框架能夠適應從離線高質量數據到在線含噪聲輸入的多種信號源。無論是面對視頻估計的分布偏移、VR設備的傳感噪聲，還是運動合成產生的非連續命令，其動態條件命令聚合機制都能有效過濾異常，確保穩定、精確的跟蹤。這種能力使其能夠無縫對接從專業動畫生成到便捷實時控制的各種上游系統，在實際部署中具有靈活性和魯棒性。

04.

實際應用

■ 數據采集

框架支持VR設備與專業動作捕捉服雙模式遙操作，這為采集多樣化、高質量的機器人示范數據提供了靈活高效的解決方案。

VR設備：基于消費級硬件（如PICO），該系統部署便捷、成本相對較低。操作員通過頭顯與手柄進行直觀控制，能高效產生用于全身運動、交互任務的遙操作數據，適合快速構建大規模基礎運動庫。

動作捕捉服：可提供更高精度、更專業的人體動作數據。它能精準捕捉操作員全身細微的運動姿態，適合采集高保真、高動態的復雜技能數據（如武術、舞蹈），為訓練高級別策略提供優質樣本。

這種雙模式設計使研究人員能根據數據精度、成本與場景需求，靈活選擇采集工具，高效構建用于訓練通用機器人策略的多模態數據集。

■ 集成全身VLA模型

該框架可作為底層運動模型，與上層的全身VLA模型集成，共同實現復雜的具身任務，如物流搬運等。

在此協作架構中：

全身VLA模型擔任“大腦”，負責解析“請將那個藍色箱子搬到門口”的自然語言指令，結合攝像頭視覺，理解任務目標、識別物體位置，并規劃出需要執行的高級動作序列（如“走近箱子”、“蹲下”、“抓取”、“轉身”、“走向門口”、“放下”）。

本框架擔任“小腦”，接收VLA模型生成的抽象動作軌跡（如目標基座位移、末端執行器位姿），并將其轉換為穩定、魯棒、適應實際物理環境的全身關節運動。在搬運過程中，它能自主維持身體平衡，抵抗箱體重心變化帶來的擾動，在遇到地面不平時調整步態，甚至能在意外滑倒時自主恢復并繼續任務。

未來的“機器人小腦”已上線，全身操控玩到爽！歡迎圍觀，攜手搞事情！來解鎖專屬你的機器人小腦和海量動作數據！