研究人員提出并行時序編碼器架構，提升人形機器人訓練的穩定性

當前，人形機器人正處于由基礎可行性驗證向早期應用與智能化演進的過渡階段。其已具備相對成熟的能力，包括雙足穩定行走、跳躍、轉向、多關節協調控制，以及多模態感知集成等。這些能力的實現，在很大程度上依賴于先驗工程干預。在硬件層面，設計者通過增大足底支撐面積、降低重心、引入冗余結構等手段提升本體的物理穩定性；在軟件控制層面，則普遍采用以人類經驗為核心的控制方法，如 PID 控制、軌跡規劃、模型預測控制等，強化學習僅作為優化模塊輔助使用。這些方法雖能實現高性能控制，但對特定任務和平臺高度依賴、泛化能力弱、難以適應變化環境，且對專家知識依賴程度高、獲取成本大。

在人形機器人向智能化演進的過程中，一個核心問題是如何逐步擺脫上述工程依賴，轉向更靈活、通用的“學習驅動的智能控制”范式。其中，端到端智能控制成為關鍵研究方向之一，其目標是使機器人能夠從原始感知輸入（如傳感器數據）直接輸出控制命令（如關節力矩或速度），無需顯式建模或人工設定的控制邏輯。這種方式具有自動學習復雜行為的潛力，可更自然地適應任務變化，顯著減少先驗知識對系統設計的限制。

在機器人領域，Gymnasium 是一個廣泛使用的強化學習環境工具庫，它為開發者和研究者提供了標準化的虛擬環境。Gymnasium 中的 MuJoCo Humanoid 環境為研究端到端控制提供了理想測試平臺。該環境模擬一個雙足人形機器人在平坦地面上行走的任務，是復雜連續控制問題中的經典強化學習基準。與現實機器人不同，仿真模型在結構上有意簡化，缺乏腳掌、助力機制和動態平衡輔助裝置，重心較高，穩定性較差，從而最大程度減少了硬件層面的工程干預。這種設計使該環境成為評估“純策略控制”能力的典型平臺，有助于更直接反映策略本身的智能水平與適應能力。

在此環境中訓練出的策略，可通過獎勵驅動自動學習出如髖關節協調擺動以維持平衡、利用上肢輔助緩沖摔倒沖擊、上下肢協同提速行走等行為。這些能力并非由設計者預設，而是策略在訓練過程中自然涌現，有效降低了對人工規則和模型的依賴，減少了算法層面的工程干預。

然而，現有端到端策略大多建立在完全可觀測環境的假設之上，即可獲取環境的完整狀態。在實際系統中，機器人通常處于部分可觀測狀態，常面臨傳感器受限、觀測噪聲、信息缺失（如質量分布、外力等）等問題。在此背景下，如何在信息不完全的條件下仍實現高效的控制策略，成為當前研究的核心挑戰。

為應對觀測不全的問題，一些方法引入了遞歸神經網絡（如 RNN、LSTM）以捕捉歷史信息，以及彌補瞬時觀測的不足。然而，在高維、連續控制任務中，這類方法普遍面臨訓練不穩定、泛化能力差等難題。例如，在 MuJoCo Humanoid 環境中，目前尚缺乏在部分觀測條件下有效的強化學習方法。

因此，澳大利亞紐卡斯爾大學教授陳智勇和團隊在近期一項研究中聚焦于以下問題：在不依賴完整狀態觀測的前提下，能否設計出一種穩定、結構簡潔、具擴展性的策略架構，以提升人形機器人在部分可觀測環境中的控制能力？研究人員希望通過構建新的機制，使強化學習策略能夠從有限的觀測中提取關鍵動態信息，從而完成復雜的運動控制任務。該方向的探索將有助于推動人形機器人從依賴結構和規則的工程化控制體系，邁向更具泛化性和自主性的智能控制系統。

圖 | 陳智勇（來源：陳智勇）

在部分可觀測環境中，智能體無法直接獲取完整的環境狀態，通常需要依賴有限長度的歷史觀測來重構當前狀態。在可觀性條件滿足時，這種方式可將原本的部分可觀測馬爾可夫決策過程（POMDP，Partially Observable Markov Decision Process）轉化為完全可觀測的馬爾可夫決策過程（FOMDP，Fully Observable Markov Decision Process）。然而，由于歷史觀測之間存在大量冗余信息，直接拼接歷史輸入將顯著膨脹狀態空間維度，增加策略學習的復雜度與不穩定性。因此，如何從冗余的歷史觀測中有效提取關鍵特征，成為實現高效策略學習的核心挑戰。

針對該問題，本研究提出了一種并行時序編碼器架構，結合多頭注意力機制（Multi-Head Attention），對歷史觀測序列進行高效建模與信息聚合。該方法在不依賴遞歸結構（如 RNN、LSTM）的前提下，能夠從有限歷史中恢復缺失的狀態信息，顯著提升策略訓練的穩定性與最終性能。多頭注意力機制作為現代深度學習的核心結構，已經廣泛應用于自然語言處理、計算機視覺、語音識別與強化學習等領域。其基本思想是從多個子空間維度并行關注輸入序列的不同部分，從而提取豐富的上下文信息與特征關聯。在本研究中，多頭注意力被用于從歷史觀測中自動篩選與當前決策最相關的信息、學習時間依賴性與關鍵感知特征。

（來源：https://arxiv.org/pdf/2507.18883）

研究人員在 MuJoCo Humanoid 環境中對該方法進行了系統實證。該環境的狀態空間維度為 348，包含身體各部位的位置、速度、質量、慣性參數、執行器力以及外部作用力等信息。實驗結果表明，即使僅使用原始觀測的三分之一至三分之二維度，所提出的方法仍可達到甚至超過完整狀態輸入下的強化學習基線性能（如 TD3）。尤其值得強調的是，在移除質量、慣性與力信息，僅保留約三分之一狀態維度的設定下，策略仍能憑借位置與速度等部分觀測有效建構控制模型、快速收斂，并最終超越完整觀測策略的性能。這也是首次在該環境的部分可觀測設定下，通過強化學習實現穩定有效控制的成功案例。

此外，研究人員進一步評估了該策略在物理參數變化下的泛化能力。在測試中，研究人員對雙手、小腿、大腿、上臂、骨盆和軀干等部位的質量進行 ±50% 的獨立擾動。結果顯示，訓練策略在多種質量配置下依然保持穩定性能，展現出良好的魯棒性與適應性，驗證了其對物理參數變化的容忍度與廣泛適用性。

本研究在部分可觀測條件下提出了一種純學習驅動的人形機器人控制方法，推動機器人從“規則執行”邁向“行為智能”，擺脫對工程干預與人類經驗的依賴，為類腦智能與具身智能方法體系的演進提供了有益探索。在實踐層面，該方法有助于降低對專家知識的依賴，提升系統的通用性與自主性。未來，該方法可與大語言模型和多模態感知系統融合，構建具備認知、感知與行動能力的類人自主體。本研究的最終目標不僅在于實現穩定的人形行走控制，更在于建立一種通用、穩定、可擴展的控制學習范式，以應對具備復雜時序結構的任務需求。

陳智勇告訴 DeepTech：“這些工作是我帶領博士生王吳皓完成的。他于 2023 年獲得瑞典林雪平大學的碩士學位，目前是紐卡斯爾大學二年級的博士生，展現出極強的學習能力和科研潛力。這些成果來源于我們在自動控制、強化學習和機器人技術這三個領域不斷交叉探索的過程，體現了輸出反饋、狀態估計和自適應控制等經典控制理念在強化學習框架下的融合與演化，并成功應用于人形機器人平臺。”

本研究主要聚焦于算法層面，提出了一種在部分可觀測條件下實現穩定人形機器人控制的純學習方法。下一步，研究人員將繼續拓展該算法框架，進一步提升其性能與泛化能力，并在更具多樣性的人形機器人模型中進行系統評估，逐步推廣至其他類型的高維連續控制環境。同時，研究人員也計劃推動該方法向現實系統遷移，探索其在真實人形機器人平臺上的部署與驗證可行性。目前，現實人形機器人在關鍵控制環節仍高度依賴工程化干預、人類經驗和手動調參。研究人員希望本研究能夠為端到端學習控制在實際機器人系統中的落地應用提供算法基礎與技術支持，進而推動人形機器人向更高自主性、更低人工依賴的方向演進。

參考資料：

https://arxiv.org/pdf/2507.18883

運營/排版：何晨龍