ICLR 2026 | 世界模型卡在多機器人協(xié)作？一個順序分解思路打通

趙子杰，中國科學院自動化研究所博士生，導師為趙冬斌研究員和朱圓恒副研究員。本科畢業(yè)于電子科技大學并獲得榮譽學位（Top 0.7%）。主要研究方向為強化學習、世界模型和機器人學習，重點關(guān)注融合學習、規(guī)劃與控制的方法，以實現(xiàn)魯棒且可擴展的真實世界機器人智能。

近年來，Decision-Coupled World Model與Model-based RL在機器人領(lǐng)域取得了顯著成功。通過學習環(huán)境動力學模型，智能體能夠在內(nèi)部模擬未來，從而進行規(guī)劃與決策。但當系統(tǒng)從單機器人擴展到多機器人時，問題開始變得棘手。

在多機器人系統(tǒng)中，世界的變化不再由單獨個體決定，而是由多個個體共同作用。于是，一個關(guān)鍵問題是：如何讓世界模型能夠理解多機器人系統(tǒng)的聯(lián)合動力學？

為了解決這一挑戰(zhàn)，中科院自動化所深度強化學習團隊提出 SeqWM，對多機器人聯(lián)合動力學進行順序式的因果條件化分解，使機器人能夠在意圖共享的基礎(chǔ)上進行協(xié)同規(guī)劃。該成果已被ICLR 2026接收，并在評審中獲得8 / 8 / 8 / 2的評分。

• 論文標題：Empowering Multi-Robot Cooperation via Sequential World Models
• 代碼地址：https://github.com/zhaozijie2022/seqwm

為什么多機器人協(xié)作如此困難？

當多個機器人同時參與決策時，系統(tǒng)的動力學會迅速變得復雜：每個機器人的動作都會影響環(huán)境，也會影響其他機器人接下來的決策。這使得多機器人協(xié)作成為強化學習和機器人領(lǐng)域長期以來的核心難題。核心原因在于：世界不再由單一策略驅(qū)動，而是由多個智能體共同決定。這帶來了兩個關(guān)鍵挑戰(zhàn)：

• 因果結(jié)構(gòu)復雜化：多個機器人同時作用于環(huán)境，導致動力學模型需要同時處理多個「因果源」，學習難度顯著增加。強行共享策略易產(chǎn)生梯度沖突。
• 決策 - 世界閉環(huán)被打破：在單機器人場景中，動作 → 環(huán)境變化之間形成穩(wěn)定閉環(huán)；而在多機器人系統(tǒng)中，每個機器人都受到其他機器人的影響，預測誤差會迅速累積。

圖 1：多智能體世界建模困境：在多個 robot 的作用下，足球去向哪里？

SeqWM：多機器人世界模型的順序式因果分解

現(xiàn)有方法通常把多機器人系統(tǒng)看作一個整體：所有機器人的狀態(tài)和動作會同時輸入到一個統(tǒng)一模型中，進而預測未來環(huán)境變化。然而，隨著機器人數(shù)量增加，這種聯(lián)合動力學建模的復雜度會迅速增長，使得模型難以穩(wěn)定學習和泛化，也增大了部署的難度。

SeqWM 從一個全新的視角重新思考了這個問題。研究團隊提出一個關(guān)鍵觀察：

多機器人世界的變化，其實可以被建模為多個機器人依次作用于環(huán)境的過程。

基于這一觀察，SeqWM 不再試圖學習一個復雜的整體動力學函數(shù)，而是將聯(lián)合動力學分解為一系列順序條件化的狀態(tài)轉(zhuǎn)移過程。每個機器人只需要學習：在已知前序機器人動作的條件下，自己對世界狀態(tài)演化所產(chǎn)生的邊際因果貢獻。形式上，原本的聯(lián)合動力學被重寫為順序條件化的分解形式：

這種順序式分解將復雜的多機器人動力學轉(zhuǎn)化為一系列條件預測問題，從而顯著降低了建模難度。

圖 2：R1 先規(guī)劃并共享未來軌跡，R2 據(jù)此調(diào)整路徑，實現(xiàn)對房間的協(xié)同探索

在軌跡預測階段，

• 每個機器人維護一個獨立的世界模型
• 每個模型只建模自身對環(huán)境的邊際貢獻
• 后續(xù)機器人在預測時條件化前序機器人的預測結(jié)果

這種結(jié)構(gòu)使得復雜的聯(lián)合動力學被拆解為多個簡單且可擴展的局部預測過程。

在動作規(guī)劃階段，SeqWM 使用 MPPI（Model Predictive Path Integral） 進行動作規(guī)劃。機器人按照順序進行規(guī)劃，并共享預測軌跡。這意味著：后續(xù)機器人在規(guī)劃時，可以提前知道前序機器人的未來計劃。這種機制形成了一種顯式的意圖共享，顯著增強協(xié)作能力。

圖 3：MPPI-based planner 示意圖

仿真實驗對比

研究團隊在兩個具有挑戰(zhàn)性的多機器人環(huán)境中評估了 SeqWM：

• Bi-DexHands：雙靈巧手協(xié)作操作任務(wù)
• Multi-Quadruped：多四足機器人協(xié)作任務(wù)

實驗結(jié)果表明：SeqWM 在所有任務(wù)中均顯著超過現(xiàn)有方法，在性能與樣本效率方面均取得領(lǐng)先。

圖4：仿真實驗可視化

協(xié)作行為如何自然產(chǎn)生？

SeqWM 不僅提升了任務(wù)成功率，還產(chǎn)生了多種自然協(xié)作行為。例如：

預測適應（Predictive Adaptation）：機器人能夠根據(jù)伙伴預測的未來動作提前調(diào)整動作。例如在接拋球任務(wù)中，接球機器人會提前移動到預測落點附近，從而穩(wěn)定完成抓取。

角色分工（Role Division）：在推箱子任務(wù)中：一只機器人負責 主要推進力，另一只機器人負責 方向調(diào)整。這種分工并非人工設(shè)計，而是在訓練中自然產(chǎn)生。

Sim-to-Real 真實機器人實驗

為了驗證算法在真實環(huán)境中的效果，研究團隊還將 SeqWM 部署到了 Unitree Go2-W 機器人平臺。實驗包括：推箱子、通過窄門、引導目標機器人：

實驗結(jié)果表明，真實機器人系統(tǒng)中的協(xié)作行為與仿真結(jié)果高度一致，驗證了 SeqWM 的實際應用潛力。

總結(jié)

SeqWM 提出了一種新的多機器人世界建模方式：通過順序因果結(jié)構(gòu)分解多機器人動力學。這一設(shè)計使得復雜的多機器人協(xié)作問題變得更加可建模、可規(guī)劃，也為真實機器人系統(tǒng)提供了一種可擴展的解決方案。隨著世界模型與強化學習技術(shù)的發(fā)展，未來的機器人系統(tǒng)或許能夠像人類團隊一樣，通過共享意圖與協(xié)同行動完成更加復雜的任務(wù)。