RoboTracer讓機器人理解復雜空間指令，開放世界也能精確行動

本文的主要作者來自北京航空航天大學、北京大學、北京智源人工智能研究院和中科院自動化研究所。本文的第一作者為北京航空航天大學博士生周恩申，主要研究方向為具身智能和多模態大模型。本文的共一作者兼項目負責人為北京智源研究院研究員遲程。本文的通訊作者為北京航空航天大學教授盛律和北京大學計算機學院研究員、助理教授仉尚航。

我們希望具身機器人真正走進真實世界，尤其走進每個人的家里，幫我們完成澆花、收納、清潔等日常任務。但家庭環境不像實驗室那樣干凈、單一、可控：物體種類多、擺放雜、隨時會變化，這讓機器人在三維物理世界中「看懂并做好」變得更難。

想象一下你下班回到家，對家用服務機器人說： 「按從左到右的順序給每盆花澆水；噴壺要在每朵花上方 1–5 厘米處停住再澆，這樣更均勻。」（如下圖）

對人來說這很自然，但對機器人來說，難點不在「澆水」本身，而在指令里隱含了大量空間約束：既有定性的（從左到右、在上方），也有定量的（1–5 厘米）。在雜亂的開放世界場景中，讓機器人穩定遵循這些約束，哪怕對目前最先進的視覺 - 語言 - 動作模型（VLA）也依然是挑戰。

一個直接的突破口是：讓視覺 - 語言模型（VLM）生成一條滿足這些空間約束的 3D 位置序列 ——空間軌跡（Spatial Trace）。它相當于一座橋梁：既能把「指令在 3D 空間中如何被理解與執行」的過程表達清楚，也能進一步用來指導機器人生成可執行的動作軌跡。但空間軌跡生成本質上非常困難，因為它需要在 3D 場景里進行多步、帶真實尺度約束的推理，并且每一步都要同時具備兩種關鍵能力：

• 3D 空間指代：理解指令中的各種空間關系，并在 3D 場景中準確指代定位相關物體（例如按「從左到右」依次找到每盆花）。
• 3D 空間度量：理解現實世界的絕對尺度并做計算（例如估計花的物理高度，確定其上方 1–5 厘米對應的具體 3D 位置）。

遺憾的是，現有很多 VLM 工作主要集中在 2D 空間推理或 2D 視覺軌跡生成：一方面往往弱化了軌跡生成最關鍵的「多步推理」過程，尤其缺少對中間關鍵對象的顯式建模，容易導致結果次優；另一方面輸出多停留在 2D 像素坐標，缺乏 3D 指代定位與絕對尺度理解。這也造成了 2D 視覺軌跡與 3D 空間軌跡之間的根本鴻溝。

為了解決這一問題，北京航空航天大學、北京智源人工智能研究院、北京大學等機構聯合推出了具備 3D 空間理解與推理能力的多模態大模型 ——RoboTracer。RoboTracer 通過全參數微調（SFT）強化空間信息的精準理解（空間感知 / 度量 / 指代），并進一步用強化學習微調（RFT）提升推理與泛化能力，最終在開放世界場景中實現可用的 3D 空間軌跡生成

• 論文鏈接：https://arxiv.org/pdf/2512.13660
• 論文標題：RoboTracer: Mastering Spatial Trace with Reasoning in Vision-Language Models for Robotics
• 項目主頁：https://zhoues.github.io/RoboTracer/
• 代碼倉庫：https://github.com/Zhoues/RoboTracer
• 評測鏈接：https://huggingface.co/datasets/JingkunAn/TraceSpatial-Bench

下面是真機實拍的機器人澆花過程，包含多步、帶真實尺度約束的推理

SFT 訓練下的 RoboTracer 在空間理解 / 空間度量 / 空間指代任務中達到了79.1% 的平均成功率，刷新了當前最先進水平。而在研究者提出的高難度空間軌跡生成任務評測基準TraceSpatial-Bench上，RFT 訓練后的 RoboTracer 更是領先所有其他模型，比 Gemini-2.5-Pro 高出 36% 的平均準確率，優勢顯著。

更關鍵的是，RoboTracer 直接做到「開箱即用」：可以靈活集成到不同類型的機器人上，比如 UR5 機械臂、G1 仿人機器人等，在真實環境中完成復雜、動態、多步驟任務，讓機器人真正做到「聽得懂、看得清、動得準」。

RoboTracer 是什么？

RoboTracer 是一個三維空間理解與推理能力的多模態大模型，其擁有單獨的圖片編碼器和支持任意多幾何輸入（絕對深度圖，相機內參）的空間編碼器。該模型具備較完備的空間感知推理能力，不僅僅可以回答各種空間感知類問答，無論是「哪個物體在左邊？」這樣的定性問題，還是「這個物體高度是多少？」這樣的定量問題，并且還預測當前場景的尺度縮放因子；更厲害的是，它還可以基于 3D 空間指代和 3D 空間度量進行，復雜的組合式推理，最終準確生成精確的空間軌跡（如上圖，逐一從左到右確定每一盆花的 3D 位置及其高度）。

RoboTracer 的核心是什么？

為什么相較于以往的方法，RoboTracer 不僅可以精確的感知空間，而且又可以根據多個空間關系組合泛化進行帶真實尺度約束的推理呢？其關鍵因素在于以下幾點：

解耦 (u, v, d) 表達增強多任務學習

傳統方法直接回歸 (x, y, z) 坐標，往往要求模型強行根據單目圖片預測復雜的相機幾何信息（比如相機內參），導致訓練難、精度低。RoboTracer 提出了一種符合具身場景的解法：利用 (u, v, d) 進行解耦表達。這種表示法利用圖像像素 (u, v) 和深度 d，結合已知的相機內參，輕松換算真實 3D 坐標。其核心優勢在于：

1. 降低學習門檻：不用讓 VLM「硬學」復雜的相機幾何信息，訓練更簡單，精度也更高。

2. 數據復用能力更強：(u, v, d) 很容易投影到更低維的任務上 —— 去掉 d 就變成 2D 軌跡；只保留起點 / 終點，又能構造成 2D/3D 的空間指代數據。

通用空間編碼器與尺度解碼器提升絕對尺度感知

想要精準定位物體、測量距離，模型必須理解「真實世界的尺寸」。但很多只用 RGB 訓練的VLM 缺少絕對尺度概念，因此距離 / 尺寸容易估不準。為了解決這一點，研究者加入兩個關鍵模塊：

1. 尺度解碼器：將

token直接回歸成一個數值尺度因子，把「尺度不變的特征」與「真實世界的絕對長度」對應起來。相比分類損失，用回歸損失監督更能提升對三維真實尺度的感知。

2. 通用空間編碼器：借助前饋式三維度量幾何模型提供的強幾何先驗，顯著增強模型的空間與尺度理解。它還能按需融合不同幾何信息（如相機內參、位姿、深度）：幾何信息越多，空間表示越精細。該設計帶來兩點好處：（1）訓練更靈活：通過靈活輸入增強，把不同數據集中帶尺度標注的信息用起來，提升空間學習效果（2）推理更自適應：無需重新訓練或改結構，就能融合當前可用的幾何信息。

SFT 增強感知，RFT 搭配過程獎勵提升推理

RoboTracer 采用兩階段訓練策略，其中 SFT 階段針對性地提升模型的單步 3D 空間理解 / 空間度量 / 空間指代能力；RFT 階段不僅關注最終軌跡結果的獎勵，還創新性地設計度量敏感過程獎勵，這些獎勵函數能夠顯式監督軌跡生成中涉及的關鍵中間感知步驟（如 3D 指代、3D 度量和尺度預測）的質量。最終，模型增強了多步、帶真實尺度約束的推理，實現了對復雜空間約束任務的空間軌跡規劃。

提出 TraceSpatial 數據集

教一個多模態大模型從0到1學會生成空間軌跡

為了支持前述的 SFT 和 RFT 訓練，研究團隊構建了一個大規模、高質量、帶真實尺度的數據集 ——TraceSpatial，具有以下幾個核心特點：

• 場景多樣：覆蓋室內外和桌面環境，包含物體和末端執行器兩種分別為中心的空間軌跡，后者包含 3 種不同的單臂 / 雙臂機器人構型。
• 維度豐富：包含大量尺度相關數據（占 48.2%），還附帶詳細的多步推理過程（最高有 9 步），為復雜空間軌跡生成提供支持。
• 規模龐大：共包含 450 萬個樣本、3000 萬個問答對，目前最大 3D 空間數據集。
• 精細標注：每個物體都配有層級式描述，從「花」這類種類類別，到像「左數第一個盆花」這樣的精確空間指代，確保在復雜場景中也能清晰用文字表述。同時包含大量絕對尺度的幾何信息標注（比如相機內參、深度圖）以支持靈活的輸入增強。
• 高質量篩選：數據經過嚴格篩選，確保標注準確、語義清晰。
• 易于擴展：支持從多種來源生成空間軌跡數據，包括 2D 圖像、3D 掃描數據和機器人操縱視頻，具備高度擴展性。

RoboTracer 到底有多厲害

空間理解 / 空間度量 / 空間指代

SFT 訓練下的 RoboTracer 在空間理解 / 空間度量 / 空間指代任務中達到了79.1% 的平均成功率，取得了當前最先進水平，比 Gemini-2.5-Pro 高出 11% 的平均準確率

空間軌跡評測

RFT 訓練后的 RoboTracer 在研究者們提出的高難度空間軌跡生成任務評測基準TraceSpatial-Bench上更是領先所有其他模型，比 Gemini-2.5-Pro 高出 36% 的平均準確率

下面展示一些 RoboTracer 與其它模型輸出結果的可視化樣例，不難發現目前的 VLM 都理解空間關系并且生成 2D 軌跡，但是由于絕對深度預測不精確導致生成的空間軌跡往往浮空或者碰撞，而 RoboTracer 可以較為精確地預測，而且更多的幾何輸入預測結果更精確。

仿真與真機實驗

在空間操控的機械臂仿真評測中，RoboTracer 的表現遠超現有的視覺 - 語言 - 動作（VLA）系統。不僅在模擬環境中成功率遙遙領先，面對開放世界中需要多步、帶真實尺度約束的推理的復雜任務，唯有 RoboTracer 能夠完成

更多的實驗結果，可視化展示（包括更多的雜亂場景下的真機 Demo 視頻的空間軌跡生成結果）詳見論文和主頁。