具身導航從模仿到超越！CompassNav：從路徑模仿到?jīng)Q策理解的導航

文章來源：視覺語言導航。

• 作者：LinFeng Li , Jian Zhao , Yuan Xie , Xin Tan , Xuelong Li

• 單位： 華東師范大學， 中國電信人工智能研究所

• 論文標題：CompassNav: Steering From Path Imitation To Decision Understanding In Navigation

• 論文鏈接：https://arxiv.org/pdf/2510.10154

• 項目主頁：https://linengcs.github.io/CompassNav/

• 代碼鏈接：https://github.com/linengcs/CompassNav

• 提出新的導航范式 ：從傳統(tǒng)的路徑模仿轉(zhuǎn)變?yōu)闆Q策理解，旨在培養(yǎng)能夠真正理解導航?jīng)Q策的智能體，而不僅僅是模仿專家路徑。

• 構(gòu)建Compass-Data-22k數(shù)據(jù)集 ：包含22k軌跡，其中的RFT子集通過為每一步的所有可行動作標注A*測地線距離，為決策空間提供了全景視圖。

• 設計差距感知混合獎勵函數(shù) ：根據(jù)決策確定性動態(tài)調(diào)整反饋，既能為最優(yōu)動作提供明確信號，又能鼓勵探索，與RFT子集的密集標注緊密結(jié)合，培養(yǎng)智能體的決策能力。

• 實現(xiàn)CompassNav框架 ：采用SFT-then-RFT的訓練方案，使7B參數(shù)的智能體在目標導航基準測試中達到新的最高水平，超越了更大的專有模型，并在真實物理環(huán)境中實現(xiàn)了穩(wěn)健的目標導航。

• 目標導航的重要性 ：目標導航是智能體在復雜、未見過的環(huán)境中自主操作的關鍵能力之一，要求智能體能夠自由探索并進行空間推理以實現(xiàn)目標，而無需明確的、逐步的指導。

• 現(xiàn)有方法的局限性 ：目前主流的訓練視覺語言大模型（LVLM）進行導航的方法依賴于模仿專家軌跡，這種方法將復雜的導航任務簡化為單一正確路徑的序列復制，限制了智能體的探索能力和泛化能力。

創(chuàng)建一個能夠提供密集、細粒度監(jiān)督信號的數(shù)據(jù)集，以支持智能體學習決策理解，而不僅僅是模仿單一專家路徑。

• 使用 Action Proposer Module（APM） ，在每個時間步生成可行的候選動作，這些動作以極坐標元組（r,θ）表示，并在智能體的視野中以箭頭形式渲染。

• 利用 Oracle A* Planner ，為每個候選動作計算到目標的測地線距離。智能體主要沿著最優(yōu)路徑前進，但在存在多個幾乎最優(yōu)的動作（決策點模糊）時，會探索并記錄這些替代路徑。

• 記錄每一步中所有候選動作的測地線距離，生成多樣化的目標中心軌跡，每一步都標注了全景式的監(jiān)督信號，捕捉了到達目標的多條有效路徑。

• 數(shù)據(jù)結(jié)構(gòu) ：將生成的密集標注數(shù)據(jù)結(jié)構(gòu)化為RFT（Reinforcement Fine-Tuning）數(shù)據(jù)。每個RFT數(shù)據(jù)樣本包含標準輸入（指令提示和智能體當前視覺觀察）以及用于獎勵建模的專門目標對象。目標對象包含最優(yōu)動作的ID以及該步驟所有候選動作的完整A*距離向量，為差距感知混合獎勵函數(shù)和GRPO（Group-wise Reward Policy Optimization）框架提供了必要的細粒度、分級偏好信號。

解決從基礎LVLM（Large Vision-Language Model）直接開始RFT（Reinforcement Fine-Tuning）時面臨的“冷啟動”問題，通過知識蒸餾策略為智能體提供一個基礎的“推理-行動”能力。

• 采用強大的教師模型Qwen-QvQ，在habitat-sim中執(zhí)行ObjectNav任務，記錄其成功劇集中的完整推理過程和動作選擇。

• 僅從教師模型的成功劇集中提取數(shù)據(jù)，形成SFT（Supervised Fine-Tuning）數(shù)據(jù)集，以反映有效的探索策略。

• 數(shù)據(jù)結(jié)構(gòu) ：每個SFT訓練實例與RFT數(shù)據(jù)具有相同的輸入結(jié)構(gòu)，但目標輸出是一個包含教師完整推理過程和決策的單個字符串，格式為 ...reasoning... k ，明確訓練模型在采取行動之前外化其推理過程，建立基礎的“推理-行動”行為。

通過模仿學習培養(yǎng)智能體的基礎“推理-行動”能力，為后續(xù)的RFT階段提供一個良好的初始策略。

• 使用Compass-Data-SFT-11k數(shù)據(jù)集，訓練模型在每個時間步生成兩部分響應：推理過程和最終動作選擇，格式為 ... k 。

• 采用 掩碼多選解碼技術 ，通過在解碼器的輸出logits上應用掩碼softmax，限制詞匯表僅包含有效候選動作的索引，確保生成的所有輸出都是可執(zhí)行的，這對于后續(xù)RFT階段的穩(wěn)定性至關重要。

• 使用標準的交叉熵損失函數(shù)對整個教師生成的序列（包括推理標記和最終動作標記）進行訓練，以學習模仿教師模型的推理和決策過程。

在SFT初始化的策略基礎上，利用環(huán)境目標對齊策略，通過差距感知混合獎勵函數(shù)實現(xiàn)真正的決策理解。

• 使用GRPO（Group-wise Reward Policy Optimization）框架，對給定的輸入提示，使用策略πθ生成一組G個不同的輸出序列，并為每個生成的序列根據(jù)選擇的動作質(zhì)量分配獎勵，獎勵由差距感知混合獎勵函數(shù)計算。

• 差距感知混合獎勵函數(shù) ：

• • 基礎分數(shù) ：通過softmax函數(shù)根據(jù)到目標的距離對所有可用選項進行連續(xù)評估，距離越短的動作得分越高，反映其相對質(zhì)量。

  • 動態(tài)獎金 ：通過測量最佳和次佳選項之間的歸一化差距來評估當前情況的確定性，差距越大，確定性越高，獎金也越高，但僅對最優(yōu)行動觸發(fā)。

  • 最終獎勵將基礎分數(shù)與動態(tài)獎金相結(jié)合，通過調(diào)整獎勵信號的強度，既能在高確定性情況下提供明確的信號，又能在低確定性情況下鼓勵探索。

• 目標函數(shù) ：GRPO目標函數(shù)最大化生成組的預期獎勵，在計算優(yōu)勢后，通過最小化損失函數(shù)來優(yōu)化策略，同時使用KL散度項對策略更新進行正則化，以保持策略與SFT階段的參考策略之間的相似性，從而鼓勵策略生成導致高獎勵動作的序列。

• 數(shù)據(jù)集和任務 ：

• • 在habitat-sim中使用HM3Dv2訓練集生成訓練數(shù)據(jù)。

  • 在HM3Dv1-val、HM3Dv2-val和MP3D-val三個未見驗證集上評估智能體的泛化能力，這些驗證集包含完全未見過的場景和目標實例，確保對智能體在新環(huán)境中的導航能力進行嚴格評估。

  • 主要任務是Object-Goal（Chaplot et al., 2020）和Instance-Image-Goal Navigation（Krantz et al., 2022）。

• 評估指標 ：

• • 成功率（SR）：衡量成功劇集的比例。

  • 路徑長度加權(quán)成功率（SPL）：根據(jù)實際路徑與最優(yōu)路徑長度的比值對每次成功進行加權(quán)。

• 實現(xiàn)細節(jié) ：

• • CompassNav基于開源的Qwen2.5-VL-7B模型構(gòu)建。

  • 使用兩階段SFT-then-RFT訓練方案。

  • 具體訓練框架、超參數(shù)和硬件配置等詳細信息見附錄E。

• 與模塊化導航方法的比較 ：

• • 上表展示了CompassNav與多種先進模塊化系統(tǒng)（如Habitat-Web、ESC、L3MVN、InstructNav、PSL、VoroNav、Pixel-Nav、VLFM、GAMap、SG-Nav和UniGoal等）的對比結(jié)果。

  • CompassNav在HM3D和MP3D驗證集上的成功率（SR）和成功率加權(quán)路徑長度（SPL）指標均優(yōu)于或接近這些模塊化方法，盡管CompassNav采用的是更簡單的端到端方法，而模塊化方法通常依賴于復雜的多階段流程和顯式記憶（如語義地圖、歷史圖像等）。

  • 例如，在HM3Dv2-val驗證集上，CompassNav的SR為56.6%，SPL為27.6%，而UniGoal的SR為54.5%，SPL為25.1%。

• 與端到端LVLM的比較 ：

• • 上表展示了CompassNav與各種開源和專有模型的對比結(jié)果。

  • CompassNav顯著優(yōu)于其他大型LVLM，如Qwen2-VL-7B、Qwen2.5-VL-3B、LLama3.2-11B等，甚至超過了以強大通用推理能力著稱的GPT-4o和Gemini-2.5-Flash等模型。

  • 例如，在ObjectNav任務上，CompassNav的SR為61.6%，SPL為27.8%，而GPT-4o的SR為52.4%，SPL為23.5%。

  • 特別地，CompassNav在HM3D-OVON基準測試中超越了Nav-R1，盡管Nav-R1使用了更多的訓練數(shù)據(jù)，并且從3D專用模型開始訓練，而CompassNav僅使用了十分之一的訓練數(shù)據(jù)，并從通用LVLM開始訓練，這進一步證明了CompassNav框架的有效性。

• SFT的有效性：

• • 上表展示了從基礎模型直接開始RFT只能獲得有限的性能提升（SR為23.5%，SPL為6.95%），而經(jīng)過SFT初始化后再進行RFT可以顯著提高性能（SR為35.6%，SPL為14.8%），驗證了兩階段方法的協(xié)同作用。

  • 此外，僅在SFT階段教授模型輸出導航任務的動作空間實際上會降低性能（SR為17.9%，SPL為5.78%），這表明CompassNav框架中完整的SFT過程對于培養(yǎng)智能體的推理能力至關重要。

• 獎勵函數(shù)的分析：

  
  

• • 
    

    上圖和上表展示了差距感知混合獎勵函數(shù)的優(yōu)越性。

  • 與二進制獎勵和線性歸一化最小-最大獎勵等常見基線相比，差距感知混合獎勵函數(shù)在不同導航場景下表現(xiàn)出更好的性能，能夠為智能體提供更有意義的學習信號，促進其泛化能力。

  • 例如，在高確定性情況下，差距感知混合獎勵函數(shù)能夠為最優(yōu)動作和次優(yōu)動作之間創(chuàng)建較大的獎勵差距（如1.00與0.12），而在低確定性情況下，它能夠為接近的動作分配類似的非極端分數(shù)，鼓勵探索而不是任意懲罰可行的選擇。

  • 此外，訓練動態(tài)曲線表明，盡管二進制和最小-最大獎勵模型在訓練過程中能夠獲得較高的分數(shù)，但這僅僅是因為它們在模仿單一最佳動作方面表現(xiàn)出色，而差距感知混合獎勵函數(shù)雖然在絕對分數(shù)上較低，但它教會了模型評估所有選項，從而培養(yǎng)了更通用的推理能力。

• 結(jié)論 ：

• • CompassNav框架通過從路徑模仿轉(zhuǎn)向決策理解，成功地將一個7B參數(shù)的LVLM轉(zhuǎn)變?yōu)榫哂行伦罡咚綄Ш侥芰Φ膶＜抑悄荏w。

  • 該框架不僅在模擬環(huán)境中超越了更大的專有模型，還在真實世界的部署中表現(xiàn)出了穩(wěn)健的性能，為未來低成本、智能的具身智能體研究鋪平了道路。

• 未來工作 ：

• • 進一步優(yōu)化數(shù)據(jù)生成管道以提高效率和數(shù)據(jù)質(zhì)量；探索更復雜的獎勵函數(shù)設計，以更好地捕捉導航任務中的各種因素。

  • 研究如何將外部記憶模塊與框架更有效地集成，以增強智能體的長期規(guī)劃和記憶能力等。