告別機器人“斷片”！KAIST和UC Berkeley團隊讓VLA模型擁有記憶

機器人伸手去拿桌上的杯子，它需要知道自己剛才有沒有抓住過這個杯子嗎？答案是肯定的。但現有的視覺-語言-動作模型（VLA）大多只盯著當前畫面做決策，完全沒有“歷史記憶”。這就導致機器人在處理遮擋物體、多步驟堆疊這類需要上下文的任務時，很容易陷入混亂。

近日，來自KAIST和UC Berkeley 的團隊提出了一個名為HAMLET的框架，給預訓練VLA模型補上了“歷史感知”的短板。這個輕量級插件不需要從頭訓練大模型，卻能讓機器人在長時操控任務中，平均成功率直接提升47.2%。在真實場景的“蓋方塊 疊杯子”任務里，HAMLET更是把成功率從37.5%拉到了79.2%，徹底解決了機器人“斷片”的問題。

01.

沒有記憶的機器人 連疊杯子都做不好

當下主流的VLA模型，比如GR00T N1.5、CogACT，都遵循“單幀假設”，只靠當前的視覺畫面和文本指令來預測下一步動作。這種設計在簡單任務里沒問題，但遇到需要上下文的長時任務，就會立刻露怯。

舉個例子，“用最近的杯子蓋住方塊，再把另一個杯子疊上去”這個任務，當機器人用第一個杯子蓋住方塊后，方塊就被遮擋住了。如果沒有歷史記憶，機器人看著眼前的兩個杯子，根本不知道哪個杯子下面藏著方塊，大概率會重復抓取同一個杯子。論文里的實驗也印證了這一點：GR00T N1.5在這個任務上的成功率只有37.5%，甚至會出現“拿起杯子又放下，反復橫跳”的滑稽場面。

更麻煩的是，給模型簡單堆砌歷史幀根本行不通。研究團隊發現，在VLA輸入里多塞4幀歷史畫面，會讓模型的前向推理速度變慢35%，峰值內存占用直接暴漲3.6倍。這種粗暴的方法不僅效率低下，還會因為引入冗余信息，導致模型在復雜場景下的泛化能力下降。

02.

HAMLET的兩大核心：給每一刻“拍快照”，再用記憶模塊整合

HAMLET的巧妙之處在于，它沒有拋棄現有的VLA模型，而是通過兩個核心組件，給模型加裝了一個輕量化的“記憶系統”，整個過程只需要微調，不用從頭訓練。

1、時刻令牌：給每個時間步拍一張“信息快照”

首先，HAMLET設計了 時刻令牌（moment tokens） ，用來給每個時間步的場景信息做“壓縮存檔”。這些令牌是可學習的向量，會被拼接到VLA模型的輸入序列里。

為了讓時刻令牌只記住關鍵信息，團隊用了時間對比學習（TCL）的方法來初始化它們。具體來說，就是讓同一個時間步的增強圖像（比如加了模糊、噪聲的版本）對應的令牌盡可能相似，讓不同時間步的令牌盡可能不同。這樣一來，時刻令牌就會自動忽略掉桌子、墻壁這些靜態背景，只聚焦于機器人抓手、待操作物體這些動態變化的關鍵區域。

經過TCL初始化的時刻令牌，相當于給每個時間步的場景拍了一張“信息快照”，既保留了任務相關的動態特征，又剔除了冗余信息，為后續的記憶整合打下了基礎。

2、輕量記憶模塊：只提取有用的歷史信息

有了時刻令牌這個“快照庫”，接下來就需要一個 記憶模塊 來篩選和整合這些快照。HAMLET沒有用復雜的循環神經網絡，而是選擇了一個兩層的Transformer架構，專門用來處理歷史時刻令牌。

這個記憶模塊會把最近的T個時刻令牌堆疊成一個歷史矩陣，再通過因果自注意力機制，自動判斷哪些歷史時刻對當前決策更重要。比如在“交換兩個方塊”的任務中，當機器人需要決定下一步抓哪個方塊時，記憶模塊會重點關注“藍色方塊被放到輔助位置”的那個時間步，而忽略掉無關的移動過程。

最終，記憶模塊會輸出一個融合了歷史信息的特征向量，把它和VLA模型原本的單幀特征拼接在一起，再輸入到動作預測頭里。這樣一來，模型就能同時參考當前畫面和歷史上下文，做出更準確的決策。

03.

實測：長時任務成功率碾壓基線，效率還更高

為了驗證HAMLET的效果，團隊在真實機器人和仿真環境中做了大量實驗，測試對象包括GR00T N1.5和CogACT兩款主流VLA模型。

在真實場景的三項長時任務中，HAMLET的表現堪稱驚艷。在“兩次拾取放置”任務里，它把GR00T N1.5的成功率從12.5%提升到66.7%；在“交換方塊”任務中，成功率從37.5%躍升至83.3%，平均成功率直接達到76.4%，比基線模型高出47.2個百分點。

即便是在通用仿真基準測試中，HAMLET也展現出了強大的泛化能力：在RoboCasa Kitchen數據集上，它把成功率從64.1%提升到66.4%；在LIBERO數據集上，更是將行業領先的95.6%成功率推高到97.7%。

更關鍵的是，HAMLET在提升性能的同時，還保持了極高的效率。對比簡單堆疊歷史幀的方法，當歷史長度為8時，后者會讓模型推理速度變慢2.4倍，內存占用暴漲7倍；而HAMLET的推理速度僅增加7%，內存占用僅增加1倍，完全不會給部署帶來額外負擔。

04.

不只是 機器人：記憶模塊還能跨任務遷移

HAMLET的另一個驚喜之處在于，它的記憶模塊具備 跨任務遷移能力 。團隊做了一個有趣的實驗：先在LIBERO數據集上訓練記憶模塊，然后直接把它遷移到RoboCasa Kitchen數據集上測試。結果顯示，遷移后的記憶模塊依然能讓模型成功率提升1.9個百分點，幾乎和在目標數據集上訓練的效果持平。

這意味著，HAMLET的記憶模塊學到的不是某個特定任務的歷史規律，而是一種通用的“歷史信息處理能力”。未來只要在一個數據集上訓練好記憶模塊，就能直接用到其他機器人操控任務中，大大降低了部署成本。

05.

結語與未來：

HAMLET的出現，解決了VLA模型“沒有歷史記憶”的核心痛點。它不需要重構大模型的架構，也不需要海量的訓練數據，只通過時刻令牌和輕量記憶模塊的組合，就能讓現有VLA模型快速具備歷史感知能力。

在機器人邁向通用化的路上，“記憶”無疑是不可或缺的一環。當機器人能記住自己剛才做了什么，能分辨出哪個物體是之前操作過的，它才能真正理解復雜的人類指令，完成更具挑戰性的長時操控任務。

論文地址：https://arxiv.org/pdf/2510.00695

項目地址：https://myungkyukoo.github.io/hamlet/