400篇參考文獻重磅綜述，統一調查「人腦×Agent」記憶系統

跨學科突破：神經科學如何讓 Agent 擁有「人類式」記憶？

你是否想過 Agent 能像人類一樣積累經驗、不斷成長？如今，這一愿景正加速走向現實。但是，現有研究要么只聚焦 AI 技術本身，要么對人腦記憶機制的借鑒浮于表面，兩個學科之間始終缺少真正的靈感碰撞。

哈工大、鵬城實驗室、新加坡國立、復旦、北大聯合發布了一篇重磅綜述《AI Meets Brain: A Unified Survey on Memory System from Cognitive Neuroscience to Autonomous Agents》，首次打破認知神經科學與人工智能之間的學科壁壘，系統性地將人腦記憶機制與 Agents 記憶統一審視，為設計真正「類人」的 Agent 記憶系統奠定理論基石。

全文橫跨認知神經科學與人工智能兩大領域，涉獵相關文獻共 400 篇。

• 論文鏈接：http://arxiv.org/abs/2512.23343
• Github 鏈接：https://github.com/AgentMemory/Huaman-Agent-Memory

什么是記憶？

綜述重新定義了記憶。記憶不僅僅是數據的存儲，它也是認知的紐帶。綜述從認知神經科學到 Agent 對記憶進行了剖析：

1.認知神經科學角度：連接過去與未來的橋梁

在人腦中，記憶不僅僅是回放信息，其本質是大腦存儲和管理信息的過程。記憶是連接過去經驗與未來決策的認知橋梁。它分為兩個階段：在第一階段，當大腦獲得新概念或遇到新事件時，它會快速形成特定的神經表征，同時整合和存儲這些信息。在第二階段，大腦對存儲的表征進行操作，要么隨著時間的推移鞏固它們，要么根據類似的未來情況檢索它們。

2.LLM 視角：三種形態的并存

對于大語言模型，記憶并非單一的存儲結構，而是表現為三種形式：

• 參數記憶（Parametric Memory）：內化在神經網絡權重中的知識，對應人類的抽象長期記憶。
• 工作記憶（Working Memory）：基于上下文窗口，負責實時推理。
• 顯式外部記憶（Explicit External Memory）：RAG 是典型代表，通過解耦計算與存儲，使 LLM 從「知識庫」變為「知識調度器」。

3.Agent 視角：從存儲到認知的躍遷

Agent 的記憶超越了 LLM 的簡單存儲，它是一個動態的認知架構，該綜述選擇沿著三個核心維度解構記憶：

• 結構化存儲：旨在將非結構化自然語言交互轉換為易于機器索引和理解的有效格式。
• 動態調度：解決了有限的注意力資源和大量記憶存儲之間的沖突，模擬了人腦的遺忘與喚醒機制。
• 認知進化：Agent 必須深入反思、抽象和重組記憶內容，從而推動其行為策略的持續更新。

Agent Memory vs RAG：傳統的 RAG 側重于將 LLM 連接到靜態的知識庫進行查詢，而 Agent Memory 是嵌入在 Agent 與其環境之間的動態交互過程中，不斷地將 Agent 操作和環境反饋生成的信息合并到記憶容器中。

記憶有何用？

在認知神經科學中，記憶構成了大腦編碼、存儲和檢索信息的神經過程，使個體能夠保留過去的經驗并利用它們來指導正在進行的行為并為未來的決策提供信息。

在 LLM 驅動的 Agent 中，模型原生的無狀態性與復雜、長期任務所需的連續性需求之間存在著天然的鴻溝。因此，記憶超越了其作為橋接歷史交互的被動存儲庫的角色，而是充當 Agent 認知架構中的關鍵主動組件。因此，給 Agent 裝上記憶系統，并非只是為了記住，而是為了實現三大核心作用：

圖 1. 記憶通過減輕上下文窗口限制、實現長期個性化以及驅動基于經驗的推理來擴展 Agent 的能力。

1.突破上下文窗口的限制：

• 啟發式上下文設計：通過設計啟發式規則來管理記憶。
• 自主記憶優化：讓 Agent 把記憶管理提升為可學習的內在能力。

2.構建長期個性化畫像：

• 畫像構建：Agent 能從碎片化的歷史對話中，提煉出你的核心特質和信息。它不僅會記錄發生了什么，還會定期反思，推測你話語背后的潛在動機，從而在腦海中建立一個個性化檔案。
• 偏好對齊執行：當 Agent 替你執行任務時，記憶庫會充當隱形指揮棒。不需要反復叮囑，它會自動調用記憶中的偏好約束決策。

3.驅動基于經驗的推理：

• 戰略指導：檢索歷史上相似的成功案例或從中提煉的高層經驗，指導當前的決策，避免重蹈覆轍。
• 程序固化：將成功的推理過程轉化為可復用的技能或可執行的結構。

記憶的分類學

在談論 Agent 記憶的分類之前，綜述首先梳理了認知神經科學對記憶的經典定義。人腦的記憶并不是一個單一的黑盒，而是一個分工明確的復雜系統。

1.基于認知神經科學的分類：

記憶的概念最初源于認知神經科學，它被廣泛地定義為大腦存儲和管理信息的認知過程，允許在原始刺激或事件不再存在后訪問和使用這些信息，通常分為短期記憶和長期記憶。

• 短期記憶（Short-term Memory）：
• 定義：大腦的臨時工作臺。它負責在極短的時間窗口（約 15～20 秒）內維持和處理信息。
• 特征：容量非常有限（通常只能容納 4～9 個單位的信息）。

• 長期記憶（Long-term Memory）：
• 定義：大腦的永久檔案館。它可以存儲從幾分鐘到幾十年的信息。
• 特征：沒有嚴格的容量限制，且結構高度組織化。
• 長期記憶可繼續分為情景記憶和語義記憶：

1. 情景記憶（Episodic Memory）：指對個人親身經歷過的特定事件的記憶。此類記憶通常不僅包括有關事件本身的詳細信息，還包括其時間和空間背景，即事件發生的時間和地點。
2. 語義記憶（Semantic Memory）：指對所學事實知識、概念和規則的記憶。這些記憶與獲取的特定時間和地點無關，并且它們的檢索并不伴隨著對過去特定事件的生動重新體驗。

2.Agent 的雙維度記憶分類

綜述中指出，連貫的記憶分類對于系統地理解和設計 Agent 系統中的記憶機制至關重要。為了適應復雜的自主任務，綜述提出了一套雙維度的分類法。

圖 2. (a) 基于性質的分類法，根據編碼的信息類型對記憶進行分類。 (b) 基于范圍的分類，根據記憶的應用范圍來區分。

（1）.基于「性質」的分類（Nature-based）

這是直接對齊人腦「情景和語義」的分類方式，決定了 Agent 在推理時使用的是「經驗」還是「知識」。

• 情景記憶（Episodic Memory）：
• 定義：任務式數據庫
• 存儲內容：完整的交互軌跡（Trajectory）
• 核心作用：提供過程性知識，即「How to」

• 語義記憶（Semantic Memory）：
• 定義：存儲 Agent 的知識庫
• 存儲內容：事實、概念、規則和常識
• 核心作用：提供陳述性知識，即「What-is」

（2）.基于「范圍」的分類 (Scope-based)

這是基于記憶在任務流中的生命周期和適用范圍進行的劃分。

• 軌跡內記憶（Inside-trail Memory）：
• 定義：臨時工作區
• 存儲內容：當前任務的中間步驟、臨時變量和即時的觀察結果
• 作用域：僅在當前任務或會話中有效
• 特點：用完即走。當情景結束時，該記憶通常會被清除或重置

• 跨軌跡記憶（Cross-trail Memory）：
• 定義：永久存儲庫
• 存儲內容：可概括的模式、學習的策略、可重用的知識
• 作用域：跨越多個任務、多個對話，甚至跨越 Agent 的整個生命周期
• 核心作用：提供陳述性知識，即「What-is」

記憶的存儲機制

記憶存儲的關鍵在于記憶的存儲位置和記憶的存儲形式。

1.認知神經科學中的記憶存儲

在人腦中，記憶存儲是一個跨腦區的動態協作過程。

• 短期記憶
• 存儲位置：分布在感覺皮層和額頂網絡（Sensory-frontoparietal network）。
• 機制：感覺皮層保留細節，額頂網絡支持跨模式表示，允許不同通道信息在共享表示空間中鏈接和操作。
• 存儲形式：

1. 持續活動（Persistent activity）：保持高水平的放電活動
2. 活動 - 沉默突觸連接（Synaptic connection weights）：仍可能有用的項目可以默默存儲并在需要時重新激活

• 長期記憶
• 存儲位置：海馬體（Hippocampus） + 新皮層（Neocortex）。
• 機制：海馬體不是倉庫，而是索引。新機制先在海馬體暫存，通過系統鞏固，慢慢轉移到新皮層這個永久倉庫中。
• 存儲形式：

1. 事件單元（Event-based unit）：把連續的生活切片成一個個獨立的事件包。
2. 認知地圖（Cognitive map）：人腦把概念和知識也畫成了地圖，通過認知距離表示關系的遠近。

圖 3. 認知神經科學中的記憶存儲機制概述，包括短期和長期記憶的存儲位置和存儲格式。

2.Agent 中的記憶存儲

不同于人腦渾然天成的神經網絡，Agent 的記憶系統是顯式的工程構建。不僅要解決存在哪的物理限制，還要在怎么存上進行復雜的數據結構選型，以在計算成本和推理能力之間尋找最優解。

• 存儲位置
• 上下文窗口（Context Window）：對應軌跡內記憶。主要存放當前的對話流。
• 記憶庫（Memory Bank）：對應跨軌跡記憶。外掛的存儲庫，容量近似無限。

• 存儲形式
• 文本（Text）：自然語言形式，比較直觀
• 圖結構（Graph）：實體和關系組成的結構化網絡，支持關系提取和模式發現，能夠識別節點之間的隱式鏈接，從而輔助復雜的邏輯信息查詢
• 參數（Parameters）：模型權重，通過訓練內化記憶
• 隱式表示（Latent Representation）：高維向量，檢索速度快

記憶的管理系統

記憶不是一個靜態的倉庫，而是一條奔流不息的河流。在人類大腦中，記憶通過海馬體的重播和新皮層的鞏固，不斷被重寫和重構。而在 Agent 中，記憶管理則是提取（Extraction）、更新（Updating）、檢索（Retrieval）、應用（Application）的精密閉環。

1.認知神經科學：大腦的動態循環

人腦的記憶管理不是簡單的「寫入」和「讀取」，而是一個充滿可塑性的動態過程。

圖 4. 認知神經科學中的記憶管理概述。該框架闡釋了信息處理的動態循環，包括記憶形成、更新和檢索，通過這個循環，長期記憶支持對外部環境的靈活適應。

• 記憶形成（Memory Formation）

記憶并非一蹴而就，它經歷了三個階段：

• 編碼（Encoding）：海馬體將新皮層內分布的感覺特征結合成統一的表征，并選擇性地調節其與感覺皮層的相互作用，以放大未來高效用的表征。
• 鞏固（Consolidation）：在清醒休息或睡眠等離線狀態下，海馬體通過重播，不斷與新皮層同步活動，重新組織和調整新信息，使其穩定下來。
• 整合（Integration）：通過海馬體與內側前額葉皮層的協作，將鞏固的記憶痕跡轉化為有組織的關聯知識，并最終將其重新分配至新皮層以實現持久的抽象存儲。

• 記憶更新（Memory Updating）

大腦如何修正錯誤的記憶？

• 機制：預測誤差（Prediction Error）是核心驅動力。當發現現實與記憶不符，大腦就會觸發更新機制。
• 策略：分化是為相似的新舊事件建立互斥的神經表征，防止混淆。整合是將新舊知識與預測誤差整合為一體。

• 記憶檢索（Memory Retrieval）

檢索即重構。

• 重構性：回憶不是回放錄像，而是根據線索（Cue）利用海馬體進行模式完成（Pattern Completion），重新構建當時的場景。
• 再鞏固（Reconsolidation）：每當回憶一次，這段記憶就會變得不穩定，容易被修改或增強。這也解釋了為什么 “常回憶” 能加深記憶，但也可能會植入虛假細節。

2.Agent 記憶管理：記憶管理的精密閉環

與在受限窗口內執行瞬態處理的標準大語言模型不同，Agent 通過顯式管理機制實現體驗的持久調節。

圖 5. Agent 中記憶管理的概述。該框架形成了一個由記憶提取、更新、檢索和利用組成的閉環管道，從而實現持久的經驗調節和長期推理。

• 記憶提取（Memory Extraction）
• 
  

Agent 不能把所有 Log 都存下來，它需要提煉：

• 扁平提取（Flat）：直接將原始信息記錄到存儲中或應用摘要和分段等輕量級預處理。
• 分層提取（Hierarchical）：通過多粒度抽象機制將碎片化信息組織成層次結構，旨在模擬人類在宏觀背景和微觀細節之間靈活切換的認知能力。
• 生成式提取（Generative）：旨在在推理過程中動態重建上下文，從而緩解因過大上下文長度帶來的計算開銷和注意力稀釋問題。

• 記憶更新（Memory Updating）
• 
  

遺忘是為了更好地記住，更新機制分為兩層：

• 軌跡內更新（Inside-Trial）：針對上下文窗口，像人類選擇性注意一樣，實時過濾無關噪聲，或在窗口快滿時觸發摘要工具，騰出工具。
• 跨軌跡更新（Cross-Trial）：針對外部記憶庫，引入遺忘機制，自動剔除低價值或長時間未訪問的記憶節點。

• 記憶檢索（Memory Retrieval）
• 
  

不僅僅是 Embedding 的相似度，主要分為兩種：

• 基于相似度（Similarity-based）：計算余弦相似度，找 Top-k，但相當于只懂字面意思，不懂邏輯結構。
• 多因素檢索（Multi-factor）：根據時間、重要性、相關性，結構效率和預期獎勵等因素確定記憶優先級

• 記憶應用（Memory Application）

記憶怎么用，主要有兩種作用：

• 上下文利用（Context Utilization）：將記憶視為被動參考的傳統檢索增強生成范式。
• 參數內化（Parameter Internalization）：該范式借鑒終身學習將顯性記憶轉化為隱性參數。

Agent 記憶系統評測

綜述將現有的 Benchmark 分為了兩類：

• 面向語義（Semantic-oriented）：重點關注 Agent 如何構建、維護和利用其內部記憶中的信息狀態。
• 面向情景（Episodic-oriented）：旨在評估復雜下游應用場景（使用外部工具完成任務）中 Agent 上記憶系統的實際性能增益。

表 1. 面向語義的基準

表 2. 面向情景的基準

Agent 記憶的安全

1. 攻擊

隨著 Agent 被部署在長期任務中，記憶成為了攻擊。其主要的攻擊方式分為兩類：

• 竊取攻擊（Extraction-based Attack）：把隱私「套」出來，攻擊者的目標是 “偷數據”，其手段是利用精心設計的 Prompt 誘導 Agent。例如，黑客可能偽裝成系統管理員，套取 Agent 長期記憶中存儲的用戶敏感信息。
• 投毒攻擊（Poisoning-based Attack）：把思想「改變」，攻擊者的目標是「壞腦子」。首先第一種是后門植入：向記憶庫中注入帶有「觸發器」的惡意數據，平時 Agent 表現正常，一旦遇到特定的指令，就會觸發惡意行為。其次是注入大量噪聲或偏見數據的認知污染：讓 Agent 的判斷力退化，變得糊涂或產生嚴重的價值觀偏差。

2. 防御

面對這些威脅，綜述提出了有三道防線，構筑起從源頭到輸出的閉環防御體系。

• 檢索防御（Retrieval-based）：在 Agent 讀取記憶之前進行清洗。例如，通過多路檢索驗證一致性。
• 響應防御（Response-based）：在 Agent 生成回答時進行監控。通過引入審查機制或利用自我反思機制，在輸出前預測潛在后果，攔截包含惡意意圖的響應。
• 隱私防御（Privacy-based）：在底層存儲上做文章。將記憶分為「公有」和「私有」區域，對敏感數據進行匿名化處理，確保了 Agent 在協作時只傳遞必要信息，不泄露核心隱私。

未來展望

1.多模態記憶

未來的 Agent Memory 需要打破模態的界限。目前的 Agent 在面對視頻、音頻等非結構化數據時，往往采用「暴力壓縮」或「轉寫為文字」的方式，這會導致大量豐富的視覺細節（如微表情、光影變化）和聽覺情感在轉換中丟失。未來的記憶系統應該是全模態 (Omni-modal)的，不僅存文本，還存儲壓縮后的視覺 / 聽覺特征向量，其終極目標是使 Agent 不僅能「讀」懂，還能「看」見，真正理解物理世界。

2.Agent Skills

現在的 Agent memory 往往是孤立。訓練好一個專為寫代碼的 Agent，它的經驗（記憶）很難直接傳給另一個專為數學的 Agent，這導致了嚴重的重復造輪子。

這是因為不同的 Agent 之間的異構性，導致記憶接口的不一致，因此記憶很難直接移植重用。論文借用了 Anthropic 提出的「Agent Skills」概念，即 Agent 將指令集、可執行腳本和相關資源封裝到結構化目錄單元中。這就好比游戲里的「裝備」或「技能書」可以在不同玩家間重復使用。

綜述提出兩個可能的未來研究方向：

• 多模態信息的統一存儲與表示：當前的記憶系統主要是為文本形式設計的。如何構建支持多模態信息的統一存儲框架，包括文本、圖像、音頻和視頻，同時設計跨模態檢索和推理機制，是支持跨模態 skills 遷移的關鍵。
• 跨 Agent 的 skills 轉移和適應機制：不同的 Agent 結構，例如那些建立在不同基礎模型上的 Agent，表現出差異在能力特征和接口規范方面。設計通用的 skills 描述語言，使 skills 能夠無縫地轉移并且跨異構代理的重用構成了實現真實代理的關鍵挑戰 skill-sharing 生態系統。