遞歸語言模型

Recursive Language Models

遞歸語言模型

https://arxiv.org/pdf/2512.24601v1

摘要：

本文從推理時擴展（inference-time scaling）視角研究如何使大語言模型（LLMs）處理任意長度的提示。我們提出遞歸語言模型（RLMs），一種通用推理策略：將長提示視為外部環境的一部分，使LLM能以程序化方式檢視、分解提示片段并遞歸調用自身。實驗表明，RLMs可成功處理超出模型上下文窗口兩個數量級的輸入；即便對于較短提示，在四項多樣化長上下文任務中，其質量亦顯著優于基礎LLM及常見長上下文框架，且單次查詢成本相當或更低。

引言

盡管推理與工具使用能力快速進步，現代語言模型的上下文長度仍受限，且即使在此限制內，亦不可避免地表現出“上下文腐化”（context rot）現象（Hong et al., 2025）——如圖1左側所示，即便是GPT-5等前沿模型，其性能亦隨上下文增長而迅速下降。盡管我們預期通過訓練、架構與基礎設施的改進，上下文長度將持續提升，但我們關注的是：是否有可能將通用大語言模型的上下文規模提升數個數量級。這一問題日益緊迫，因LLM正被廣泛應用于長周期任務，需常規處理數千萬乃至數億個token。

我們從擴展推理時計算（inference-time compute）的視角研究此問題。我們的靈感廣泛來源于核外算法（out-of-core algorithms）：具備小而快主存的數據處理系統，可通過巧妙管理數據載入內存的方式處理遠超內存容量的數據集。針對本質上屬于長上下文問題的推理時方法已十分常見，但通常局限于特定任務。該領域中一種通用且日益流行的方法是上下文壓縮（context condensation/compaction）（Khattab et al., 2021; Smith, 2025; OpenAI, 2025; Wu et al., 2025），即當上下文超過長度閾值時對其進行重復摘要。遺憾的是，對于需要密集訪問提示多處細節的任務，壓縮方法的表達能力往往不足，因其本質上預設了提示早期出現的某些細節可被安全遺忘，以為新內容騰出空間。

我們提出遞歸語言模型（Recursive Language Models, RLMs），一種通用推理范式，可顯著擴展現代LLM的有效輸入與輸出長度。其核心洞見在于：長提示不應直接輸入神經網絡（如Transformer），而應被視為LLM可通過符號方式交互的外部環境的一部分。

如圖2所示，RLM對外暴露與LLM相同的接口：接受任意結構的字符串提示并生成字符串響應。給定提示 P P，RLM初始化一個讀取-求值-打印循環（REPL）編程環境，其中 P P被設為某變量的值。隨后，RLM向LLM提供關于REPL環境的通用上下文信息（如字符串 P P的長度），并允許其編寫代碼以窺探、分解 P P，并迭代觀察執行產生的副作用。關鍵在于，RLM鼓勵LLM在其生成的代碼中以程序化方式構建子任務，并可對這些子任務遞歸調用自身。

通過將提示視為外部環境中的對象，RLM這一簡潔設計克服了眾多先前方法（Anthropic, 2025; Sentient, 2025; Schroeder et al., 2025; Sun et al., 2025）的根本局限——這些方法雖聚焦于任務的遞歸分解，卻無法使其輸入規模突破底層LLM的上下文窗口限制。

我們使用前沿閉源模型（GPT-5; OpenAI 2025）與前沿開源模型（Qwen3-Coder-480B-A35B; Team 2025），在四項復雜度各異的多樣化任務上評估RLM：深度研究（Chen et al., 2025）、信息聚合（Bertsch et al., 2025）、代碼倉庫理解（Bai et al., 2025），以及一項連前沿模型亦會災難性失敗的合成成對推理任務。我們將RLM與直接調用LLM、上下文壓縮、檢索工具調用智能體及代碼生成智能體進行比較。結果表明，RLM即使在1000萬+ token規模下仍表現出極強性能，在長上下文處理任務中顯著優于所有其他方法，多數情況下性能提升達兩位數百分比，同時保持相當或更低的成本。特別如圖1所示，RLM在更長上下文與更復雜任務中表現出遠為輕微的性能退化。

2 長上下文任務的擴展

近期研究（Hsieh et al., 2024; Goldman et al., 2025; Hong et al., 2025）已成功論證：LLM的有效上下文窗口通常遠小于模型物理上支持的最大token數量。進一步地，我們假設LLM的有效上下文窗口無法脫離具體任務而獨立理解。換言之，更“復雜”的問題將在更短的長度上即出現性能退化。因此，我們必須依據任務復雜度如何隨提示長度縮放來刻畫任務特性。

例如，"大海撈針"（needle-in-a-haystack, NIAH）問題在擴展提示長度時通常保持"針"的內容不變。因此，盡管早期模型在NIAH任務上表現掙扎，前沿模型在RULER（Hsieh et al., 2024）中即使面對100萬+ token的設置亦能可靠解決此類任務。然而，同一模型在OOLONG（Bertsch et al., 2025）任務上即便面對更短上下文亦表現困難——該任務的答案明確依賴于提示中幾乎每一行內容。

2.1 任務

基于此直覺，我們在經驗評估中設計了若干任務，不僅能夠變化提示長度，亦可考察問題復雜度的不同縮放模式。我們粗略地以信息密度（即智能體為回答任務所需處理的信息量，及其如何隨輸入規模縮放）來刻畫每項任務。

S-NIAH。沿用RULER（Hsieh et al., 2024）中的單針大海撈針任務，我們考慮一組50個單針任務，要求在大量無關文本中查找特定短語或數字。此類任務無論輸入規模如何均只需查找單一答案，因此其處理成本相對于輸入長度近似恒定縮放。

BrowseComp-Plus（1K文檔）（Chen et al., 2025）。面向DeepResearch（OpenAI, 2025）問題的多跳問答基準，要求對多個不同文檔進行推理。該基準提供一個經驗證的離線語料庫（含10萬文檔），保證每個任務均包含黃金答案文檔、證據文檔與困難負例文檔。參照Sun et al. (2025)，我們使用150個隨機采樣任務作為評估集；向模型或智能體提供1000個隨機選擇的文檔，其中保證包含黃金答案與證據文檔。我們報告正確答案的百分比。每項任務需拼接來自多個文檔的信息，因此盡管同樣只需恒定數量的文檔作答，其復雜度仍高于S-NIAH。

OOLONG（Bertsch et al., 2025）。一項長推理基準任務，要求對輸入的語義塊進行檢視與變換，再聚合這些塊以形成最終答案。我們采用原論文的評分方式：數值答案評分為，其他答案采用精確匹配。我們特別聚焦于trec coarse劃分，該劃分包含50個任務，基于帶有語義標簽的問題數據集。每項任務需使用數據集中近乎全部條目，因此其處理成本相對于輸入長度呈線性縮放。

OOLONG-Pairs。我們手動修改OOLONG的trec coarse劃分，加入20個新查詢，這些查詢明確要求聚合成對的語義塊以構建最終答案。附錄E.1中明確列出了該基準的所有查詢。我們報告答案的F1分數。每項任務需使用數據集中近乎全部條目對，因此其處理成本相對于輸入長度呈二次方縮放。

LongBench-v2 CodeQA（Bai et al., 2025）。LongBench-v2中面向代碼倉庫理解的多選題劃分，對現代前沿模型頗具挑戰性。我們以正確答案百分比作為評分。每項任務需對代碼庫中固定數量的文件進行推理以找出正確答案。

2.2 方法與基線

我們將RLM與其它常用的任務無關方法進行比較。針對以下每種方法，我們使用兩個當代語言模型：具備中等推理能力的GPT-5（OpenAI, 2025），采用默認采樣參數；以及Qwen3-Coder-480B-A35B（Yang et al., 2025），采用Team (2025)所述的采樣參數。二者分別代表商業與開源前沿模型。除在所有任務上評估基礎模型外，我們還評估以下方法與基線：

帶REPL的RLM。我們實現了一種RLM，將其上下文作為字符串加載至Python REPL環境的內存中。該REPL環境同時加載一個模塊，使其能夠在環境中查詢子語言模型。系統提示詞在所有實驗中保持固定（見附錄D）。在GPT-5實驗中，我們對遞歸調用使用GPT-5-mini，對根調用使用GPT-5，因該選擇在RLM能力與遞歸調用成本之間取得了良好權衡。

帶REPL但無子調用的RLM。我們提供本方法的消融實驗：REPL環境雖加載了上下文，但無法使用子語言模型調用。在此設定下，語言模型仍可在REPL環境中與其上下文交互，之后再提供最終答案。

摘要智能體。參照Sun et al. (2025)、Wu et al. (2025)與Yu et al. (2025)，我們考慮一種迭代式智能體，當上下文被填滿時即對其進行摘要。例如，給定文檔語料庫，該智能體會迭代瀏覽文檔并在填滿時進行摘要。當提供上下文超出模型窗口時，智能體會將輸入分塊以適配模型上下文窗口，并在這些分塊上應用相同策略。對于GPT-5，鑒于處理大token輸入的極高成本，我們使用GPT-5-nano進行壓縮，使用GPT-5提供最終答案。

CodeAct（+ BM25）。我們直接與CodeAct（Wang et al., 2024）智能體進行比較，該智能體可在ReAct（Yao et al., 2023）循環內執行代碼。與RLM不同，它不將提示卸載至代碼環境，而是直接提供給語言模型。此外，參照Jimenez et al. (2024)與Chen et al. (2025)，我們為該智能體配備BM25（Robertson & Zaragoza, 2009）檢索器，對適用任務將其輸入上下文建立索引。

3 結果與討論

我們在表1中聚焦于§2.1所述的基準測試開展主要實驗。此外，我們在圖1中探究了前沿模型與RLM的性能如何隨輸入上下文增長而退化。

觀察1：RLM可擴展至1000萬+ token規模，且在長上下文任務上優于基礎語言模型及現有任務無關的智能體框架。在所有任務中，RLM在遠超前沿語言模型有效上下文窗口的輸入任務上均展現出強勁性能，相較基礎模型與常見長上下文框架，性能提升最高達2倍，同時保持相當或更低的平均token成本。值得注意的是，RLM的成本可良好擴展至基礎模型上下文窗口的理論擴展成本——在BrowseComp-Plus（1K）任務上，GPT-5-mini處理600–1100萬輸入token的成本為1.50–2.75美元，而RLM(GPT-5)的平均成本僅為0.99美元，且性能較摘要與檢索基線分別提升逾29%。

此外，在處理成本隨輸入上下文縮放的任務上，即便任務完全適配模型上下文窗口，RLM相較基礎模型仍取得顯著改進。在OOLONG任務上，采用GPT-5與Qwen3-Coder的RLM分別較基礎模型提升28.4%與33.3%。在OOLONG-Pairs任務上，GPT-5與Qwen3-Coder基礎模型幾乎無進展（F1分數<0.1%），而采用這些模型的RLM則分別達到58.00%與23.11%的F1分數，凸顯RLM處理極高信息密度任務的涌現能力。

觀察2：REPL環境對處理長輸入必不可少，而RLM的遞歸子調用在信息密集型輸入上帶來顯著增益。RLM的關鍵特征是將上下文作為變量卸載至模型可交互的環境 E E中。即便不具備子調用能力，我們的RLM消融實驗仍能突破模型上下文限制，在多數長上下文場景下優于基礎模型及其他任務無關基線。在Qwen3-Coder的CodeQA與BrowseComp+任務上，該消融版本甚至分別較完整RLM提升17.9%與3%。

在OOLONG或OOLONG-Pairs等信息密集型任務上，我們觀察到若干遞歸語言模型子調用必不可少的情形。在§3.1中可見，RLM(Qwen3-Coder)通過遞歸子調用逐行執行必要的語義變換，而無子調用的消融版本則被迫依賴關鍵詞啟發式方法求解此類任務。在所有信息密集型任務上，RLM相較無子調用的消融版本性能提升10%–59%。

觀察3：語言模型性能隨輸入長度與問題復雜度增加而退化，而RLM性能縮放表現更優?；鶞蕼y試S-NIAH、OOLONG與OOLONG-Pairs在長度范圍為的上下文中包含固定數量的任務。此外，每項基準可依據輸入上下文相對于長度的處理成本（分別近似為常數、線性與二次方）進行粗略分類。在圖1中，我們直接比較了使用GPT-5的RLM與基礎GPT-5在各項任務上的表現——我們發現，對于更復雜的任務，GPT-5性能退化顯著更快，而RLM性能雖亦退化，但速率慢得多，這與Goldman et al. (2025)的發現一致。當上下文長度超過時，RLM持續優于GPT-5。

此外，RLM成本與任務復雜度成比例縮放，但仍保持與GPT-5同數量級（見附錄C中圖9）。在§3.1中，我們探討了RLM在此類設置中所做的選擇如何導致成本差異。最后，在此設置下，我們亦觀察到基礎語言模型在小規模輸入上下文場景中優于RLM。從構造上看，RLM的表征能力嚴格強于語言模型：選擇調用根語言模型的環境等價于基礎語言模型；然而實踐中我們觀察到，RLM在較小輸入長度下性能略遜，表明在何時使用基礎語言模型與何時使用RLM之間存在權衡點。

觀察4：RLM的推理成本與基礎模型調用相當，但因軌跡長度差異而呈現高方差。RLM迭代式地與其上下文交互直至找到合適答案，導致迭代長度因任務復雜度不同而產生巨大差異。在圖3中，我們繪制了表1中除BrowseComp-Plus（1K）外所有實驗中各方法的成本四分位數（因基礎模型無法將任何此類任務納入上下文）。對于GPT-5，RLM運行的中位成本低于基礎模型運行的中位成本，但許多RLM運行的異常值顯著高于任何基礎模型查詢。然而，相較于需攝入全部輸入上下文的摘要基線，RLM因能夠選擇性查看上下文，在所有任務上成本最高可降低3倍，同時保持更強性能。

我們還在附錄C的圖5、6中報告了各方法的運行時間，但需注意若干重要限制。與API成本不同，這些數值高度依賴于實現細節，如所用機器、API請求延遲及語言模型調用的異步性。在我們的基線與RLM實現中，所有語言模型調用均為阻塞式/串行執行。盡管如此，與成本類似，我們仍觀察到運行時間范圍廣泛，尤其對于RLM。

觀察5：RLM是一種模型無關的推理策略，但不同模型在上下文管理與子調用方面表現出不同的整體決策。盡管GPT-5與Qwen3-Coder-480B作為RLM均相對其基礎模型及其他基線展現出強勁性能，但二者在所有任務上亦表現出不同的性能與行為。尤其在BrowseComp-Plus任務上，RLM(GPT-5)幾乎解決了所有任務，而RLM(Qwen3-Coder)僅能解決約半數任務。我們注意到，RLM系統提示詞在各模型的所有實驗中保持固定，且未針對任何特定基準進行調優。GPT-5與Qwen3-Coder之間提示詞的唯一差異在于：RLM(Qwen3-Coder)的提示詞中額外增加了一行警告，提示避免過多使用子調用（見附錄D）。我們在示例B.3中明確展示了這一差異：RLM(Qwen3-Coder)在OOLONG任務中對每行執行語義變換時均作為獨立的子語言模型調用，而GPT-5則對子查詢語言模型持保守態度。

3.1 RLM軌跡中的涌現模式

即便未經顯式訓練，RLM亦展現出有趣的上下文管理與問題分解行為。我們選取若干RLM軌跡片段示例，以理解其如何解決長上下文問題及可改進之處。此處討論若干有趣行為的典型示例，更多示例見附錄B。

基于模型先驗、利用代碼執行過濾輸入信息。RLM抽象之所以能在處理超大輸入時維持強勁性能而不導致成本爆炸，其關鍵直覺在于：語言模型無需顯式查看即可過濾輸入上下文。此外，模型先驗使RLM能夠縮小搜索空間，從而處理更少的輸入token。例如，如圖4a所示，我們觀察到RLM(GPT-5)使用正則表達式查詢，在原始提示中搜索包含關鍵詞（如" festival"）及模型具備先驗知識的短語（如"La Union"）的語義塊。在多數軌跡中，我們觀察到的一種常見策略是：先向根語言模型打印回顯若干行以探查上下文，再基于觀察結果進行過濾。

分塊與遞歸子調用語言模型。RLM將本質上無界長度的推理鏈推遲至子（R）LM調用中執行。分解方式的選擇會極大影響任務性能，尤其對于信息密集型問題。在我們的實驗中，除均勻分塊或關鍵詞搜索外，未觀察到更復雜的劃分策略。如圖4b所示，RLM(Qwen3-Coder)在OOLONG任務中對包含1000余行的上下文按換行符進行分塊。

通過小上下文的子LM調用進行答案驗證。我們觀察到RLM通過子LM調用進行答案驗證的若干實例。其中部分策略隱式地通過子LM執行驗證以規避上下文腐化（見示例B.1），另一些則單純利用代碼執行以程序化方式驗證答案正確性。然而在某些情況下，答案驗證是冗余的，會顯著增加單任務成本——在示例B.3中，我們觀察到OOLONG任務上的一條軌跡：模型在最終選擇錯誤答案前，曾五次以上嘗試復現其正確答案。

通過變量傳遞遞歸LM輸出以處理長輸出任務。RLM能夠通過將REPL中的變量作為輸出返回，生成遠超基礎語言模型限制的、本質上無界的token。借助REPL環境，RLM可迭代地構建這些變量，將其作為程序化操作與子（R）LM輸出調用的混合結果。我們在OOLONG-Pairs任務的軌跡中大量觀察到該策略：RLM將針對輸入的子LM調用輸出存儲于變量中，再將其拼接形成最終答案（見圖4c）。

4 相關工作

長上下文語言模型系統。語言模型系統中的長上下文管理主要沿兩個正交方向發展：1）直接修改基礎語言模型的架構并重新訓練以處理更長上下文（Press et al., 2022; Gu et al., 2022; Munkhdalai et al., 2024）；2）在語言模型周圍構建腳手架以隱式處理上下文——RLM聚焦于后者。此類策略中廣受歡迎的一類是有損上下文管理，即通過摘要或截斷壓縮輸入上下文，代價是可能丟失細粒度信息。例如，MemWalker（Chen et al., 2023）為輸入構建樹狀數據結構，供語言模型在回答長上下文問題時導航；ReSum（Wu et al., 2025）則為多輪智能體周期性壓縮上下文而添加摘要工具。另一類策略在智能體腳手架中實現顯式記憶層次結構（Packer et al., 2024; Chhikara et al., 2025; Zhang et al., 2025）。RLM與先前工作的不同之處在于：所有上下文窗口管理均由語言模型自身隱式處理。

通過子LM調用進行任務分解。許多基于語言模型的智能體（Guo et al., 2024; Anthropic, 2025）利用多次精心安排的語言模型調用來解決問題，但其中許多調用基于人工設計的工作流。ViperGPT（Surís et al., 2023）、THREAD（Schroeder et al., 2025）、DisCIPL（Grand et al., 2025）、ReDel（Zhu et al., 2024）、Context Folding（Sun et al., 2025）與AgentFold（Ye et al., 2025）等若干方法已探索將子LM調用的選擇權交予語言模型本身。這些技術強調通過遞歸語言模型調用進行任務分解，但無法處理超出基礎語言模型長度限制的長上下文輸入。相比之下，RLM得益于一個極為簡潔的直覺（即將提示視為外部環境的一部分），從而能夠符號化操作任意長度的字符串，并通過持久化REPL環境的執行反饋迭代優化其遞歸過程。

5 局限性與未來工作

盡管RLM在合理推理成本下對超出現有語言模型上下文窗口限制的任務展現出強勁性能，其實現RLM的最優機制仍有待探索。我們聚焦于Python REPL環境內的同步子調用，但需指出：涉及異步子調用與沙箱化REPL的替代策略有望顯著降低RLM的運行時間與推理成本。此外，我們選擇最大遞歸深度為1（即子調用為語言模型）；盡管在現有長上下文基準測試中取得了強勁性能，我們認為未來工作應探究更深層次的遞歸。最后，我們的實驗聚焦于使用現有前沿模型評估RLM。顯式訓練專用于RLM的模型（如作為根模型或子模型）或可帶來額外性能提升——正如§3.1中所發現，當前模型在上下文決策方面效率低下。我們假設RLM軌跡可視為一種推理形式（OpenAI et al., 2024; DeepSeek-AI et al., 2025），可通過引導現有前沿模型進行訓練（Zelikman et al., 2022; 2024）。

6 結論

我們提出了遞歸語言模型（Recursive Language Models, RLMs），一種通用的語言模型推理框架：該框架將輸入上下文卸載至外部環境，并使語言模型能夠在輸出前遞歸地子查詢其他語言模型。我們探索了該框架的一種具體實現：將上下文作為內存中的變量卸載至Python REPL環境，使語言模型能夠通過代碼與遞歸語言模型調用對其上下文進行推理，而非僅在token空間中操作。我們在多種設置與模型上的實驗結果表明，RLM是一種有效的任務無關范式，既適用于長上下文問題，亦適用于一般性推理任務。我們期待未來工作能顯式訓練模型以RLM方式推理，這或將成為下一代語言模型系統的又一擴展維度。

原文鏈接：https://arxiv.org/pdf/2512.24601v1