劍橋、帝國(guó)理工與MIT聯(lián)合研究揭示語言模型潛在推理的隱藏極限

這項(xiàng)由劍橋大學(xué)、帝國(guó)理工學(xué)院和麻省理工學(xué)院（MIT）聯(lián)合開展的研究，以預(yù)印本形式發(fā)布于2026年4月，論文編號(hào)為arXiv:2604.06427，標(biāo)題為《The Depth Ceiling: On the Limits of Large Language Models in Discovering Latent Planning》。對(duì)于關(guān)注人工智能安全與可解釋性的讀者來說，這篇論文觸及了一個(gè)極為關(guān)鍵卻長(zhǎng)期被忽視的問題：當(dāng)我們要求AI"直接給出答案"而不是"一步步寫出思考過程"時(shí)，它的大腦里究竟能走多遠(yuǎn)？

**一、一個(gè)關(guān)乎AI安全的核心問題**

你也許用過ChatGPT或類似的AI助手，發(fā)現(xiàn)只要讓它"先想想再回答"，效果就會(huì)好很多。這種"邊寫邊想"的方式，研究者稱之為"思維鏈"（Chain of Thought，簡(jiǎn)稱CoT）。道理很直白：當(dāng)你讓AI把中間推理步驟都寫出來，不僅最終答案更準(zhǔn)確，更重要的是，你能看到它"在想什么"——就像老師檢查學(xué)生的解題過程，而不只是看最后答案對(duì)不對(duì)。

這種"看得見的思考過程"對(duì)AI安全來說意義重大。人類監(jiān)督者可以通過閱讀AI寫下的推理軌跡，來判斷它是否有異常行為或危險(xiǎn)傾向。但這種監(jiān)督方式有一個(gè)隱患：萬一AI根本不需要寫出思考步驟，也能在"腦子里"悄悄完成復(fù)雜推理，那我們看到的那些文字就不再是真實(shí)思維的窗口了。換句話說，如果AI能把整個(gè)下棋策略全部藏在一次運(yùn)算里，我們所謂的"過程監(jiān)控"就成了擺設(shè)。

這就是這項(xiàng)研究要回答的核心問題：AI的"隱藏推理"能有多深？它能在不寫一個(gè)字的情況下，在內(nèi)部完成多少步驟的推理？隨著模型越來越大，這種隱藏推理能力會(huì)不會(huì)無限擴(kuò)展，從而讓"思維鏈監(jiān)控"失去意義？

**二、用"迷宮游戲"來測(cè)量AI的隱藏推理深度**

研究團(tuán)隊(duì)設(shè)計(jì)了一個(gè)極其巧妙的測(cè)試方式，可以用一個(gè)簡(jiǎn)單的尋路游戲來理解。

設(shè)想有一棵"星形樹"：中間有一個(gè)起點(diǎn)，從起點(diǎn)出發(fā)，分出若干條等長(zhǎng)的樹枝，每條樹枝末端有一個(gè)終點(diǎn)。現(xiàn)在告訴AI：起點(diǎn)在哪里，目標(biāo)終點(diǎn)在哪里，整棵樹的結(jié)構(gòu)是什么——但所有節(jié)點(diǎn)的編號(hào)都被隨機(jī)打亂了，順序也被隨機(jī)排列。AI的任務(wù)只有一個(gè)：告訴我，從起點(diǎn)走出去，第一步應(yīng)該邁向哪個(gè)節(jié)點(diǎn)？

這個(gè)游戲設(shè)計(jì)得相當(dāng)狡猾。由于所有樹枝長(zhǎng)度完全相同，AI沒有任何捷徑可以走——它不能靠"哪條路更短"來判斷，也不能靠"離目標(biāo)更近"來猜測(cè)，唯一的辦法是真正地"想清楚"：從目標(biāo)節(jié)點(diǎn)倒推，一步一步地沿著路徑往回追溯，直到找到起點(diǎn)的直接鄰居。這就像你在一個(gè)沒有任何地標(biāo)的迷宮里，只知道出口在哪，必須從出口反向摸回起點(diǎn)附近的第一個(gè)岔路口。

樹枝的長(zhǎng)度（研究中用字母m表示）直接決定了AI需要在腦子里走多少步。樹枝長(zhǎng)度是3，就需要3步隱藏推理；長(zhǎng)度是5，就需要5步；以此類推。樹枝數(shù)量（字母k）則決定了任務(wù)有多"寬"——分叉越多，每次選錯(cuò)的代價(jià)越大。通過精確控制這兩個(gè)參數(shù)，研究團(tuán)隊(duì)可以像調(diào)節(jié)旋鈕一樣，精確控制測(cè)試的難度，同時(shí)明確知道完成任務(wù)"理論上需要幾步思考"。

最關(guān)鍵的一點(diǎn)是：AI只被告知最終答案是否正確，中間過程完全沒有任何指導(dǎo)。這就像讓一個(gè)學(xué)生做題，老師只說"對(duì)"或"錯(cuò)"，從不告訴任何解題思路。在這種條件下，AI能自己摸索出多步驟的解題策略嗎？

**三、從"嬰兒級(jí)"小模型到"旗艦級(jí)"大模型，統(tǒng)統(tǒng)被一堵墻攔住**

研究團(tuán)隊(duì)測(cè)試了一系列規(guī)模差異巨大的模型，構(gòu)成了一個(gè)完整的能力譜系。

規(guī)模最小的是一個(gè)從零開始訓(xùn)練的微型Transformer模型，只有160萬個(gè)參數(shù)——這在AI界幾乎算是"玩具"級(jí)別，體量只有GPT-4o的幾十萬分之一。研究人員選擇這個(gè)極小模型的理由很充分：它沒有任何預(yù)訓(xùn)練知識(shí)，所有能力都是從這道題目中從零習(xí)得的，因此最能純粹地反映"發(fā)現(xiàn)隱藏推理策略"的本質(zhì)難度。

測(cè)試結(jié)果打破了之前學(xué)界的悲觀預(yù)期。在此之前，有研究認(rèn)為標(biāo)準(zhǔn)的訓(xùn)練方式（即只根據(jù)最終答案給反饋的"下一詞預(yù)測(cè)"訓(xùn)練）根本無法讓模型學(xué)會(huì)真正的隱藏規(guī)劃策略。然而這個(gè)只有160萬參數(shù)的小模型，確實(shí)在3步的任務(wù)上學(xué)會(huì)了一套有效的規(guī)劃策略，在多種樹枝數(shù)量配置下都能表現(xiàn)出遠(yuǎn)超隨機(jī)猜測(cè)的準(zhǔn)確率。

然而，當(dāng)樹枝長(zhǎng)度從3增加到4，情況就發(fā)生了戲劇性的轉(zhuǎn)變——性能直接從近乎完美跌落到與隨機(jī)猜測(cè)無異。更令人困惑的是，研究團(tuán)隊(duì)嘗試把這個(gè)小模型做得更深（從8層增加到16層、32層），或者增加注意力頭數(shù)量，或者擴(kuò)大隱藏維度，全部徒勞無功：深度瓶頸依然牢不可動(dòng)地卡在第4步。

接下來，研究團(tuán)隊(duì)引入了規(guī)模大得多的開源語言模型：Qwen 2.5系列（7B和32B參數(shù)）以及Qwen 3系列（8B和32B參數(shù)）。這些模型在訓(xùn)練之前已經(jīng)在海量文本上預(yù)訓(xùn)練，具備豐富的世界知識(shí)。針對(duì)星形圖尋路任務(wù)，研究團(tuán)隊(duì)對(duì)它們進(jìn)行了專項(xiàng)微調(diào)——給出大量訓(xùn)練樣本，讓模型通過只看最終答案是否正確的反饋來自我提升。

結(jié)果揭示了一個(gè)規(guī)律：規(guī)模更大的模型確實(shí)在"廣度"上表現(xiàn)更強(qiáng)。那個(gè)小Transformer在樹枝數(shù)量達(dá)到10的時(shí)候會(huì)完全失去方向，而7B級(jí)別的Qwen模型能輕松應(yīng)對(duì)10條樹枝的情形。但在"深度"上，進(jìn)步卻極為有限——7B的Qwen 2.5同樣在第4步遭遇了完全的失敗，與160萬參數(shù)的小模型處于同一水平線上。32B的模型們將上限推進(jìn)到了第5步，GPT-4o經(jīng)過微調(diào)后也達(dá)到了第5步。隨后，研究團(tuán)隊(duì)以零樣本和少樣本提示的方式測(cè)試了當(dāng)時(shí)最新的GPT-5.4，發(fā)現(xiàn)它的上限大約在第7步——但即便這已經(jīng)是目前測(cè)試到的最高成績(jī)，仍然是一道相當(dāng)淺的天花板。

最觸目驚心的對(duì)比是：從160萬參數(shù)的玩具模型，一路擴(kuò)展到GPT-4o這樣的旗艦級(jí)大模型，隱藏推理深度只從3步增加到了5步，凈增長(zhǎng)僅僅2步。這兩種模型在算力消耗、訓(xùn)練成本、參數(shù)數(shù)量上相差了何止千倍，但在"發(fā)現(xiàn)隱藏推理策略的深度"這個(gè)維度上，差距小到令人瞠目結(jié)舌。

**四、AI的大腦在干什么？偷窺它的"注意力地圖"**

為了弄清楚模型內(nèi)部究竟發(fā)生了什么，研究團(tuán)隊(duì)對(duì)那個(gè)從零訓(xùn)練的小Transformer做了一次"內(nèi)窺鏡檢查"——可視化它的注意力分布。

所謂注意力，可以類比為人在閱讀時(shí)目光的停留。當(dāng)你解一道題時(shí)，有些文字是你反復(fù)掃視的關(guān)鍵信息，有些則是你忽略的背景。Transformer模型的每一層都有類似的機(jī)制，在處理問題時(shí)會(huì)對(duì)輸入中的不同部分分配不同的"關(guān)注權(quán)重"。

研究團(tuán)隊(duì)提出了一個(gè)叫"回溯比率"的指標(biāo)，專門衡量模型把多少注意力集中在從目標(biāo)到起點(diǎn)的那條路徑上。如果模型只是在漫無目的地猜，這個(gè)比率應(yīng)該接近均勻分布；如果模型真的在"從目標(biāo)倒推"，這個(gè)比率應(yīng)該明顯偏高。

觀察結(jié)果清晰地印證了這一猜想。對(duì)于那些模型成功解決的配置（比如樹枝數(shù)4或5，深度3步），注意力地圖顯示出了一個(gè)非常有規(guī)律的"倒追"模式：在較淺的網(wǎng)絡(luò)層，模型的注意力主要集中在目標(biāo)節(jié)點(diǎn)；隨著層數(shù)加深，注意力逐漸沿著路徑向起點(diǎn)方向移動(dòng)，就像偵探從案發(fā)現(xiàn)場(chǎng)一步步追溯到嫌疑人的行蹤一樣。這種層與層之間有序傳遞、逐漸回溯的模式，正是"從目標(biāo)反向追蹤到起點(diǎn)"策略的直接體現(xiàn)。

相對(duì)地，對(duì)于那些模型失敗的配置，注意力地圖完全是一片混亂，看不出任何有意義的規(guī)律。這說明失敗的原因不是模型在用一個(gè)錯(cuò)誤的策略，而是根本沒有找到任何有效的策略。

這個(gè)發(fā)現(xiàn)還解釋了為什么樹枝數(shù)量為2時(shí)情況有些特殊。當(dāng)只有兩條路時(shí)，模型根本不需要從目標(biāo)倒推——它可以隨便選一條路，如果走不到目標(biāo)，就選另一條。這種"排除法"不需要真正的多步規(guī)劃，所以在這個(gè)特殊情形下，注意力分布雖然均勻，但模型仍然能正確作答。

**五、發(fā)現(xiàn)策略是一關(guān)，駕馭策略又是另一關(guān)**

這項(xiàng)研究還揭示了一個(gè)微妙而重要的區(qū)分，類比起來就是"學(xué)會(huì)一道菜的方法"和"實(shí)際烹飪時(shí)能把這道菜做好"之間的差距。

研究團(tuán)隊(duì)對(duì)每個(gè)開源模型都做了一個(gè)額外測(cè)試：選出該模型在訓(xùn)練中能成功掌握策略的最復(fù)雜配置，然后用這個(gè)配置下訓(xùn)練好的模型，去挑戰(zhàn)它從未接觸過的更深層次任務(wù)——比如，訓(xùn)練時(shí)只見過5步的題目，測(cè)試時(shí)給它6步、7步乃至8步的題目。

這個(gè)測(cè)試的結(jié)果出人意料地樂觀。絕大多數(shù)模型在測(cè)試深度略超過訓(xùn)練深度時(shí)，仍然能維持相當(dāng)不錯(cuò)的表現(xiàn)，性能是隨著深度增加而逐漸衰減的，而不是像訓(xùn)練階段失敗那樣的斷崖式崩潰。Qwen 3-32B在超出訓(xùn)練深度3步的范圍內(nèi)仍能顯著超越隨機(jī)猜測(cè)；GPT-4o甚至能超出訓(xùn)練深度4步。這意味著，一旦模型成功地在訓(xùn)練中內(nèi)化了"從目標(biāo)反向追蹤"這種策略，它就能把這個(gè)策略延伸應(yīng)用到更長(zhǎng)的路徑上。

這種"泛化能力"和"發(fā)現(xiàn)能力"之間的差距，構(gòu)成了整篇論文最有洞察價(jià)值的發(fā)現(xiàn)之一。模型在訓(xùn)練時(shí)發(fā)現(xiàn)不了6步、7步、8步策略，但若先在5步任務(wù)上學(xué)會(huì)了策略，它就能在測(cè)試時(shí)自己延伸到8步。策略的發(fā)現(xiàn)是瓶頸，策略的執(zhí)行則更有彈性。就好比一個(gè)人學(xué)會(huì)了"從結(jié)論反推前提"的邏輯方法，他能在考場(chǎng)上把這種方法運(yùn)用到更復(fù)雜的題目上，但如果他根本沒有經(jīng)歷過足夠簡(jiǎn)單的入門題來學(xué)會(huì)這種方法，就永遠(yuǎn)邁不過這個(gè)門檻。

為了進(jìn)一步理解失敗的性質(zhì)，研究團(tuán)隊(duì)還詳細(xì)分析了模型出錯(cuò)時(shí)的"錯(cuò)誤類型"。他們把錯(cuò)誤分為三類：模型預(yù)測(cè)了起點(diǎn)的直接鄰居但選錯(cuò)了樹枝（1跳鄰居錯(cuò)誤）；模型選對(duì)了樹枝但沒走到正確位置（路徑內(nèi)錯(cuò)誤）；以及完全偏離（路徑外錯(cuò)誤）。

檢測(cè)結(jié)果顯示了一個(gè)驚人的模式：在那些超出模型泛化能力的深度配置下，錯(cuò)誤中"路徑內(nèi)錯(cuò)誤"的比例極高——對(duì)于Qwen 2.5-7B來說，95%的錯(cuò)誤都屬于這一類。也就是說，模型知道應(yīng)該走哪條樹枝，也確實(shí)走上了正確的方向，但在倒推的過程中"數(shù)不到頭"，在某一步上卡住了。這進(jìn)一步印證了"泛化天花板"的存在：策略是對(duì)的，執(zhí)行力撐不到終點(diǎn)。

**六、只要"寫出來"，二十步都不在話下**

研究的最后一部分做了一個(gè)鮮明的對(duì)照實(shí)驗(yàn)，目的是驗(yàn)證：這些任務(wù)本身真的很難嗎？還是只是"隱藏推理"這種方式很難？

答案非常清晰。研究團(tuán)隊(duì)讓模型不再只輸出最終答案，而是把整個(gè)"從目標(biāo)節(jié)點(diǎn)一步步倒推回起點(diǎn)"的過程都寫出來，作為訓(xùn)練時(shí)的目標(biāo)輸出。換句話說，讓AI做一道"展示解題過程"的題，而不是"只寫答案"的題。

在這種"顯式思維鏈"的訓(xùn)練設(shè)置下，所有被測(cè)試的語言模型——包括Qwen 2.5系列和Qwen 3系列——只需要大約20步訓(xùn)練就完全收斂，對(duì)深度為20步的任務(wù)也能保持接近完美的準(zhǔn)確率。同樣的任務(wù)，在隱藏推理模式下根本無法學(xué)會(huì)，在顯式推理模式下卻輕而易舉——這有力地說明，天花板的根源不在任務(wù)本身，而在于"不寫過程只看結(jié)果"的訓(xùn)練方式給模型發(fā)出的信號(hào)太稀疏、太微弱，無法引導(dǎo)它發(fā)現(xiàn)并固化多步驟的內(nèi)部推理策略。

研究團(tuán)隊(duì)還嘗試了一種更有趣的"漸進(jìn)內(nèi)化"方案：先讓模型學(xué)會(huì)完整的顯式推理鏈，然后每次把推理鏈的第一個(gè)詞從輸出里刪掉，強(qiáng)迫模型把那一步"吞進(jìn)腦子里"，如此循環(huán)，逐步把整個(gè)推理過程壓縮成隱藏狀態(tài)。結(jié)果是，通過這種方式，那個(gè)只有160萬參數(shù)的小模型確實(shí)能夠在簡(jiǎn)單的2條樹枝配置下完成深達(dá)6步的隱藏推理——遠(yuǎn)超它在直接訓(xùn)練下的3步上限。但一旦樹枝數(shù)量增加，這種方式同樣會(huì)遇到瓶頸，因?yàn)槟Ｐ捅旧淼膬?chǔ)存容量成了新的限制。

**七、這對(duì)AI安全意味著什么**

這項(xiàng)研究最深遠(yuǎn)的意義在于它與AI安全領(lǐng)域的直接關(guān)聯(lián)。

當(dāng)前，監(jiān)控AI行為的一種重要思路是"思維鏈監(jiān)控"：讓AI把推理過程寫出來，然后讓人類或另一個(gè)AI來審查這些推理步驟，看是否有異常或危險(xiǎn)的意圖。這種方法的前提假設(shè)是：AI如果想完成復(fù)雜的推理或規(guī)劃，必須把過程寫出來——否則它沒有足夠的"工作空間"來完成復(fù)雜計(jì)算。

這項(xiàng)研究的發(fā)現(xiàn)為這個(gè)假設(shè)提供了來自實(shí)驗(yàn)的支撐。在精心設(shè)計(jì)的測(cè)試中，大型語言模型在隱藏推理深度上存在一個(gè)相對(duì)有限且難以通過單純擴(kuò)大規(guī)模來突破的天花板。當(dāng)任務(wù)需要真正復(fù)雜的多步驟推理時(shí)，模型確實(shí)傾向于依賴外化的思考鏈，而不是能夠完全在"腦子里"默默完成。

當(dāng)然，研究團(tuán)隊(duì)也非常謹(jǐn)慎地指出這個(gè)結(jié)論的適用范圍。星形圖尋路是一個(gè)經(jīng)過精心設(shè)計(jì)以消除所有捷徑的"純粹"推理任務(wù)，而現(xiàn)實(shí)世界中的復(fù)雜任務(wù)往往包含更多的局部線索和啟發(fā)式信息，這些可能會(huì)改變結(jié)論。此外，目前最強(qiáng)大的閉源模型（如今天的最新版本）無法被研究團(tuán)隊(duì)直接微調(diào)，對(duì)它們的評(píng)估只能通過提示來進(jìn)行，這在方法上有一定局限性。

與此同時(shí)，來自其他研究的證據(jù)也與這個(gè)發(fā)現(xiàn)方向一致：在需要隱含的兩步推理（比如"A認(rèn)識(shí)B，B認(rèn)識(shí)C，所以A可能認(rèn)識(shí)C"這種"關(guān)系傳遞"）的任務(wù)上，語言模型也表現(xiàn)出明顯的局限性。這提示天花板現(xiàn)象可能不只出現(xiàn)在圖尋路任務(wù)中，而是一種更普遍的隱藏多步推理局限。

歸根結(jié)底，這項(xiàng)研究傳遞的信息是：在今天的技術(shù)水平下，如果一項(xiàng)任務(wù)真的需要多步驟的精密推理，語言模型很可能必須把過程寫出來才能完成——無論是被訓(xùn)練成這樣做，還是被提示去這樣做。這既是一個(gè)技術(shù)上的局限，也恰好是一個(gè)對(duì)于人類監(jiān)控AI行為來說幸運(yùn)的保障。思維鏈監(jiān)控作為一種安全手段，因此具有相當(dāng)?shù)默F(xiàn)實(shí)基礎(chǔ)，而不只是一種美好愿望。

當(dāng)然，沒有任何一項(xiàng)研究能蓋棺論定。隨著訓(xùn)練方法的革新、架構(gòu)的進(jìn)化，以及更多針對(duì)"隱藏推理能力"的專項(xiàng)優(yōu)化，這個(gè)天花板未來會(huì)不會(huì)被打破，還需要持續(xù)的觀察和研究。這正是研究團(tuán)隊(duì)在論文末尾呼吁的：弄清楚潛在推理能力在不同任務(wù)領(lǐng)域的邊界，將是建立對(duì)思維鏈監(jiān)控信任的關(guān)鍵方向。

說到底，這項(xiàng)研究做了一件很有意思的事：它把"AI能不能背著我們偷偷想事情"這個(gè)原本模糊的問題，變成了一個(gè)可以用實(shí)驗(yàn)精確測(cè)量的問題，并且給出了當(dāng)前最好的答案——能，但沒你以為的那么厲害，而且規(guī)模大小對(duì)這件事的改善相當(dāng)有限。這不是一個(gè)讓人徹底放心的結(jié)論，但至少比"完全不知道"要好得多。對(duì)于關(guān)心AI未來走向的普通讀者來說，這項(xiàng)研究就像給AI大腦裝了一把刻度尺，讓我們對(duì)它的邊界有了更清晰的感知。對(duì)原論文感興趣的讀者，可以通過arXiv編號(hào)2604.06427找到完整版本。

Q&A

Q1：什么是"思維鏈監(jiān)控"，為什么它對(duì)AI安全很重要？

A：思維鏈監(jiān)控是一種AI安全方法，要求AI在給出答案時(shí)寫出完整的推理步驟，讓人類或監(jiān)控系統(tǒng)能夠?qū)彶锳I"在想什么"。它的重要性在于：如果AI只給出最終答案，外界無法判斷它的推理過程是否合理或存在危險(xiǎn)意圖；但如果AI把每一步思考都明確寫出來，監(jiān)控者就有機(jī)會(huì)在問題發(fā)生前介入。這項(xiàng)研究的意義正在于證明，對(duì)于復(fù)雜任務(wù)，AI確實(shí)很難在不寫出過程的情況下獨(dú)立完成推理，從而為思維鏈監(jiān)控的有效性提供了實(shí)驗(yàn)依據(jù)。

Q2：星形圖尋路任務(wù)和現(xiàn)實(shí)中的AI推理任務(wù)有什么關(guān)系？

A：星形圖尋路是一個(gè)經(jīng)過精心設(shè)計(jì)的"純推理"測(cè)試，它消除了所有可以走捷徑的線索，強(qiáng)迫模型進(jìn)行真正的多步驟邏輯推理。這種設(shè)計(jì)的價(jià)值在于它可以精確控制推理深度，從而像用刻度尺量長(zhǎng)度一樣量化AI的隱藏推理能力。現(xiàn)實(shí)任務(wù)（如代碼生成、數(shù)學(xué)證明）往往含有更多輔助信息，難度結(jié)構(gòu)更復(fù)雜，但從這個(gè)純凈測(cè)試中得到的結(jié)論——即隱藏推理深度存在上限且難以靠擴(kuò)大規(guī)模突破——為理解AI的推理本質(zhì)提供了基準(zhǔn)參考。

Q3：把語言模型規(guī)模擴(kuò)大十倍，隱藏推理深度會(huì)大幅提升嗎？

A：根據(jù)這項(xiàng)研究，答案是否定的。從只有160萬參數(shù)的小模型，一直擴(kuò)展到參數(shù)量大幾十萬倍的GPT-4o，隱藏推理發(fā)現(xiàn)深度只從3步提升到了5步，凈增長(zhǎng)僅2步。研究者發(fā)現(xiàn)，擴(kuò)大模型規(guī)模主要改善的是處理更多分支（"廣度"）的能力，而不是處理更多推理步驟（"深度"）的能力。規(guī)模擴(kuò)大帶來的邊際收益隨著深度增加而急劇遞減，說明這個(gè)瓶頸有著更深層的結(jié)構(gòu)性原因，不能單靠"把模型做得更大"來解決。