所有大模型，都學物理學：北大物理系一篇研究，震撼了AI圈

編輯｜+0、澤南、Panda

LLM 智能體很贊，正在成為一種解決復雜難題的強大范式。

不過，這種成功目前更多還停留在「經驗主義」的工程實踐層面 —— 我們知道它好用，但往往不知道它在宏觀上為何如此運作。那么，我們是否能找到一個理論框架，像物理學描述自然界那樣，去理解和統一智能體的宏觀動力學（macroscopic dynamics）？

為了解開這個黑盒，近日，北京大學物理學院、高能物理研究中心以及北京計算科學研究中心聯合發力，跨界借用了物理學中經典的最小作用量原理（least action principle）。他們提出了一種新穎的方法，成功估計了嵌入在智能體中的 LLM 隱秘的生成方向性（directionality），揭示了 AI 生成過程背后可能存在的「物理定律」。

1. 論文標題：Detailed balance in large language model-driven agents
2. 論文地址：https://arxiv.org/pdf/2512.10047

簡單來說，他們通過實驗測量了 LLM 生成狀態之間的轉移概率。基于此，他們在統計上發現了 LLM 生成轉移中的細致平衡 (detailed balance) 現象。

這表明：LLM 的生成可能不是通過一般性地學習規則集和策略來實現的，而是通過隱式地學習一類潛在的勢函數 (potential functions)，這些勢函數可能超越了不同的 LLM 架構和提示詞模板。

該團隊表示：「據我們所知，這是首次在不依賴特定模型細節的情況下，發現 LLM 生成動力學中的宏觀物理定律。」

什么意思呢？通俗來說，該團隊發現 AI 的思考并不是「死記硬背」，而是像水往低處流一樣遵循「物理本能」。

是的，LLM 智能體在解決問題時，其行為模式并不像很多人以為的那樣僅僅是在匹配規則或隨機嘗試，而是隱約看到了一張無形的地形圖（勢函數）。在這個地形圖中，錯誤的答案就像是高地，而正確的答案則是谷底。智能體的每一次推理和生成，實際上都是在最小作用量原理的驅動下，自然而然地向著勢能更低、質量更好的狀態流動。

這意味著，AI 能夠解決復雜問題，是因為它在海量參數中內化出了一種全局的「直覺」，這也是科學家首次在 AI 生成過程中發現了不依賴于特定模型的宏觀物理定律。

這一發現將 AI 研究從「煉丹術」提升到了可量化的「物理科學」高度。通過驗證物理學中的「細致平衡」現象，該團隊證實了 AI 的思維跳躍并非無跡可尋，而是像熱力學平衡系統一樣有著嚴格的數學比例。

這讓我們可以用物理指標來給不同的大模型畫像；比如，研究發現：

1. Claude-4 像個急于交卷的優等生，傾向于快速收斂到某個答案（勢井），但也容易固執己見；
2. GPT-5 Nano 則像個探險家，雖然收斂慢，但更愿意在狀態空間中多走走，探索未知的可能性。

這一理論框架讓我們可以用科學測量的手段去預測和控制 AI 的行為，而不再僅僅依賴盲目的工程試錯。看起來，也正如谷歌前些天的一篇論文展現的那樣（參閱報道《谷歌發布智能體 Scaling Law：180 組實驗打破傳統煉金術》），AI 智能體的研究不再只是簡單的工程實踐，而是正在提升為建立在有效測量基礎上的、可預測且可量化的科學。

下面具體來看看這個北大團隊究竟發現了什么。

理論

為了嚴謹地表述這一問題，該團隊研究的是一個核心由一個或多個 LLM 組成的智能體。

該智能體將其當前狀態 f 作為輸入，通過一系列確定性的步驟對狀態進行組織和評估，從而生成一個相關的提示詞。隨后，該提示詞被輸入到一個或多個 LLM 中，其結構化的輸出經解析后得到一個新的狀態 g。該狀態是研究 LLM 動力學的最小單位。

這種生成過程可以被視為狀態空間 中的一個馬爾可夫轉移過程，其轉移核為 P (g|f)，保留了 LLM 生成的多樣性和適應性。狀態由智能體在每個時間步保留的完整信息定義，這應當包含智能體執行連續推理或類比過程所需的所有信息。在本文中，智能體僅包含 LLM 的單個生成步驟，記 (g←f)=P (g|f) 為智能體通過 LLM 生成從包含狀態 f 的模板轉移到包含狀態 g 的輸出的概率。

圖 1 為示意圖。

基于 LLM 的智能體的特征在于，其狀態轉移并非完全隨機，而是表現出某種結構化的偏好。

具體而言，智能體傾向于從當前狀態 f 轉移到從智能體視角來看「更好」的狀態 g。

為了捕捉這一現象，假設存在一個潛在的勢函數 V_:→?，它為每個狀態分配一個標量值，以反映其「質量」。由于特定的勢函數通常難以直接計算，研究者提出了一種有效估計該勢函數的方法。

給定一個全局勢函數 V，研究者將智能體的給定轉移 (g←f) 對勢函數的違背定義為 K (V (f)?V (g))，其中 K (x) 是一個凸函數，用于描述從狀態 f 到狀態 g 的轉移在多大程度上違背了勢函數 V 的排序。為了量化智能體行為與勢函數之間的整體不匹配度，研究者以轉移核 (g←f) 為權重，將作用量 定義為全局平均違背：

其中 Df,Dg 是狀態空間上的測度。在本文中，研究者選擇 K (x)=exp (-βx/2) 作為描述給定狀態轉移 f 到 g 違背標量函數 V 排序程度的凸函數。作用量 S 或 βV (f) 的分布形狀可以代表該狀態空間 C 內智能體的全局認知能力。

研究者提出，若要利用勢函數量化 LLM 的行為，可以尋找一個使智能體轉移與勢函數之間的整體不匹配度最小化的勢函數。因此，描述給定狀態空間中基于 LLM 的智能體 最合適的勢函數 V_ ，是那個能使作用量 S 最小化的函數。

這意味著作用量滿足關于勢函數 V_ 的變分原理：

該變分條件等價于 V_ 滿足以下平衡條件：

這對所有 f∈C 成立，其中 K'(x)=dK/dx。

具體而言，如果對于所有轉移 (g←f)>0,，均有 V (f)≥V (g) 成立，則表明智能體的狀態轉移是完全有序的，在此情況下，V 充當李雅普諾夫函數。

值得注意的是，如果 描述的是一個平衡系統的轉移，其狀態轉移滿足細致平衡條件，即對于所有狀態對 (f,g)，下式成立：

其中 π(f) 表示系統在狀態 f 處的平衡分布，而 P (g|f) 表示轉移核。在這種情況下，存在一個勢函數 V 可以明確地將細致平衡表示為：

代入 (3) 式，可以驗證該勢函數 V=V_ 滿足最小作用量原理。這表明對于平衡系統，如果存在細致平衡條件，則可以通過最小作用量原理估計其潛在的勢函數。在一般情況下，最小作用量僅僅是在尋求勢函數的最有序排列，從而最小化智能體狀態轉移對該排列的違背。

研究者指出，基于 LLM 的智能體在其 LLM 生成的狀態空間中，往往表現得像一個平衡系統，該狀態空間相較于 LLM 完整的生成序列是粗粒化的。這一現象的存在表明 LLM 生成動力學中存在一種不依賴于具體模型和任務細節的普遍宏觀規律。這表明，盡管看似無關，但在不同的 LLM 生成過程之間存在潛在的聯系，使我們能夠通過勢函數 V_ 描述 LLM 生成中的全局有序性，從而為 LLM 的內部動力學提供解釋。

結論與展望

在本文中，研究者提出了一種基于最小作用量原理的框架，旨在描述和分析基于 LLM 的智能體在其 LLM 生成的狀態空間中的生成動力學。

通過在多個不同模型和任務上的實驗驗證，研究者發現這些智能體的狀態轉移在很大程度上滿足細致平衡條件，這表明它們的生成動力學表現出類似于平衡系統的特征。研究者進一步通過最小作用量原理估計了底層的勢函數，并揭示了其在捕捉 LLM 生成動力學內在方向性方面的重要作用。

研究者對發現 LLM 生成動力學中的宏觀規律進行了初步探索。

該團隊也展望了未來：「未來的工作可以進一步擴展這一框架，并探索利用更多來自平衡及近平衡系統的工具，以理解和優化 LLM 的生成過程。例如，研究偏離平衡的程度可能有助于我們理解模型的過擬合水平，因為過擬合的模型可能會學習更多局部的策略集，而不是由勢函數支配的全局生成模式。此外，基于勢函數的優化方法也可能為提高 LLM 任務相關生成的質量和多樣性提供新思路，例如根據不同的安全性和探索需求調整不同幅度的作用量。」

更多技術細節請參閱原論文。