綜述：信息論如何成為復雜系統科學的核心工具

導語

無論是氣候變化、流行病傳播、金融市場波動，還是大腦的認知功能，這些系統都由大量組件構成，組件間存在多樣且動態的互動，因為這些非平凡的互動具有如非線性、涌現、自適應和路徑依賴等特征，導致其集體行為往往難以通過還原論預測。面對這些錯綜復雜的涌現現象，科學家們迫切需要一套強大而普適的數學語言來對其進行描述、量化和理解。

起源于通信的信息論，因其能跨領域量化組件之間，系統與環境，整體與部分的互動，正逐漸成為復雜系統研究領域工具箱中不可或缺的一環。本文旨在對Thomas F. Varley于2025年12月8日發表在《Physics Reports》上的這篇重要綜述進行深入解讀，系統闡述信息理論為何以及如何成為復雜系統科學的基石，并詳解其核心概念、進階工具與實際應用。

關鍵詞：信息論、熵、互信息、傳遞熵、整合信息（Φ）、部分信息分解（PID / PED）、O-信息 / Φ?、多尺度動力學

郭瑞東丨作者

陶如意丨審校

文章題目：Information theory for complex systems scientists: What, why, and how 文章鏈接：https://www.sciencedirect.com/science/article/pii/S037015732500256X 發表時間：2025年12月8日 文章來源：Physics Reports

一、 信息理論的基石：核心概念與直覺構建

該文先詳細講解了信息理論的幾個核心度量指標，從最基礎的概念無疑是熵。據說香農在提出信息論之后，找到馮諾依曼，詢問他應該如何稱呼新的不確定度量。

馮·諾依曼回答：“ 你應該稱之為熵，因為沒人真正知道熵是什么，這樣你在辯論中總是占上風。”

這個故事凸顯了一個現實：盡管香農提及熵時最初的關注點狹隘，他所構建的結構卻異常籠統，容易產生多種解讀。

1.1 熵：不確定性的量化

想象一個天氣預報。如果某地一年365天都是晴天，那么你對“明天天氣”的不確定性為零，熵也為零。如果天氣晴雨各半，你的不確定性最大，熵也最高。因此，熵衡量的是在得知具體結果之前，我們對一個隨機變量取值的“驚訝”程度的期望值。

圖1：信息熵示意圖，不同盒子中對應概率不同，對應的熵不同

對于一個離散隨機變量X，其香農熵H(X)的數學定義為H(X) = -Σp(x)logp(x)。其中p(x)是X取值為x的概率。對數底數通常為2，此時熵的單位是比特。

在神經科學中，一個神經元的放電序列的熵可以衡量其響應的可變性；在生態學中，一個物種分布模式的熵可以反映其空間分布的不確定性；在金融學中，一只股票價格的熵可以表征其波動性。

1.2 聯合熵與條件熵

聯合熵H(X,Y)衡量兩個隨機變量X和Y聯合分布的不確定性。它總是大于等于單個變量的熵，但小于等于二者熵之和。條件熵H(Y|X)：表示在已知隨機變量X取值的情況下，對隨機變量Y仍存在的不確定性。如果X和Y完全獨立，則H(Y|X) = H(Y)；如果Y完全由X決定，則H(Y|X) = 0。

H(X,Y) = H(X) + H(Y|X)。這直觀地表明，X和Y的總不確定性，等于X自身的不確定性，加上已知X后Y剩余的不確定性。

1.3 互信息：依賴關系的純粹度量

互信息I(X;Y)是信息理論皇冠上的明珠。它衡量的是，通過觀察一個變量，我們能獲得關于另一個變量的平均信息量。或者說，它量化了X和Y之間的統計依賴性，其范圍從0（完全獨立）到min(H(X), H(Y))（完全依賴）。

I(X;Y) = H(X) + H(Y) - H(X,Y)。

變量X和Y之間的互信息等于X和Y各自不確定性的和，減去它們的聯合不確定性。那部分被“抵消”掉的不確定性，正是由X和Y共享的信息。

相比常用的只能捕捉變量之間線性關系的皮爾森相關系數，互信息能捕捉任何形式的統計依賴，包括非線性的、非單調的關系。例如，Y = X2的關系，相關系數可能為0，但互信息值會很高。在腦網絡中，可以用互信息來連接兩個腦區，表示它們活動的同步性；在基因調控網絡中，可以連接兩個基因，表示其表達水平的協同變化。

圖2：互信息的拆解示意圖

1.4 相對熵 （Kullback-Leibler散度）

相對熵衡量兩個概率分布p和q之間的“距離”（嚴格來說不是距離，因為它不對稱）。D_KL(p || q)量化了當真實分布為p時，用分布q來近似所造成的信息損失。而互信息I(X;Y) = D_KL( p(x,y) || p(x)p(y) )。

從上式可看出，互信息衡量的是X和Y的聯合分布p(x,y)與它們假設獨立時的分布p(x)p(y)之間的“差異”。差異越大，說明它們越不獨立，共享信息越多。

例如兩個獨立事件分別是投一個正常的骰子和有偏的骰子， 投五次時，兩個事件中的相對熵如下的動圖所示

圖3：投一個正常的骰子和有偏的骰子五次的相對熵變化

基礎的信息度量（如互信息）如同給我們一張復雜系統的靜態照片，我們能看出哪些節點之間有連接，但無法知曉信息是如何在這些連接中流動的，也無法理解這些連接背后的深層結構。接下來要介紹的指標，會將這張靜態照片升級為一部動態的、可解構的4D電影。

二、信息論如何直接描摹復雜系統的動態特征

復雜系統中，信息的傳遞是動態的、隨時間演化的。信息動力學旨在量化信息在系統內部及與環境之間的產生、存儲、傳遞和修改。這其中涉及的使用信息論的指標或例如包括

2.1 傳遞熵 (transfer entropy)

傳遞熵由Thomas Schreiber提出，是互信息在時間序列上的推廣。它衡量是，在已知Y自身過去歷史的情況下，X的過去歷史能為預測Y的當前狀態提供多少額外信息，即定向信息流。例如，在神經科學中，傳遞熵可用于判斷是腦區A的活動影響了腦區B，還是反之，從而推斷出因果關系的方向，這強于格蘭杰因果只是進行非方向的因果量化。

圖4：構造一個簡單因果系統：Yt=Xt?2⊕Noise，Yt=Xt?2⊕Noise （X 以 2 步延遲影響 Y）X到Y的轉移熵是正的，說明是X影響Y

2.2 主動信息存儲

主動信息存儲（AIS）衡量一個系統組成部分的過去歷史中，有多少信息與其當前狀態相關。這量化了系統內部記憶或信息存儲的能力。一個具有高主動信息存儲的單元，其行為在很大程度上由其自身的歷史決定。

應用AIS分析混沌時間序列：雖然混沌系統是確定性的，但由于其對初始條件的極端敏感性（蝴蝶效應），其短期歷史對預測當前狀態非常有價值，但長期歷史的預測價值會迅速衰減。因此，當我們設定一個適當的過去窗口長度（例如，10個時間步）時，計算出的AIS會是一個中等偏高的值。這表明系統在短期內是有“記憶”的。

在金融市場中，常見的有效市場假說認為，股價的歷史信息不能預測未來收益，即收益率序列接近隨機游走。如果計算出的AIS值會非常低，接近零。這意味著資產的過去價格對其當前價格幾乎沒有提供額外的信息，支持了“市場無記憶”的觀點。反之，如果發現某只股票的AIS值持續較高，則可能意味著存在可預測的模式，違背了有效市場假說。

圖5：滿足與不滿足有效市場假說的場景下，對應的主動信息存儲值不同

2.3 整合信息論

整合信息論由神經科學家Giulio Tononi提出，試圖度量意識。其核心思想是，一個系統是否具有“意識”程度取決于其各個部分整合信息的程度，如整個系統所產生的信息大于其各部分信息之和的程度，該系統具備意識。考慮一個由百萬個光電管組成的都高分辨率數碼相機。每個像素都能高保真地記錄光信息，整個傳感器接收的信息量巨大（高互信息）。但是，如果你將傳感器切割成兩半，每一半仍然能很好地工作。傳感器各部分之間幾乎沒有因果相互作用（一個像素的狀態不影響相鄰像素）。因此，這個系統的整合信息Φ非常低，故而照相機不可能有意識體驗。

而大腦的不同區域以極其復雜的方式相互作用。視覺皮層接收的信息需要與記憶、情感、語言等區域進行整合，才能形成“看到一朵紅玫瑰”這樣統一、不可分割的體驗。如果因為疾病導致大腦不同區域的聯系減弱（裂腦癥），這種統一的體驗就消失了。因此，大腦作為一個整體的信息遠超其部分信息之和，其整合信息Φ被認為非常高。整合信息論由此將Φ與意識的程度直接聯系起來。

對于整合信息論，最大的問題在于Φ的計算在實踐上對于像大腦這樣的系統是極其困難的，因此對該理論，學界存在著巨大的爭議。

圖6：對比照相機和大腦在視覺處理上的信息整合程度

2.4 統計復雜性與因果態

通過分析時間序列的歷史數據，將能預測相同未來狀態的所有歷史歸入同一個“因果態”。這是一種對系統動態過程的最優壓縮表示。統計復雜性是這些因果態分布的熵。統計復雜性的多少，衡量了為準確預測未來，系統必須記住多少關于過去的信息。

該指標衡量的是系統為了生成觀測到的時間序列，所需要記住的關于其過去的最小信息量。一個具有中等統計復雜性的系統，通常具有豐富的內部結構和動態模式。

想象你觀測一只螢火蟲的閃光序列：亮、暗、亮、亮、暗……初看隨機，但若某些“歷史模式”（如“亮-暗”）總是預測下一刻“亮”，而另一些（如“暗-暗”）總導向“暗”，那么這些歷史就應被歸為兩類——它們雖細節不同，卻對未來有相同的預測效力。

這些具有預測效力的歷史，可視為因果態（causal state）：即所有能生成相同未來條件分布的歷史，被等價歸并為一個狀態節點。而由這些因果態構成的最小、最簡、最優預測器被稱為?-機器（epsilon-machine）。而無論是統計復雜性的最優壓縮，還是?-機器的內在狀態結構的不可約性，這兩個概念說明了復雜系統之所以復雜，在于其內在狀態結構的不可約性。

圖7：因果態示意圖：生成一段二元時間序列；用滑動窗口劃分歷史，對每個歷史計算其未來條件分布 ；將具有相同未來分布的歷史歸為同一因果態節點；繪制 ?-機器：因果態為節點，轉移概率為邊，突出其為最小最優預測器

三、信息分解：解開信息的協同與冗余

傳統互信息I(X;Y)告訴了我們X和Y共享了多少信息。但如果考慮第三個變量S（例如，一個環境刺激或一個共同驅動因素），問題就變得復雜了：X和Y所共享的信息，有多少是冗余的（例如，都反映了S的信息）？有多少是協同的（例如，只有當X和Y同時被觀測時，才能獲得關于S的獨特信息）？

部分信息分解（PID partial information decomposition）旨在將I(S; X,Y)由X和Y決定的關于目標S的總信息分解為四個部分：

1 冗余信息（Redundancy）：由X和Y各自單獨提供的、關于S的相同信息。

2 特有信息（Unique）：僅由X提供的關于S的信息。

3 特有信息（Unique）：僅由Y提供的關于S的信息。

4 協同信息（Synergy）：只有當X和Y被同時考慮時，才能提供的關于S的信息。

I(X1,X2;Y)= Red(X1,X2→Y)+X? Unq(X1→Y∣X2)+X? Unq(X2→Y∣X1)+ Syn( X1,X2→Y)

當源數 N>2，部分信息分解迅速復雜化。Williams & Beer 引入冗余格（Redundancy Lattice）——一個偏序集，枚舉所有信息分配的可能“原子”。

圖8：兩種最簡單系統的冗余晶格示例。左：兩個源 的冗余晶格，并與單一靶點產生突觸。右：三個源的冗余晶格在單一靶點產生突觸。三元格點清楚地表明，隨著源數量的增加，隨著更復雜的來源組合貢獻關于目標的信息，“冗余”、“特有信息”和“協同”之間的清晰界限會逐漸消失。在動態過程的背景下，協同效應可以被看作是兩股信息流在單一元素 上相互作用產生的“新穎”信息

在神經科學中，使用PID可以研究一組神經元是如何冗余地編碼一個刺激以提高魯棒性，又是如何協同地編碼更復雜的特征。這有助于理解神經群體編碼的原理。

PID還為從數據中重建網絡結構推斷提供了工具，通過計算所有可能變量對之間的互信息或傳遞熵，可以構建一個加權的、完全連通的圖。然后通過適當的閾值化或統計檢驗（如置換檢驗），可以推斷出網絡中哪些連接是顯著的。該方法能夠發現非線性相互作用，且對數據的分布假設要求較低。

PED（Partial Entropy Decomposition） 是 PID 的自然推廣，不同于 PID 對互信息 I(X1,…,XN;Y) 的分解（需指定“sources”與“target”），PED 直接分解聯合熵H(X1,…,XN)，無需區分輸入與輸出

圖9：兩輸入 X1,X2； 輸出 Y=X1⊕X2（XOR 異或） ，PID 累積的收斂過程及同步顯示 PED 視角

四、從成對關系到信息網絡

網絡是復雜系統建模的通用語言：從腦網絡、金融系統、生態食物網到社交網絡，結構化建模幾乎都依賴網絡表示。網絡可按構建方法分為兩類，第一類物理網絡（如航空網、白質纖維束），其中邊對應真實物理連接，結構可直接觀測；另一類統計網絡中的邊對應統計依賴性，需從數據推斷，可使用信息論中的互信息等度量刻畫變量間不確定性的變化。

統計網絡又可按是否包含方向，分為兩類，一是功能鏈接Functional Connectivity (FC) 網絡，該網絡由無向圖構成，邊權重為變量間的互信息，刻畫瞬時共變，例如fMRI 腦功能網絡、基因共表達網絡、金融相關性網絡；二是有效連接Effective Connectivity (EC) 網絡，由有向圖構成，邊權重為變量之間的轉移熵，刻畫事件X對事件Y在排除Y自身記憶下，對預測Y的增量預測能力。

而當系統中存在當協同/冗余時，常規的基于成對相互關系構建的二元網絡（bivariate network）將無法描述，此時需引入三元協同超邊（hyperedge）的超圖 (hypergraph) 或單純流形（Simplicial Complexes）。

五、用信息論刻畫復雜系統的整合與分離

復雜系統的核心特征在于其可“整合”或“分離”。整合指的是系統所有元素相互作用并相互影響的動態過程，而分離則指的是系統部分元素參與自身進程，且這些進程不與其他元素共享的動力學特征。以大腦為例：已知特定腦區參與某些過程而不參與其他過程（不同區域的功能性是分離的），然而同時，大腦整合程度足夠高，以至于所有不同的局部過程可以整合為一個統一的、具有單一意識的生物體。有研究假設這種整合與分離的平衡對于健康的大腦功能至關重要。

類似地，在經濟領域，成功的公司維持著健康的分離平衡（各分支部門各自負責其使命），同時所有工作都由中央執行辦公室進行監督和廣泛指導。 在全球政治中，各個國家的內部動態被國家邊界、語言和文化所隔離開來，而國家之間的整合則表現為條約、貿易和歷史糾葛。

這種整合與分離的混合本質上是一種多尺度現象，不同尺度往往表現出不同的偏向。考慮一個模塊化網絡：在每個模塊內部，存在高度整合，但每個模塊可能僅與其他模塊稀疏連接，表明系統范圍內的更高尺度分離。據此，可采用上述的信息論度量，來衡量復雜系統中的整合與分離平衡程度。

例如，1994 年，Tononi、Sporns 與 Edelman 提出 TSE-復雜性（Tononi-Sporns-Edelman Complexity），通過遍歷所有可能的子系統劃分，檢測“部分”與“剩余”之間的互信息分布。若系統全分離（如獨立高斯變量），則TSE等于0；若系統全整合（如同步振子）， 小子系統與剩余高度相關，但大子系統因冗余導致互信息增長緩慢，那么 TSE 仍低；而具有中等特征的系統，如模塊化網絡（模塊內高整合、模塊間弱連接），互信息隨子系統大小非線性上升，TSE 達峰值，表明系統能夠在需要時整合或分離。

此時可視為系統處于復雜度最高的臨界態，系統既非僵化（全整合），也非混亂（全分離），而是處于信息處理能力最強的混沌邊緣。由于TSE的計算需枚舉所有子集，對包含組件數大于20的系統幾乎不可行。實踐中常用近似指標描述復雜性（Description Complexity）來替代。

TSE 告訴我們“有多復雜”，卻未揭示“復雜在何處”。Rosas 等人提出的 O-信息（Ω）與 S-信息（Σ）則進一步分解復雜性的成分。Ω > 0，則系統以冗余主導 ， 信息存有多份備份（如基因組重復、工程冗余設計），對應系統的穩健性高，適應性低；Ω < 0，則系統以協同主導 ，信息僅存于全局模式中（如神經群體編碼），對應系統靈活性高，脆弱性高；S信息Σ則反映總依賴密度，高 Σ 表示節點深度嵌入網絡（如樞紐腦區）。

O信息的計算，可針對局部網絡，據此可預測何時腦狀態高度冗余（如穩態睡眠）？何時突發協同（如頓悟時刻）？而無論是O信息還是局部O信息，上述度量均基于多元互信息的加減法，這意味著它們不是動態的：它們作用于靜態概率分布。

Balduzzi和Tononi提出的集成信息度量（ measure of integrated information ）Whole-minus-sum complexity試圖用一種基于動力學時間演化的整合性度量，旨在捕捉系統“整體大于部分之和”的不可還原性信息結構。集成信息度量將過去作為一個整體，考察對未來產生不可分解的預測力。若該值大于零，說明只有聯合考慮所有部分的過去，才能最優預測整體未來；存在不可約的跨變量協同演化。

ΦR通過從ΦID（整合信息分解）剔除純冗余項，用以衡量系統是否真正作為一個統一體計算。實驗證明蜂群決策時 Φ? 升高；癲癇發作（全腦同步）時 Φ? 反而下降；細胞自動機 Rule 110（圖靈完備）的 Φ? 顯著高于 Rule 30（混沌）或 Rule 90（線性）。由于ΦR是系統“因果不可還原性”的量化指標，可對應弱整合信息理論（weak IIT），即若一個系統聲稱“統一地計算”，這ΦR需大于0.這不直接等于該系統具有意識，但刻畫了“系統作為一個統一體進行信息處理”的程度，可作為人工系統（如 LLM、機器人）是否具備“統一認知架構”的可操作檢驗。

對于包含多個組件的系統，無法直接計算ΦR，可通過最小信息分割（Minimum Information Bipartition, MIB），遍歷所有二分劃分。對每個劃分計算ΦR再取最小值。該值反映系統最脆弱的整合環節，是整體整合能力的下界。

六、使用信息論的實際困難

在論述了信息論在復雜系統中的種種應用后，該文接下來指出實際應用時需從有限數據中估計概率分布與信息量。估計偏差不僅影響數值精度，更會系統性扭曲高階結構推斷。

離散情況下的插件估計（plug-in）存在系統偏倚，會導致熵被低估，而互信息被高估；對此的應對方法是Miller–Madow 校正、置換 null 模型、貝葉斯估計器。連續數據更復雜，主流方法三類：粗粒化（Coarse-graining）的直方圖分箱：易用但 bias/信息損失嚴重，已不推薦；點過程（Point process）僅保留顯著事件（如 fMRI 極值），需閾值選擇；序數嵌入（Ordinal partition）：將時間序列映射為排列模式，保留時序結構（如 permutation entropy）。

在連續數據計算信息論估計量時，參數法（Gaussian estimators）僅捕獲線性依賴，丟失非線性協同/冗余。非參數密度法（KNN-based）Kozachenko–Leonenko（熵）、Kraskov–St?gbauer–Grassberger (KSG)（互信息）等基于 k-近鄰距離，無需假設分布，支持局部信息量估計；可擴展至條件互信息、PID 局部項。

原文的第八部分是用于計算的四個常用開源包，例如DIT，可用于PID的高階信息分解。由于篇幅原因，這里不展開介紹。第九部分討論信息論應用面臨的局限，主要是信息論衡量的有向指標不代表因果關系，而依賴先驗知識提供的因果圖假設，多個不同因果圖可產生相同信息結構。

此外，使用信息論研究復雜系統，還需要注意語言隱喻（“信息流”“存儲”）易被誤讀為物理實體，而事實上信息論是關于不確定性中推理的數學，它描述的是我們如何減少不確定性，而非世界自身的屬性。信息總是相對于觀察者模型（observer-dependent），無絕對“系統自身的信息”。

七、未來方向與總結

在包含數千個特征和數千萬個樣本的大數據時代，需要新的方法來學習元素組之間的信息依賴關系。除了規模巨大之外，現實世界的數據集還可能包含離散和連續特征的混合，這進一步增加了互信息估計的復雜性，并且通常不能假設其遵循給定的參數分布。神經信息估計器使用神經網絡來估計上述的信息論指標，代表了一種在復雜性科學中尚未得到充分探索的新方法。其中最著名的是 MINE (Mutual Information Neural Estimation)。

在機器學習中，信息論提供了一套實用工具，用于實現另一個目標（學習的高效算法）。相比之下，在復雜系統中，信息論度量是描述某些系統結構的描述性統計量，并且本身可以是一個最終目標。用 Φ?、O-信息等引導進化算法（如機器人行為涌現），即通過信息量作為目標函數也是復雜系統與信息論結合的未來研究方向。

總結來看，從香農熵到 ΦID/PED，信息理論提供了統一語言，刻畫從預測、整合到涌現的多尺度過程，最終理解復雜系統如何在不確定性中進行推理的動力學。通過信息論，我們能夠知道系統的哪部分在記憶，哪些信息是共享的、獨有的、還是協同涌現的，整體是否真的大于部分之和。信息論提供的不同度量是理解復雜系統結構和動態的自然工具，這些系統可能富含高階冗余、協同作用和計算過程，這些特征的外在表現為不同尺度上的不確定性降低。

系列課程推薦：統計物理基礎課程

集智學園聯合上海大學理學院教授、知乎“物理學”話題優秀答主李永樂，共同推出「統計物理基礎」系列課程。課程以熱力學和經典力學為起點，依次展開 Boltzmann 統計、系綜理論、量子統計、相變與非平衡統計等核心內容，圍繞一個核心問題展開：大量微觀粒子的隨機運動如何涌現出穩定的宏觀定律？本課程強調物理圖像與方法論，幫助你建立清晰的微觀—宏觀統計思維，掌握處理多粒子系統和復雜隨機過程的一套通用工具。

課程詳情可見：

1.

2.

3.

4.

5.

6.

7.