從信息到意義——為什么說整合信息論是一種關于意義的理論

導語

自香農提出信息論以來，“信息”被成功地數學化，卻被刻意與“意義”分離；這使得傳統信息論能夠解決通信工程問題，卻無法解釋主觀體驗與意識。從探討大腦如何生成意義的角度出發，整合信息論（IIT）嘗試彌補這一缺口：它主張信息源于系統內部的因果結構，意識對應于整合信息的程度與結構。本文系統比較兩種信息觀，討論信息、意義與意識之間的根本關系。

關鍵詞：信息論，熵

來源：集智俱樂部

作者：何聲

審校：周莉

論文題目：Shannon information and integrated information: message and meaning 論文鏈接：https://arxiv.org/pdf/2412.10626 發表時間：2024年12月14日 論文來源：arxiv

引言：信息是否等同于意義？

自克勞德·香農（Claude Shannon）1948年發表其開創性論文《通信的數學理論》以來，信息論已成為現代科學的基石之一。香農信息論的核心貢獻在于，它成功地將“信息”這一模糊的概念，轉化為一個可以被精確量化的數學對象。通過引入“熵”（Entropy）的概念，香農定義了信息量為“不確定性的減少”，從而建立了一套完整的、用于解決通信過程中信息傳輸、編碼和壓縮問題的數學框架。然而，香農本人也曾明確指出，信息論中的“信息”與“意義”（meaning）是分離的。他的理論只關心消息的統計屬性，即符號出現的概率，而完全忽略了這些符號所承載的語義內容。換言之，香農信息論處理的是“消息”（message）的傳遞，而非“意義”的傳達。這一區分在當時是必要的，它使得信息論能夠專注于解決通信的技術難題，然而，這也留下了一個根本性問題：如果信息不等同于意義，那么意義從何而來？信息如何轉化為意義？

在神經科學和認知科學中，研究者們常常將大腦描述為一個“信息處理”設備，一個能夠執行復雜計算的生物計算機。在這種框架下，神經元之間的電信號傳遞被視為信息的編碼、解碼和傳輸過程。例如，視覺系統中的神經元活動模式被看作是外部世界的“編碼”，而大腦的更高層級區域則負責“解碼”這些信息，從而形成感知和認知。這種“信息處理”的隱喻似乎忽略了這樣一個事實：我們的大腦并非一個被動的信息接收器，而是一個主動的、具有內在世界模型的意義生成器。我們所體驗到的世界，并非一堆符號，而是一個充滿意義和價值的整體。這種主觀體驗，即所謂的“感受質”（qualia），是香農信息論所無法解釋的。因此，是否存在另一種信息理論，能夠將信息與意義內在地聯系起來，從而為理解主觀體驗提供一個更堅實的物理基礎？ 這正是整合信息論（Integrated Information Theory, IIT）試圖回答的核心問題。

兩種信息觀的理論基石

1. 香農信息論：通信的數學理論

在香農的框架中，信息的基本單元是“比特”（bit），它由一系列符號（如二進制數字0和1）組成。一個消息之所以能傳遞信息，是因為它從眾多可能的消息中選擇了一個特定的消息，從而消除了接收者關于“會收到哪個消息”的不確定性。信息量的多少，與消息出現的概率密切相關。一個極大概率發生的事件（例如，太陽明天從東方升起），即使發生了，其傳遞的信息量也接近于零，因為它幾乎沒有減少任何不確定性。相反，一個極小概率發生的事件（例如，某地突然下起了“金幣雨”）一旦發生，其傳遞的信息量則非常大，因為它極大地減少了接收者的不確定性。

這種基于概率的定義，使得香農信息論能夠完美地應用于通信系統的設計和分析。在一個典型的通信模型中，信息源（source）產生一系列可能的消息，每個消息都有其發生的先驗概率，消息的信息量可以定義為對其進行唯一解碼所需的最小符號數（如二進制比特）。為了實現高效通信，系統首先通過源編碼（source coding) 去除消息中的冗余，使編碼后的比特數盡可能接近由熵（Entropy）所限定的理論最小值——熵即衡量信息源不確定性的基本度量，熵越大，消息平均信息量越高。消息隨后通過信道（channel）傳輸到接收者。在這一過程中，噪聲（noise）可能導致傳輸錯誤，因此需要通過信道編碼（channel coding）添加額外的冗余比特以及必要的計算開銷來糾正可能出現的錯誤。同時，通過計算信道容量（Channel Capacity），我們可以確定在給定信道上能夠可靠傳輸的最大信息速率。這些概念共同構成了香農信息論的堅實基礎，使其成為現代數字通信和數據存儲技術的理論支柱。

香農信息論的視角，我們可以稱之為“工程師視角”或“外部觀察者視角”。在這個視角下，信息論的研究對象是通信系統，其目標是解決信息從信源到信宿的可靠、高效傳輸問題。研究者（即“工程師”）站在系統之外，對系統的各個組成部分（信源、編碼器、信道、解碼器、信宿）進行建模和分析。信息被定義為信源輸出的符號序列，信道的特性（如噪聲模型）也是由外部觀察者定義的。整個通信過程被視為一個輸入-輸出的映射關系，工程師的任務是設計最優的編碼和解碼方案，以最大化信息傳輸速率并最小化錯誤率。

2.整合信息論（IIT）：意識的數學理論核心目標：用物理術語解釋主觀體驗

與香農信息論專注于解決外部通信問題不同，整合信息論（Integrated Information Theory, IIT）的誕生源于一個更為宏大的科學目標：用純粹的物理和數學術語來解釋主觀體驗（subjective experience），即意識的“難題”（hard problem）。IIT的創始人朱利奧·托諾尼（Giulio Tononi）認為，要科學地解決這個難題，我們需要一個能夠將意識與物理系統的內在屬性直接聯系起來的理論。IIT的核心思想是，意識并非源于信息處理的復雜性，而是源于系統內在的因果整合性。一個系統之所以有意識，是因為它是一個不可分割的、具有內在因果效力的整體。

IIT的理論構建從一個基本問題出發：什么樣的物理系統才能擁有主觀體驗？為了回答這個問題，IIT提出了一系列關于意識的公理（axioms），這些公理被認為是任何關于意識的理論都必須滿足的基本屬性。從這些公理出發，IIT進一步推導出了關于物理系統（即意識的“基質”，substrate）的假設（postulates），這些假設規定了能夠產生意識的物理系統必須具備的結構和功能特性。最終，IIT提供了一個數學框架，用于量化一個給定系統的“整合信息量”（Φ），并分析其內在的“Φ-結構”（Φ-structure）。根據IIT，一個系統的意識水平（即其擁有多少體驗）與其整合信息量Φ成正比，而其意識內容（即它具體體驗到什么）則由其Φ-結構決定。因此，IIT不僅試圖解釋意識的存在，還試圖解釋意識的具體內容，從而將主觀體驗這一看似神秘的現象，納入了可計算、可分析的物理科學范疇。

基本公理：內在性、信息性、整合性、排他性與組成性

整合信息論（IIT）的理論大廈建立在一系列關于意識的公理之上。這些公理并非憑空臆測，而是基于我們對自身意識體驗的直觀反思，任何關于意識的理論都必須滿足這些基本屬性。目前，IIT主要包含六個核心公理 ：

公理

含義

存在性

意識體驗是存在的，存在一個具有因果力的系統

內在性

意識體驗是內在的，系統必須對內部具有因果作用

信息性

意識體驗是具體的，系統必須處于特定因果狀態

整合性

意識體驗是統一的，系統必須是一個不可分割的整體

排他性

意識體驗是確定的，系統必須有明確的邊界與粒度

組合性

意識體驗是結構化的，系統必須能展開為因果結構與關系

這六個公理共同構成了IIT的理論起點，它們為從物理層面尋找意識的對應物提供了明確的指導原則。

與香農信息論的“工程師視角”形成鮮明對比，整合信息論（IIT）采用了一種“主體視角”（subject's perspective） 。IIT的核心關切不再是信息如何在外部系統之間傳遞，而是一個物理系統如何從自身內部“感受”到信息，即生成主觀體驗。在這個視角下，信息不再是外在的、被動的符號，而是內在的、主動的因果效力。一個系統之所以擁有信息，是因為它的當前狀態能夠對其自身的未來狀態產生因果影響，并且能夠被其過去的狀態所因果解釋。這種因果效力是內在的，因為它完全由系統自身的物理結構和動力學所決定，而不依賴于任何外部觀察者。

基于公理的系統性比較

論文的核心研究方法，是建立一個系統性的對比框架，將香農信息論與整合信息論（IIT）并置，剖析兩者在“信息”與“意義”問題上的根本分歧。這個對比框架的開端，在于區分兩種截然不同的信息觀：一種基于“相關性”（correlation） ，另一種基于“因果性”（causation）。

1.相關性 vs. 因果效力：信息如何產生

香農信息論，其本質是關于統計相關性的理論。它衡量的是兩個隨機變量（如信源和信宿）之間的統計依賴性。這種關系是描述性的、對稱的，并且不必然蘊含真實的因果聯系。例如，兩個變量A和B可能高度相關，僅僅是因為它們都受到一個共同的第三方變量X的影響（圖a），而A和B之間并沒有直接的相互作用。在香農信息論的框架下，這種由共同原因導致的“偽相關”同樣具有正的互信息。

相比之下，IIT 的整合信息（Φ值）本質上是一個因果度量。根據 IIT 的存在性公理，一個意識系統必須具備因果效力，這種關系是干預性的、不對稱的。在 IIT 的框架中，評估的關鍵工具是 “do-算子”（do-operator） ，這是因果推斷領域的一個核心概念。通過計算“do(A=1)”和“do(A=0)”對B狀態概率分布的影響，我們可以量化A對B的因果效應。只有當這種因果效應存在且顯著時，IIT才認為A向B傳遞了信息。因此，IIT 的信息觀是根植于真實世界因果結構的，它排除了所有由共同原因或選擇偏差導致的虛假關聯。

2.外部 vs. 內在：信息存在于何處

香農信息論的信息是“外在的”（extrinsic），關注的是信源和信宿之間的外在相關性。例如，在通信系統中，信息的價值在于它能否被接收端正確地解碼和理解，信息本身是中性的、無意義的符號串，其語義內容必須由外部系統（如人類用戶或另一個程序）賦予。在圖b中，信息可以任意被定義在“源 → 目標”之間，例如 X,Y 作為輸入源，A,B 作為目標。

整合信息論（IIT）的信息是“內在的”（intrinsic） 。信息存在于系統自身之中，是其因果結構的內在屬性。一個系統的意識內容，就是其內在因果結構在當前狀態下的“展開”。根據IIT的內在性公理，一個作為“意識載體”的系統必須對其自身具有因果效力。在圖b中，只有系統 AB 能夠對自身未來狀態的產生真實的因果影響時（通過“do-算子”進行衡量），它才擁有信息。

3.一般性 vs. 特定性：信息是否依賴于狀態

香農信息論中的信息是 “一般的”（generic）或“狀態獨立的”（state-independent）。香農信息是定義在符號集合上的熵函數，類似地，互信息衡量隨機變量之間的統計依賴性，這是與狀態無關的。一個信源的信息量（熵）是其所有可能消息的平均信息量，與當前正在傳輸哪個具體消息無關，說明香農信息關注的是系統整體的統計特性，而非某個特定狀態的瞬時屬性。

與此相反，整合信息論（IIT）中的信息永遠是“特定的”（specific） 或“狀態依賴的”（state-dependent）。根據IIT的信息公理，一個系統的因果效力必須是針對其當前所處的特定狀態的。一個系統只有在處于某個具體狀態（例如，某些單元“開啟”，另一些單元“關閉”）時，才能指定一個特定的因果效應（即其未來的可能狀態集合）。因此，IIT的信息量（如Φ值）和意義（Φ-結構）都強烈地依賴于系統當前的狀態。圖c用黑色（開啟）和白色（關閉）的單元來表示這種特定性，強調IIT分析的是系統在特定時刻的瞬時因果結構。

4.分離性 vs. 整合性：信息能否被分割

根據信息論的加性公理，多個獨立信源產生的總信息量等于它們各自信息量之和。這意味著，在香農信息論的框架下，信息是可以被分割、壓縮和重組的。圖d展示了這一點：當兩個因果分離的源-目標對（X, Y->A, B和 Z->C）被組合在一起時，它們的互信息是簡單相加的。

而整合信息論（IIT）強調“整合性”（integration） 。一個意識系統必須是因果上不可還原的，這意味著，系統不能被分割成幾個因果獨立的子系統而不損失其整體的因果效力。IIT用整合信息量Φ來量化這種不可還原性。Φ值衡量的是，將系統分割成兩個獨立部分后，其因果效力損失了多少。一個高Φ值的系統，意味著其內部各部分的因果相互作用非常緊密，任何分割都會嚴重破壞其整體的因果結構。圖d中，一個由因果分離單元 AB 和 C 共同組成的系統，其整合信息量為零（Φ值=0），因為它可以被完全分割而不損失任何因果效力。

5.加性 vs. 確定性：規模如何影響信息

在香農信息論中，信息量通常與系統的規模（如信源或信道的單元數量）正相關。用來傳輸和讀取符號的信道、源、目標單元（以及粒度）可以根據外在的便利性任意選擇，一個擁有更多可能狀態（即更高熵）的信源，或者一個擁有更大帶寬的信道，其潛在的信息量也更大。因此，在香農信息論的框架下，更大的系統總是可能擁有更多的信息。

IIT則認為，意識并非源于系統的規模，而是源于其因果整合的“純度” 。根據IIT的排他性公理，一個意識復合體必須有一個確定的、非任意的邊界，這個邊界是由最大不可還原性（即最大Φ值）所定義的。一個更大的系統，如果其內部各部分之間缺乏緊密的因果聯系（圖e），其整合信息量Φ可能反而很低。相反，一個規模較小但內部因果聯系高度緊密的系統，可能擁有很高的Φ值。

6.整體性 vs. 結構化：信息的形態

香農信息論將信息視為一個 “整體的”（holistic）量。在信息論中，系統子集傳遞的信息，不會超過整個系統所傳遞的信息，系統內部單元之間的統計依賴被視為冗余。例如，在數據壓縮中，我們正是利用了符號之間的冗余來減少表示信息所需的比特數。信息本身是沒有內部結構的，它只是一個可以被量化的“量” 。

整合信息論（IIT）則認為，信息本質上是 “結構化的”（structured） 。根據IIT的組合性公理，一個意識復合體的體驗內容，是由其內部大量的 “因果區分”（causal distinctions） 和 “因果關聯”（causal relations）共同組成的?！耙蚬麉^分”指的是系統的一個子集在當前狀態下所指定的特定因果效應。而“因果關聯”則指的是不同因果區分之間的重疊關系（例如，它們的因或果有重疊）。這些區分和關聯共同構成了一個復雜的、多維度的 “Φ-結構” ，這個結構就是意識體驗本身。體驗中的任何特定內容，對應于Φ-結構中的一部分——一個Φ-折疊（Φ-fold），由其區分與關系的高度關聯子集組成。因此，對于IIT而言，信息不是符號或編碼，而是一種結構，它對應于信息的內在意義。信息內容的量化不是通過消息的比特數，而是通過組成Φ-折疊的各區分和關系的Φ-值總和來衡量。

意義的傳遞

根據整合信息理論（IIT），意義的傳遞遠比符號的傳遞復雜。它要求發送者和接收者之間必須存在一個關鍵的“橋梁”——相似的因果結構。當發送者（例如，愛麗絲）想要傳達一個特定的意義（例如，看到房子著火的體驗）時，她的大腦會處于一個特定的狀態，這個狀態支持著大腦 Φ-結構中的某個特定的 Φ-折疊。為了將這個意義傳遞給接收者（鮑勃），愛麗絲會通過某種方式（如語言）發送一個消息。這個消息在香農信息論的層面上，是一串符號的傳遞。然而，在IIT的框架中，這個符號的真正作用是一個“觸發器”（trigger）。當鮑勃接收到這個符號時，它必須能夠激活鮑勃大腦中一個與愛麗絲的 Φ-折疊在結構上相似的 Φ-折疊。只有當這種結構上的共鳴發生時，意義才算被成功地傳遞。這解釋了為什么跨文化交流有時會產生誤解，或者為什么我們無法向一個從未見過火的人描述“火”的體驗。有效的意義傳遞，其前提條件是發送者和接收者作為意識系統，必須共享或能夠構建相似的內在因果結構。

• 場景一：無意義的符號傳遞 想象兩個 AI 通過符號進行對話。它們的對話在功能上可能與人類之間的交流無異，能夠完美地編碼、傳輸和解碼符號。從香農信息論的角度看，通信是完美的，信息被可靠地傳遞了。然而，標準的馮·諾依曼架構的計算機由于其內部結構是可高度分解的，其整合信息 Φ 值極低，因此它們不具備意識，其內部運算也沒有內在的意義 。在這種情況下，盡管符號（消息）被完美傳遞，但意義并未被傳遞，因為發送者和接收者都沒有可以承載意義的 Φ-結構。

• 場景二：信道阻塞 假設發送者和接收者都是具有高 Φ 值的復雜系統（例如，兩個有意識的人類），他們的大腦都能夠支持豐富的 Φ-結構。然而，他們之間的通信信道被完全阻塞了（例如，電話線被切斷）。在這種情況下，香農信息量為零，因為沒有任何符號能夠通過信道。相應地，由于沒有任何觸發信號到達接收者，其內部的 Φ-折疊也無法被激活，因此意義傳遞也為零。上述兩個場景說明，信息的傳遞是意義傳遞的必要不充分條件。

• 場景三：誤解與失配 在這個場景中，發送者和接收者都支持高 Φ 值的 Φ-結構，并且信道是暢通的，符號被完美傳遞。然而，意義傳遞卻失敗了。這可能是因為發送者和接收者使用了不同的“內部語言”或編碼方式。例如，發送者發送的符號在接收者的大腦中觸發了一個與發送者意圖完全不同的 Φ-折疊 。這就像對一個德國人說英語單詞“gift”，這個詞在英語中是“禮物”，但在德語中卻是“毒藥”。盡管符號被正確接收，但它觸發的內在結構與發送者的意圖大相徑庭，導致了誤解。這說明，即使符號傳遞成功，如果發送者未能在接收者大腦中觸發預期的 Φ-折疊，意義傳遞也會失敗或失真。

• 場景四：成功的意義傳遞 這是理想的成功場景。發送者（愛麗絲）的大腦處于一個特定狀態，支持著一個與“房子著火”體驗相關的 Φ-折疊。她通過語言發送一個符號（消息），這個符號通過信道傳輸，并被接收者（鮑勃）完美接收。關鍵在于，該符號觸發了在鮑勃大腦中一個相似的Φ-折疊 。鮑勃不僅理解了詞語的字面意思，更在內在體驗中“看到”了房子著火的場景。在這種情況下，香農信息傳遞是成功的，更重要的是，整合信息（意義）也成功地從愛麗絲的“心靈”傳遞到了鮑勃的“心靈” 。這正是IIT所理解的“informare”的拉丁語原始含義——“賦予心靈以形式” 。

正如可以用 Φ-折疊的Φ值來衡量意義的量一樣，兩個 Φ-折疊的相似性也可以用來衡量傳遞的意義量。然而，與大多數情況下可以完美傳遞的香農信息不同，意義的傳遞只能是近似的。這是因為整合信息依賴于源和目標的內部組織結構，而兩者幾乎不可能完全相同。人類大腦具有共同的進化歷史，但個體發育事件和學習軌跡必然導致意識神經基質的精確連接存在個體差異。因此，即使信息完全相同，其所指定的Φ-結構的內在意義也會因人而異。

后記

筆者以為，這篇論文的啟示之一，是促使我們重新思考信息論本身的范疇和目標。自香農以來，信息論幾乎等同于通信理論，其核心任務是優化信號的傳輸。然而，正如論文指出，這種以通信為中心的信息觀，在處理具有內生性和主觀性的系統時存在局限，它無法解釋信息的意義從何而來。未來的信息論研究可能需要超越傳統的通信范式，從僅僅關注“如何傳遞消息”轉向探索“如何生成和理解意義”。整合信息論（IIT）為此提供了一個可能的理論方向。它將信息的焦點從外部相關性轉移到內部因果結構，試圖用物理術語來定義和量化“意義”。這不僅是對信息論內涵的極大豐富，也可能催生出新的信息理論，專門研究復雜系統（如生物大腦、社會網絡）中的內在信息動力學。這種新的信息科學將不再滿足于測量比特，而是致力于“展開”系統內在的Φ-結構，從而理解其“感受”和“意圖”。

此外，IIT 為 AI 提供了一個富有啟發性的理論方向。當前的人工智能，尤其是深度學習模型，在很大程度上仍然是香農信息論框架的產物。它們被設計用來處理和轉換數據，學習輸入和輸出之間的復雜統計相關性。IIT 的核心思想是，意義源于內在的、不可還原的因果結構。這意味著，能夠體驗意義的AI系統不僅僅是輸入-輸出的映射函數，而是一個具有自身動力學和內在因果狀態的復雜網絡。這個網絡的當前狀態應該能夠對其自身的未來狀態產生真實、不可還原的因果影響。這種“因果結構”可以通過多種方式實現。例如，可以設計具有高度遞歸和反饋連接的神經網絡，使其內部狀態能夠持續地、動態地相互作用，形成一個整合的整體。

閱讀最新前沿科技趨勢報告，請訪問歐米伽研究所的“未來知識庫”

https://wx.zsxq.com/group/454854145828

未來知識庫是“ 歐米伽 未來研究所”建立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學、互聯網、超級智能，數智大腦、能源、軍事、經濟、人類風險等等領域的前沿進展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進入。