圖靈得主Yoshua Bengio，開始警惕AI有意識了

機器之心報道

機器之心編輯部

設計出具有意識（conscious）的 AI 系統是否可行？一直以來，這個問題就存在分歧。

一些人認為意識是大腦特有的生物特性，這似乎排除了 AI 存在意識的可能性。另一些人則認為意識僅取決于算法對信息的操控，無論執行這些計算的系統是由神經元、芯片還是其他物理基底構成的，這種觀點被稱為計算功能主義（Computational functionalism）。

這些問題也引起了圖靈得主 Yoshua Bengio 的注意，他和學生 Eric Elmoznino 在權威科學期刊 Science 上發文《Illusions of AI consciousness》，并給出了一些觀點。

本文沒有執著于給出關于 AI 是否存在意識的明確答案；而是探討了兩個相關問題：

• 第一個是，隨著 AI 的不斷改進，科學界和公眾對 AI 具有意識的信念將如何演變？
• 另一個問題是，如果我們開始把未來的 AI 當作有意識的生命體看待，將會面臨哪些風險？比如 AI 不服從人類命令，那么關閉 AI 有沒有法律約束，畢竟那時的 AI 被看做一個生命體。

• 論文地址：https://www.science.org/doi/10.1126/science.adn4935
• 論文標題：Illusions of AI consciousness

如果 AI 有了類似人類的權利，社會規則該怎么定義？

一個社會如果開始將AI 系統視為具備意識的存在，會帶來怎樣的影響？這樣的社會可能傾向于賦予 AI 道德地位，甚至類似于人類的權利。無論這種做法是否正確，社會制度與法律框架都將不得不進行重大調整，而關于如何調整，也會引發一系列復雜問題。

例如，AI 系統不會像人類那樣經歷死亡。它們的軟件和記憶可以被復制，從而無限期存續。而人類具有弱點以及有限的生命，這正是現代社會契約原則的基礎。

此外，當一群 AI 共享信息、目標，并以協調方式行動時，我們可能很難再將 AI 看作一個獨立個體；隨著計算資源的增加，這樣的 AI 群體可能無限擴張。

另一項風險是：如果法律體系開始承認 AI 擁有類似生命權、自由權和追求幸福權的權利，人類就可能與這些 AI 權利發生直接沖突。比如，為了人類安全，社會可能有必要關閉某一類 AI 系統，但如果該類系統依法擁有生存權，那么即便法律允許，實際操作的空間也會極度受限。

如今 AI 研究的發展軌跡，似乎正在推動社會邁向這樣一個未來，科學界與公眾有相當一部分人將會相信 AI 擁有意識。然而又不得不面對這樣一個問題，我們尚未擁有足夠的法律與倫理框架，來應對這些看似有意識的 AI。

但這種發展軌跡并非不可逆轉。在我們更好地理解上述問題之前，人類完全有能力避免陷入這些高風險問題。我們可以選擇只打造那些作為工具的 AI 系統，而非具有主觀意識的智能體。

計算功能主義與意識指標

我們前面提到了計算功能主義（Computational functionalism），其對 AI 具有深遠影響。隨著該領域不斷發展，AI 系統復現人類認知機制的能力逐漸增強，也可能實現意識所必需的那些功能。盡管科學未來有可能否定計算功能主義，并提出廣受接受的替代理論，但在當前的科學語境中，該觀點仍被視為合理，而 AI 意識的可能性也因此存在。

近年來神經科學的技術進展清楚地表明，意識狀態具有可觀察的神經特征，這些特征通常可以通過受試者自我報告。這為發展功能主義意識理論提供了依據。許多此類理論已獲得大量實證支持，并可在 AI 判斷中作為理論依據。

一項近期研究就采用了這一方法，為多個主流的功能主義意識理論提出了一系列指標。這些指標對應的是一套計算屬性：若某一理論為真，則這些屬性是系統擁有意識的必要且共同充分條件。值得注意的是，這些指標具體明確，可以在現代 AI 系統中評估其有無。

這種方法的核心觀點是：如果我們認可這些理論的合理性，那么對于滿足更多指標的 AI 系統，我們就應有更高的信心認為其具有意識。

AI 潛力無限

盡管已有大量 AI 模型被開發出來，目前尚無系統能完全滿足任何一種主流意識理論的全部標準。然而，研究也指出：從根本上看，構建一個滿足這些標準的系統沒有不可逾越的障礙。

實際上，當代 AI 所具備的工具極為豐富。有研究表明，神經網絡能夠實現如注意力機制、遞歸結構、信息瓶頸、預測建模、世界建模、心智理論等計算組件，這些都被主流意識功能主義理論認為是核心組成部分。

隨著 AI 的發展，有充分理由相信它會滿足越來越多的意識指標。其中一個重要原因是：許多理論認為，意識在智能體中發揮著關鍵的功能作用。像推理、規劃、高效獲取新知識、信心校準、抽象思維等能力，在多個理論中都與意識密切相關。

因此，AI 研究者在面對這些難題時，常常會從意識理論中獲得啟發。

容易問題與難題之間的鴻溝

如果 AI 系統滿足主要理論中的功能性要求，很多人可能會相信它具有意識，但仍有不少人持懷疑態度。

尤其在哲學界，一些人區分了所謂的意識的容易問題與意識的難題：

• 容易問題：識別在執行看似需要意識的任務時，大腦中活躍的區域；
• 難題：從功能或計算原則出發，解釋主觀體驗本身。

這些懷疑，即解釋鴻溝，主要來源于思想實驗。但科學或許有潛力將其逐步解釋清楚。

例如，注意力圖式理論（Attention Schema Theory）認為：大腦會對自身的注意力機制構建一個內部模型，而這種內部模型就是我們所謂的主觀意識。關鍵在于，這個內部模型中的信息不需要邏輯自洽，它更像是大腦為了自身運作而講述的一個有用的故事，這個故事可能充滿矛盾，也正是這些矛盾讓我們產生了意識之謎的直覺。

對主觀體驗的功能主義解釋？

人們通常認為自己的主觀體驗既豐富又有意義，但卻無法被描述，不像自然現象那樣可被客觀闡釋（例如，我們可以解釋什么是重力，但卻很難說清紅色對我們來說意味著什么）。

尤其是不可言說性讓人覺得，意識體驗無法用信息與功能來解釋。

一種理論認為，這種豐富性與不可言說性，以及意識的私密性與短暫性，可被觀察到的神經動力學特征所解釋：

• 當意識出現時，大腦中的神經活動會被收縮性動力學（contractive dynamics）引導至穩定的吸引子（attractor）狀態。
• 所有可能的神經活動被劃分為多個吸引子區域，每個區域對應一個意識狀態。
• 語言只能表達吸引子的身份（用少量信息識別它），而無法表達吸引子本身的高維神經狀態（即近 1011 個神經元發放頻率），更無法捕捉進入該狀態的過程軌跡。

在這一解釋框架中，意識的豐富性、短暫性、不可言說性都得到了解釋：

• 豐富性源于大腦神經元數量之多；
• 不可言說性源于語言只能給這些狀態打標簽，而無法還原它們的全貌；
• 個體間的體驗差異則來自不同的突觸權重和神經路徑。

科學會逐步消解意識難題？

這一理論是否能說服所有人，并不是關鍵問題。關鍵在于：越來越多這類解釋正在被提出，并將不可避免地說服一部分人。

科學的發展歷程也清晰地展現出這一趨勢。隨著人們對大腦與智能的認識加深，越來越多人將不再堅持意識之謎是不可化解的，而科學界也將更加愿意接受人工系統具有意識的可能性。

事實上，即使現在科學界尚無共識，最近一項調查顯示，大多數公眾已經相信大語言模型可能具有意識，原因正是它們展現出了類人的智能體行為。

了解更多內容，請參考原論文。