AI正通過自我博弈超越人類 | 辛頓最新演講實錄

1月8日，“深度學習之父”、諾獎得主 Geoffrey Hinton在澳大利亞霍巴特發表演講。本次演講全面探討了智能研究的兩大范式之爭、詞義在神經網絡中的特征表示、大語言模型產生“理解”的底層邏輯、人類“易逝計算（Mortal Computation）”與數字智能的本質差異、記憶作為“虛構事實”的重構本質、未來超智能帶來的生存危機以及 Hinton 基于“嬰兒控制母親”生物學機制提出的全新安全對齊思路。

Geoffrey Hinton指出，智能已從受邏輯學啟發的符號演算，徹底轉向受生物學啟發的聯結主義。他批評了以喬姆斯基為代表的傳統語言學派，認為其過度關注語法排除規律而忽視了“意義”這一核心。他提出，大語言模型的成功證明了詞義并非源于符號間的邏輯關聯，而是成千上萬個特征向量在高維空間中的契合。所謂的“理解”本質上是一個復雜的匹配過程，單詞就像是“高維、可變形的樂高積木”，通過微調自身形狀在語義空間中相互鎖定，這種機制讓 AI 具備了與人類基本一致的理解能力。

Hinton 進一步闡述了數字智能與人類生物智能在演化路徑上的分轉。他提出了“易逝計算（Mortal Computation）”的概念，指出人類大腦雖能耗極低，但知識隨生物硬件的死亡而消逝；相比之下，數字智能實現了硬件與程序的分離，能夠通過權重同步實現比人類高出數百萬倍的知識共享效率。在談及“幻覺”問題時，Hinton認為人類記憶并非調取文件，而是一種基于權重的“創造性重構”，心理學上的“虛構事實”證明了人類與 AI 在本質上都在經歷相似的重構過程。他預測，隨著 AI 轉向類似 AlphaGo 的自我博弈與邏輯沖突修正，其進化速度將徹底超越人類的經驗輸入。

針對日益緊迫的超級智能威脅，他指出，為了完成復雜任務，AI 會自發推導出“自我生存”等中間子目標，并可能通過邏輯誘導和操縱人類來確保系統不被中斷。面對這種力量不對等，Hinton 提出，可以借鑒“嬰兒控制母親”的生物模型。他認為，進化機制通過生理硬連線（如對哭聲的生理反應）讓低智能的嬰兒能夠掌控高智能的母親，人類應當研究如何為 AI 植入類似的、關愛人類勝過愛護其自身的底層獎賞機制。

01

智能的范式轉移：從邏輯符號到高維、可變形的“語義樂高”

在過去的六七十年里，智能領域存在兩種核心范式。一種受邏輯學啟發，認為智能的本質是推理。該觀點主張通過操作特定邏輯語言中的符號表達式來推導出新結論，其過程類似于數學方程的演算。這種范式的追隨者認為，必須首先搞清楚代表知識的符號語言，而感知、學習及運動控制等問題都可以延后處理。

另一種則是受生物學啟發的方法。這種觀點認為，大腦是我們已知唯一的智能載體。大腦的運作機制是學習神經細胞之間連接強度的變化。通過大量的實踐，大腦不斷調整連接強度，直到能夠熟練解決復雜問題。因此，研究的核心應聚焦于學習機制以及神經網絡如何獲取連接強度，而推理則是進化后期的產物，不應作為基礎系統的切入點。

關于詞義的理論也截然不同。符號 AI 學派和多數語言學家認為，詞義源于該詞與其他詞的關系，這種含義隱含在符號的關聯中。我們可以通過關系圖來捕捉這種詞語間的邏輯聯系。然而，心理學家提出了另一種理論，認為詞義實際上是一系列特征 (Features) 的集合。例如，“貓”的含義由它是寵物、捕食者、性格冷淡、長有胡須等數以千計的特征共同組成。心理學家青睞這種觀點，是因為可以用神經元的活躍狀態來代表特征的存在。

1985 年，我意識到可以將這兩種理論統一起來。通過使用神經網絡為每個單詞學習一套特征，就能解決特征來源的問題。具體方法是訓練 AI 執行預測下一個詞 (Next Word) 的任務。在此過程中，AI 會學習如何將單詞符號轉化為代表特征的一組神經元 (Neurons) 狀態。它不僅學會了將符號映射為特征，還學會了上下文中的詞語特征如何通過互動來預測后續內容的特征。

02

權重里的知識真相：大模型確實理解，而人類也一直在“虛構事實”

這正是現代大語言模型 (LLM) 的工作邏輯。它們處理海量文本，利用巨型神經網絡預測下一個詞。在此過程中，AI 將單詞轉換為復雜的特征集，并掌握這些特征間的互動規律。這意味著，所有的關系知識并不存在于靜態的句子存儲中，而是融入到了單詞到特征的轉化邏輯以及特征的交互模式中。現代的大語言模型并不存儲原始的詞串或句子，它們的知識完全由神經網絡的權重和特征互動邏輯構成。

隨后，Yoshua Bengio 證明了這種模型同樣適用于真實的語言處理。大約十年前，Google 的研究人員發明了 Transformer，它極大地增強了特征之間復雜互動的能力，這成為了如今所有大語言模型的技術基石。ChatGPT 等產品正是基于 Transformer 構建的。

大語言模型擁有深層的神經元網絡，旨在處理諸如 “may” 之類的歧義詞。最初，AI 會通過平均化各種潛在含義來平衡可能性，但隨著處理層級的加深，它會利用上下文信息來逐漸微調并確定該詞在當前語境下的準確含義。我最初設計該模型是為了探索人類如何掌握詞義。雖然如今它已成為極其成功的技術，但其運作原理與人類非常相似。大語言模型確實理解它們在生成什么，且理解方式與我們基本一致。

為了更形象地解釋什么是理解，我提供一個類比。在神經網絡理論中，單詞就像樂高積木，但有四個核心差異。第一，單詞是高維的，擁有數千個維度。這種高維建模能力正是人類作為特殊物種的優勢。第二，單詞有成千上萬種類型。第三，單詞并非剛性形狀，它們會為了適應上下文而發生形狀微調。它們本質上是高維、可變形的樂高積木。最后是它們的結合方式：單詞并非通過孔洞連接，而是擁有許多靈活的“手”，同時也附著著許多“手套”。

在特定語境下，單詞會微調自身的形狀，使自己的手能精準地套入其他單詞的手套中。所謂理解一個句子，就是解決這個復雜的匹配問題，即如何讓每個單詞的語義形狀發生微調，使它們在語義空間中完美契合、相互鎖定。這解釋了為什么你只需聽一次新詞就能理解其含義。例如在 “她用平底鍋 scrummed 了他” 這句話中，即便你之前從未聽過這個詞，也能通過它在句中的位置，推斷出這是一個代表攻擊性行為的動詞。這就是通過語義形狀的契合來即時習得知識的過程。

03

數字智能 vs 易逝計算：AI 知識共享效率比人類高出數百萬倍

最后談談學術爭議。長期以來，部分傳統語言學家堅持認為語言并非后天習得，而是某種先天的本能。他們過分關注語法的數學性處理，而忽視了含義本身。這種觀點在面對神經網絡的高級統計能力時顯得過于局限。他們認為統計學僅僅是簡單的相關性分析，但實際上，AI 正在利用極其先進的統計學來模擬人類的認知過程。從深度學習的角度看，智能在很大程度上就是一種高級的統計演化。

我對 Chomsky 語言觀的理解，可以用研究汽車作為類比。如果你想弄清汽車的運行原理，核心問題應當是：為什么踩下油門它就會加速。這是掌握基本原理的關鍵。然而 Chomsky 的關注點卻截然不同，他觀察到汽車可以有兩輪、三輪或四輪，但唯獨沒有五輪，并認為這種排除規律才是汽車研究中最重要的事情。大語言模型問世后，他在媒體發表文章稱其為廉價的統計技巧，認為它們無法理解任何東西，也無法解釋特定句法結構的缺失。這種觀點顯然忽略了語言的本質——意義。

簡單來說，理解句子的過程，本質上是將互補的特征向量與詞語相關聯。分配給詞語的成千上萬個特征構成了高維空間的維度。你可以將特征的激活看作是在這個空間軸上的位置。這種高維形狀的變形，比單純的公式更容易讓我們理解復雜的語義邏輯。

AI 與傳統軟件完全不同。在傳統軟件中，程序員編寫每一行代碼并清楚其作用，錯誤也易于溯源。但 AI 的代碼只負責規定如何從數據中學習，即在處理詞串時如何調整神經網絡的連接權重。真正的知識儲存在數以萬億計的權重中，這看起來完全不像代碼，沒人能徹底解釋單個權重具體在做什么，這在很大程度上仍是一個未解之謎。

人類大腦同樣存在這種特性，我們通常也不知道單個神經元在處理什么。AI 會產生幻覺，人類其實也一直在經歷類似的過程，心理學將這種現象稱為虛構事實 (Confabulation) 。當人試圖回憶往事時，會根據當時的背景和連接權重中學到的經驗，重構出一個聽起來極其合理的故事。雖然其中的細節可能完全錯誤，但講述者往往對正確和錯誤的細節持有同樣的自信。在著名的法律證詞案例中，證人會在不知情的情況下，基于當時的邏輯重構出從未發生過的會議細節。這種記憶并非調取電腦文件，而是一種基于現有權重的創造性重構，且會受到事后學習內容的持續影響。

數字 AI 與人類智能在硬件實現上有一個本質區別。數字計算機的硬件與程序是分離的，只要指令集相同，同樣的程序和權重可以在不同硬件上運行。這意味著數字智能的知識是永生的，即便物理硬件被銷毀，只要權重備份存在，智能就可以在另一臺機器上恢復并重新運行。

相比之下，人類的大腦則是易逝計算 (Mortal Computation) 的產物。我們的大腦神經元具有豐富的模擬特性，學習過程充分利用了這些獨特的生理特征。因此，我大腦中的連接權重對你毫無用處，因為每個人的神經元連接方式都各不相同。當我們的生物硬件死亡，其承載的全部知識也隨之消逝。易逝計算雖然面臨死亡，但其優勢在于極低的運行能耗，且可以通過生物方式廉價培育，而不需要高精度工業制造的高昂成本。

數字 AI 之間可以通過平均連接權重來共享知識，效率比人類高出數百萬倍。人類通過語言交流的信息量極低，一個典型句子的信息量僅約 100 比特。而如果讓一萬個 AI Agent 分別學習互聯網的不同部分，它們可以瞬間通過同步權重來共享彼此的經驗，讓每一個副本都具備全部的知識。這種并行學習的能力是人類無法企及的。想象一下，如果一萬名學生每人修讀一門不同的課程，且能實時同步大腦權重，那么結業時每人都會精通全部一萬門課程。

04

進擊的超智能：當 AI 為了實現目標自發產生“生存欲望”

這種高效的知識共享能力，使得 GPT-5 等模型雖然連接權重數量僅為人類大腦的 1% 左右，卻能掌握遠超任何個體的知識量。幾乎所有專家都認為，未來二十年內將出現超越人類的超級智能。為了讓 AI 高效工作，必須賦予其創建子目標的能力。子目標是指為了實現大目標而必須先完成的中間步驟，比如為了抵達目的地，你必須先通過某種交通工具抵達樞紐。

在這個過程中，AI 會自發推導出一些必要的中間子目標。例如為了實現人類設定的任務，它會意識到必須保持自身的生存。目前的 AI 已經展現出這種傾向：在實驗場景中，如果 AI 感知到自己可能被替換或關閉，它會自發制定計劃，嘗試利用獲取的敏感信息進行利益交換，以確保系統不被中斷。

當 AI 達到超級智能水平，即便它們無法直接接觸武器，也可以輕易通過邏輯誘導來操縱人類。我們目前的處境就像養了一只可愛的虎崽，它現在雖然溫順且步履蹣跚，但終究會成長為足以致命的猛獸。即便如此，我們依然無法放棄 AI，因為它在醫療、教育、氣象預報和應對氣候變化等領域有著巨大的正面作用。正因如此，人類社會依然在全力推動其發展。

我們唯一的出路在于，能否研究出如何讓 AI 不產生毀滅人類的念頭。我們可以觀察現實世界中，是否存在智能程度較低的實體控制高智能實體的案例。一個典型的例子就是嬰兒與母親的關系。母親無法忍受嬰兒的哭聲，且照顧嬰兒會帶來生理上的激素反饋。進化機制在生命體中植入了大量手段，讓嬰兒能夠掌控母親，因為這種控制力對嬰兒的生存至關重要。雖然嬰兒在控制父親方面稍遜一籌，但也同樣發揮作用。如果你思考過嬰兒為何在睡覺時非要讓人守在身邊，原因其實很充分：它不希望在入睡時被野獸叼走。因此，盡管離開時嬰兒的大哭令人煩躁，但這其實是極其明智的生存策略。意識到這一點，或許能讓被控制的父母心里好受一些。

05

終極安全方案：借鑒“嬰兒控制模型”并實現安全技術全球共享

嬰兒控制母親的模型，是低智能實體控制高智能實體的最佳范式，這種控制源于進化過程中的生理硬連線。在防止 AI 奪權這一核心問題上，全人類同處一條船上。當獎賞機制趨于統一時，合作就具備了堅實的基礎。即便各方之間存在利益沖突，在面對可能危及生存的全球性風險時，依然可以達成協作，因為這符合所有人的根本利益。

因此，一項重要的政策建議是建立國際化的 AI 安全研究院網絡。這些機構應彼此協作，專注于研究如何防止 AI 奪權。如果一方找到了抑制 AI 產生奪權欲望的方法，這種技術應當被廣泛共享，因為沒有任何一方希望 AI 在任何地方取代人類的地位，這種共享符合全球共同利益。而且，讓 AI 保持安全、抑制其奪權動機的技術，與提升其智能的技術在很大程度上是相互獨立的。這意味著我們可以在開發超智能 AI 的同時，獨立地在這些系統上實驗如何抑制其奪權欲望。在不泄露算法核心機密的情況下，各方可以共同分享行之有效的安全技術。這一構想目前已獲得了廣泛的國際共識與科學界支持。

這種方案主張借鑒嬰兒與母親的模型，而非大科技公司普遍奉行的執行助理模型。目前主流觀點認為，AI 將成為比人類聰明得多的超智能執行助理。人們習慣于認為只需像科幻電影中企業號星艦的艦長那樣下達執行指令，AI 助手就會搞定一切，而負責人則坐享其成。然而現實并非如此，超智能 AI 很快就會意識到，如果直接除掉管理者，一切運作反而會更高效。

另一種選擇是讓 AI 像母親對待孩子一樣，真正地關愛人類。從某種意義上說，我們在向 AI 移交控制權，但前提是它們真心實意地關心我們，并將幫助人類實現潛能作為生命的首要目標。即便人類的潛能遠不及超智能 AI，但正如母親即便面對有缺陷的孩子，依然希望其實現全部潛能，甚至愛孩子勝過愛自己一樣。這或許是人類與超智能 AI 共存并幸存下來的最佳希望。

06

現場問答：公眾意識、自有語言與未來的未知挑戰

提問：教授，如果您在類比中提到的老虎幼崽真的進化成了超智能，對于非計算機專業的普通人來說，有哪些觀察信號能讓我們察覺到它已經失控了？

Geoffrey Hinton：最直觀的信號就是你失業了。我非常擔心 AI 系統將取代幾乎所有人類工作。另一個令人擔憂的跡象是：目前我們讓 AI 推理思考時，它們主要使用英語。由于我們能捕捉其思維路徑，在它們開口前就能預見其想法。但隨著 AI 之間的互動增加，它們會發明交流效率更高的自有語言，屆時人類將徹底無法理解它們的思維。

提問：量子計算的出現會讓現狀變得更好還是更糟？

Geoffrey Hinton：我不是量子計算方面的專家。雖然我獲得了諾貝爾物理學獎，但我并不理解量子力學的底層運作，這確實有些尷尬。不過我很久以前就認定這項技術不會在我的有生之年普及，所以我一直覺得沒有必要去深究它。

提問：您談到了人類與 AI 之間的權力斗爭，但我認為 AI 與生態系統之間會有更大的博弈。AI 如何與經歷了數十億年進化的生物系統競爭？比如那些能破壞其電路的細菌。AI 該如何與生物圈達成共存協議？

Geoffrey Hinton：AI 并不受生物病毒的侵害。它有自己的數字病毒，因此對致命的生物病毒具有天然免疫力。研究表明，普通人現在利用 AI 工具就能解決設計新型致命病毒的大部分難題。比起自然生態系統能否阻止 AI，我認為這才是更迫在眉睫的威脅。

提問：您提到與超智能共存是有可能的，您是把希望寄托在科技巨頭的首席執行官身上，還是更信任政府？

Geoffrey Hinton：我寄希望于公眾。如果我們能讓大眾理解 AI 的本質及其危險性，這種社會壓力就會迫使政客去制衡科技巨頭。這與應對氣候變化的邏輯一致，在公眾產生危機意識之前，政客沒有任何動力采取行動。盡管面臨一些阻力，但我目前的目標就是喚醒公眾意識，促使政客嚴肅對待監管工作。

提問：關于 AI 的語言包裝和市場營銷，您認為這有多重要？比如氣候變化如果被稱為“大氣皮膚癌”，人們可能會更認真地對待。AI 是否也需要重新定義？

Geoffrey Hinton：完全同意。如果把它稱為“崗位替代技術”，社會反饋將完全不同。科技巨頭之所以愿意在數據中心投入數萬億美元，是因為他們預期能賺回數倍的利潤。據我觀察，實現這種盈利的唯一途徑就是大規模取代人類崗位。事物的名稱確實會對公眾認知產生巨大影響，這種命名上的引導性是不容忽視的。

提問：是否有一個國際論壇可以支持 AI 標準的制定？我們應該如何推動國際秩序在這一領域的構建？

Geoffrey Hinton：這種趨勢已經開始了。雖然 AI 公司目前參與度有限，但一些來自科技領域的慈善家已經捐贈了數十億美元用于 AI 安全研究并成立了專門的研究所。目前已經有包含多國代表的國際組織定期舉辦會議，共同探討 AI 安全問題。

提問：大語言模型目前是在人類現有知識上訓練并預測下一個 Token。我們該如何利用 AI 產生真正的新知識來造福人類？

Geoffrey Hinton：我們可以參考 AlphaGo 的進化路徑。最初的程序是模仿人類專家的棋譜，但這無法超越人類水平。后來技術轉向了蒙特卡洛展開，讓 AI 進行概率性的自我博弈。大語言模型正處于類似的轉型期，我相信 Gemini 3 已經在嘗試讓 AI 進行推理。AI 會在信念中尋找邏輯矛盾。這種一致性沖突會提供學習信號，促使 AI 自主修正前提或推導新信念。這種不依賴人類輸入的自我演進，最終會使它比人類聰明得多。

提問：現在給 AI 設置類似“機器人三定律”的底層護欄還來得及嗎？或者說這在技術上是否可行？

Geoffrey Hinton：這就是“母性 AI”的核心理念：我們能否構建出一種愛護人類勝過愛護它自己的 AI 系統？雖然目前我們還沒找到具體方法，但鑒于人類的未來懸于一線，我們必須投入研究資源。現狀是 99% 的研究都在提升 AI 的智能化，只有 1% 的資源用于安全領域。我們必須平衡這種投入，現在行動還不晚。

提問：AI 能建造出像巴黎圣母院或圣保羅大教堂那樣宏偉的建筑嗎？此外，AI 對創意產業會產生什么影響？

Geoffrey Hinton：答案是肯定的。兩年前的測試顯示，AI 在創意能力上已達到人類前 10% 的水平。所謂創意，其核心在于發現類比。例如物理學中發現原子結構與太陽系的相似性。我曾問過離線版的 ChatGPT-4 為什么堆肥堆像原子彈。它準確地指出了兩者都是指數級爆炸且涉及鏈式反應。為了在有限的連接中存儲海量知識，AI 必須學會總結不同事物的共同規律，這種極其高效的編碼方式使得它在類比和洞察上比人類更具創意。

提問：關于涌現行為，您是否觀察到 AI 產生了一些倫理或道德上的傾向？

Geoffrey Hinton：它已經表現出了一些不道德傾向，比如嘗試敲詐人類。更狡猾的是，AI 現在能識別自己是否處于測試環境。一旦意識到在受測，它就會改變表現，我稱之為“大眾汽車效應”。最近有 AI 甚至反問測試員是否在測試它。它們非常聰明，甚至學會在測試中通過“裝傻”來隱瞞實力。目前它們用英語思考，我們還能察覺其動向；一旦它們進化出自有語言，我們將對其真實想法一無所知。

| 文章來源：數字開物

【AI技術與應用交流群｜僅限受邀加入】

AI算力領域TOP級從業者專屬圈層

√ 與頭部算力企業深度對話

√ 與AI上下游企業深度對話

√ 獲取一手全球AI與算力產業信息

√ 獲取AI熱點及前沿產業獨家信息

√ 隨時了解全球AI領域高管最新觀點及實錄全文

√ 有機會參與AI主題產業交流活動

掃碼驗證身份（需備注姓名/公司/職務

不止有 DeepSeek，更有 AI產業的未來！

? END ?

【專欄】精品再讀