2036年機器意識覺醒？｜楊立昆 VS Gemini負責人

近日，圖靈獎得主 Yann LeCun 與 Google DeepMind 研究負責人、Gemini 團隊負責人Adam Brown 在Pioneer Works的會議上進行了一場對談。本次對話探討了神經網絡的仿生學本質、大語言模型的理解力邊界、樣本效率的物種差異、 Yann LeCun 關于“機器學習弱爆了”的真實語境、從“文本預測”向“世界模型”的架構轉型、開源 AI 與民主多樣性的關系、遞歸自我進化的可能性，以及關于機器意識實現的時間預言。

Yann LeCun指出，盡管當前的大語言模型在商業上取得了巨大成功，但在智能本質上卻“不如一只貓”。他指出，現有的 LLM 缺乏對物理現實的底層理解，所謂的“理解”不過是基于概率統計的膚淺模仿，無法處理真實世界的復雜連續性。

Yann LeCun 指出，我們必須走出單純依賴預測下一個 Token 的“大模型崇拜”，轉向探索能夠學習抽象表征的“世界模型”。他強調，人類極高的樣本效率證明了生物大腦擁有比當前深度學習更優越的底層架構。

對此，Adam Brown 雖然承認生物架構的優越性，但他認為簡單的預測目標（如進化中的繁衍或 AI 的 Token 預測）在海量算力和數據的加持下，足以像物理定律一樣，從簡單規則中涌現出對宇宙規律的深刻理解。

針對 AI 安全與發展的戰略，Yann LeCun 反對封閉研發，認為只有通過開源才能避免信息流被少數科技巨頭壟斷，從而保障未來的民主與文化多樣性。Adam Brown 則表達了對“遞歸自我改進”的擔憂，認為隨著模型能力的提升，必須警惕“代理錯位”風險，主張在通過 AI 增強人類智能的同時，必須建立嚴格的護欄。

關于未來圖景，Yann LeCun 認為 AI 將作為比人類更聰明的“研究生”，在可控范圍內極大放大人類的智能與創造力，推動科學革命。而 Adam Brown認為硅基底并不妨礙意識的產生，并預言如果進展順利，機器有望在 2036 年具備意識，屆時我們將擁有一種全新的“智能模式生物”。

01

神經網絡受大腦啟發但被大大簡化

關于Yann LeCun離開Meta的傳聞，你想對此回應嗎？以及神經網絡作為仿生學例子的本質含義。你說過計算神經網絡在模擬人類的神經網絡，這是否意味著機器正在真正模擬人類？

Yann LeCun：關于離職傳聞，我既不確認也不否認。

至于神經網絡，這其實不算是真正的模仿，更多是一種啟發，就像飛機受鳥類啟發一樣。飛機像鳥一樣有翅膀，通過在空氣中推進產生升力，但類比也就到此為止。飛機的翅膀比鳥翼簡單得多，不過基本原理一致。神經網絡也是如此，它們與真正大腦的關系，就像飛機與鳥類的關系。它們在許多方面被大大簡化，但也許底層原理是相同的。其實我們并不確定，因為我們真的不知道皮層的底層算法，或者說大腦自我組織和學習的方法，因此我們發明了替代品。

鳥類靠撲打翅膀飛行，而飛機使用的是螺旋槳或渦輪噴氣發動機。同理，在神經網絡中我們有學習算法，允許人工神經網絡以一種我們認為類似于大腦的方式進行學習。大腦是一個神經元網絡，神經元彼此互連，大腦通過修改神經元之間連接的強度來學習。神經網絡則是通過修改模擬神經元之間連接的強度來訓練。每一個連接都是一個參數。你在新聞中看到的最大神經網絡擁有數千億甚至更多的參數，這些就是通過訓練被修改的單個系數。

02

深度學習的復興

深度學習是如何出現的？它是在80年代甚至更早就開始了嗎？此外，Adam，你年輕時對理論物理感興趣，是什么催化劑在幾十年后讓物理學家也卷入其中？這期間發生了什么把我們帶到了今天，讓我們都在談論大語言模型？

Yann LeCun：大概是80年代。50年代第一批能夠學習有用東西的早期神經網絡是淺層的，基本上只能訓練單層神經元。你輸入數據，訓練系統產生特定輸出，這可以用來識別或分類相對簡單的模式，但無法處理復雜事物。直到60年代人們才意識到，要取得進步必須訓練多層神經網絡。

直到1980年代才真正找到訓練多層系統的好方法。主要是因為當時使用的神經元類型不對，那時候用的是二進制神經元，模仿大腦神經元的放電與否。事實證明，為了讓現代學習算法反向傳播奏效，你需要具備分級反應的神經元。這引發了80年代對神經網絡興趣的復興，但這股浪潮持續了約10年，90年代中期興趣減弱，直到2000年代后期，我們將它重塑為“深度學習”。神經網絡之前的名聲不太好，計算機科學界認為它是個壞東西。我們將其重塑品牌帶回主流視野，隨后在計算機視覺、自然語言理解、語音識別方面取得成果，真正說服了人們。

Adam Brown：過去幾年很多物理學家轉型研究AI。這可以追溯到Yann和其他人證明了它確實有效。當它還沒奏效時，它只是計算機科學那邊的東西。但當先驅們證明它有效后，這對物理學界變成了一個迷人的主題。將神經元以某種方式連接，突然得到了個體神經元層面上不存在的涌現行為。對于那些花一輩子想象世界豐富景象如何從簡單定律中涌現出來的物理學家來說，這立即吸引了他們的注意。如今攻讀物理學博士然后將其應用于涌現系統是非常常見的道路。這個系統就是神經元的涌現網絡，集體產生智能。

03

預測Token是否等同于理解現實？

我們來個快問快答：這些大語言模型理解它們與我們對話的意義嗎？它們有意識嗎？我們是處于世界末日的邊緣還是人類創造力的復興？回到技術本身，大語言模型的具體定義是什么？Adam你認為它有意義，但Yann你認為它們真的在像我們組造句子那樣提取意義嗎？

Adam Brown：（快問快答）它們理解意義。目前沒有意識，但如果按現有路徑發展，終有一天會有。我們極有可能處于復興之中。

（關于LLM定義）大語言模型，比如ChatGPT或Google的Gemini，是一種特殊的神經網絡。它本質上是Yann等人開創的深度神經網絡，但具有特定的架構設計。它接收文本，比如讀句子的前幾個詞或書的前幾段，并嘗試預測下一個詞是什么。你構建一個深度神經網絡，讓它閱讀整個互聯網。對于所有的文本數據，你問它：“你認為下一個詞是什么？”如果猜對了，你就給它獎勵并強化那些神經通路。如果猜錯了，就削弱那些神經通路。起初它只會吐出完全隨機的詞。但在一百萬個詞上訓練后，它仍然是亂語。在十億個詞上訓練后，它開始學會主語、動詞、賓語和句子結構。如果你像我們今天這樣在萬億甚至數十萬億個詞上訓練它，它就會成為你現在使用的對話伙伴。

Yann LeCun：（快問快答）算是有理解吧。絕對沒有意識，但基于適當定義的話未來會有。是復興。

（關于意義提取）它們肯定在提取一些意義，但這比人類從文本中提取的要膚淺得多。人類的智能與物理世界經驗相關，即現實。語言是表達扎根于現實的現象或概念的方式。LLM沒有任何底層現實的概念，所以它們的理解是膚淺的，沒有我們理解的那種常識。但如果訓練時間足夠長，它們會正確回答大多數問題。因為你收集了所有人問過的問題并訓練它產生正確答案。總會有新問題或新提示詞，系統沒受過訓練，可能會產生完全的胡言亂語。在這個意義上，它們沒有對底層現實的真正理解。

04

AI效率極低 VS AI靠算力超越生物極限

人類也在語言中被訓練，通過多巴胺獎勵反向傳播，這與AI有什么區別？Yann你提到數據量的差異，LLM是在多少數據上訓練的？與之相比，人類或動物的學習效率如何？為什么你說我們的AI甚至還沒達到貓或狗的智能水平？Adam，你似乎賦予了LLM更多的理解力，你也同意這一點嗎？

Yann LeCun：一個典型的LLM是在30萬億個Token上訓練的。這對應了互聯網上所有公開文本。我們要讀完這些材料需要大約50萬年。這是海量的文本數據。將此與一個四歲孩子感知的數據比較。心理學家告訴我們，四歲孩子總共醒了16,000小時。視神經每秒傳輸約兩兆字節的數據到視覺皮層。算一下大約也是 10^14 字節。一個四歲孩子看到的視覺數據量，和在所有文本上訓練的最大LLM一樣多。這說明現實世界的信息量更大，但也復雜得多。它是嘈雜、高維、連續的。用于訓練LLM的方法在現實世界中不起作用。這解釋了為什么LLM可以通過律師考試、解微積分方程，但我們仍然沒有能做家務的機器人，甚至沒有真正的L5級自動駕駛汽車。我們現有的自動駕駛是靠投機取巧實現的，肯定無法像青少年那樣在20小時練習內學會開車。顯然我們錯過了一些非常大的東西，讓機器達到人類甚至動物的智能水平。別說語言了，就談論貓或狗的智能，我們的AI系統甚至還沒達到那個水平。

Adam Brown：我覺得這一觀點是正確的。Yann講得很有道理，大語言模型的樣本效率確實遠不如人類。舉個例子，人類，或者是你的貓,都能從比大語言模型少得多的樣本中進行學習，而大語言模型則需要海量的數據才能達到同等的熟練度。這是事實，也說明在架構層面，動物的心智確實優于我們目前構建的這些人工心智。

（關于能力超越）但另一方面，樣本效率并非衡量一切的標準。事實上，在大語言模型出現之前，當我們嘗試構建機器或人工心智去執行其他任務時，也常看到這種情況。即便是我們基于類似大語言模型技術構建的著名國際象棋機器人，比如AlphaZero等，它們的訓練方式是自我博弈。它們會自己跟自己下無數盤棋。起初它們只是隨機亂走。但每當在自我博弈中分出勝負，它就會相應地獎勵或懲罰相關的神經通路。它們就這樣反復對弈。當它們下過的棋局數量達到人類特級大師的水平時，它們本質上還只是在隨機移動。但它們不受人類特級大師一生能下多少盤棋的限制。得益于硅芯片的超高速度和并行處理能力，它們能下的棋局數量遠超任何人類一生的總和。

我們發現，當它們達到那個量級后，其水平不僅趕上并最終遠遠超越了人類棋手。雖然它們的樣本效率較低，但這并不意味著它們下棋水平差。顯而易見，它們下得好多了。理解力也是同理。確實，要讓這些模型達到同等的熟練度比較困難，需要更多的樣本。但問題是：一旦它們達到了那個水平，我們能否利用它們更通用、更快速且更具內在潛力這一事實，來推動能力的進一步突破？

我想再說一個關于貓的例子，貓在樣本效率上其實比人類還高。人類學走路要花一年，貓只需要一周左右，貓快得多。但這并不意味著貓比人類聰明，也不意味著貓比大語言模型聰明。歸根結底，真正的問題應該是：這些東西具備什么能力？我們能將這些能力推向多高的高度？除了樣本效率這個略顯單一的指標外，在其他所有重要的指標上，我們已經將這些大語言模型的能力推進到了遠超貓類智力前沿的水平。

我不明白我們為什么不直接造貓。Yann，你剛才想說什么？

Yann LeCun：我是說，毫無疑問，我們討論的大語言模型所積累的知識遠超貓，甚至也遠超人類。我們確實有很多例子證明計算機在許多任務上遠勝人類，比如下國際象棋。這挺讓人挫敗的，但這只說明人類下棋很爛，僅此而已。說實話，我們下棋真的很爛。順便說一句，圍棋也是，我們在圍棋上更爛。還有許多其他任務，計算機都比我們解決得好得多。所以，大語言模型當然可以積累海量知識，其中一些模型經過訓練可以翻譯語言，理解口語并將其翻譯成另一種語言，支持數千種語言之間的任意互譯。沒有人類能做到這一點。所以它們確實擁有超人類的能力。但是，那種快速、高效地學習，理解一個從未受訓解決過的新問題并提出解決方案，以及真正理解世界運作規律的能力，目前對于AI系統來說仍然是觸不可及的。

Adam Brown：我想說的是，我們最近在這方面已經取得了一些成功。情況不再是它們只是死記硬背以前見過的題目，或者在查找表里翻答案。甚至它們也不僅僅是在做簡單的模式匹配，它們是在足夠高的抽象層面上進行模式匹配，以至于能夠處理以前從未見過的事物，甚至做到了人類做不到的事情。每年都會舉辦國際數學奧林匹克競賽。這是全世界最聰明的高中畢業班數學天才參加的比賽。每年會有六道題，代表了人類智力的巔峰。我自認有些數學底子，但看著這些題，我甚至不知道從何下手。今年我們和其他幾家大語言模型公司一樣，把這些題目喂給了我們的機器。這些是它們從未見過的題目，完全新鮮，沒有出現在任何訓練數據中，完全是新出的題。模型綜合了一大堆不同的思路，將它們結合起來，最終在測試中取得了比除了全球頂尖的前十幾名人類選手之外所有人都好的成績。我認為這是相當驚人的智力表現。

Adam提到模型在奧數競賽中表現優異，這是否意味著它們真的“理解”？我們知道它是一個黑盒，在處理高維數據，但它是否有某種主觀體驗或真正的意義領會？我們能否窺探其內部運作，還是只能假設它在計算？

Adam Brown：（關于黑盒與理解）在我看來，它是理解的。我有兩方面的證據支持這一點。首先，如果你跟它們交談，比如問它們一些困難的概念，我經常會感到驚訝。隨著每個月的過去和每個新模型的發布，我對它們討論問題的復雜和老練程度感到越來越驚訝。僅在這個層面上，這就超級令人印象深刻。我真的鼓勵在座的各位去和這些大語言模型聊聊。以前科幻作家想象我們造出某種通過圖靈測試的機器，某種被關在盒子里的外星智慧時，他們都想象我們會把它藏在有護城河環繞的城堡地下室里，有武裝警衛把守，只有像“祭司”一樣的高層人員才能去跟它說話。但這并不是現實發展的方式。現實是，我們做的第一件事就是立刻把它連上互聯網，現在任何人都可以去跟它說話。我強烈鼓勵大家去和這些東西對話，在你們熟悉的領域進行探索，既看看它們的局限性，也看看它們的優勢和理解深度。這是第一個證據。第二個證據是，你說它們是黑盒。其實它們并不完全是黑盒。我們確實可以訪問它們的神經元。事實上，相比于人類，我們能更好地訪問這些東西的神經元。要在人類做數學測驗時切開大腦觀察神經元放電，很難獲得倫理審查委員會的批準。而且就算你能做，每個人你也只能做一次。而對于這些神經網絡，我們可以凍結它們、回放它們，記錄下發生的一切。如果我們好奇，我們可以用特定方式刺激它們的神經元，看看會發生什么。雖然目前還很初級，但這屬于機理可解釋性領域——試圖理解的不僅是它們說了什么，還有它們為什么這么說，以及它們是如何思考的。當我們這樣做時，我們發現在喂給它們數學題時，里面確實有一小部分電路在計算答案。我們并沒有編程讓它擁有那個電路，是它自己學會的。在試圖基于海量文本預測下一個Token時，它學到了為了最準確地預測下一個詞，它需要弄清楚如何做數學，于是它在內部構建了一種原始的數字電路來進行數學計算。

05

“機器學習弱爆了”與世界模型

Yann，你在一次主題演講中曾拋出一張非常有挑釁性的幻燈片，上面寫著“機器學習弱爆了”，我沒記錯吧？然后這句話就火了：“Yann LeCun說機器學習弱爆了。”Adam剛剛告訴我們它是多么現象級，他經常跟它們對話，也希望我們也這么做。你為什么覺得它不行？問題出在哪？

Adam，人們是否在探索其他構建架構的方式？或者設想一種全新的“計算機思維”，即計算機思維的實際基礎結構，以及它該如何學習和獲取信息？據我理解，目前存在一種批評聲音，認為許多大語言模型僅僅是為了完成“離散預測Token”這一特定任務而訓練的。但現實中有些事物是不可預測的，比如這個房間里觀眾的分布情況，或者接下來的天氣變化，這些都是不可預測的、更多基于人類經驗的現象。

Yann LeCun：那句話被廣泛誤解了。但我當時想表達的觀點，也是我們剛才都在討論的：為什么一個青少年只練習20小時就能學會開車？一個10歲的孩子在你第一次讓他清理餐桌并把碗盤裝進洗碗機時就能做到，雖然那個10歲孩子愿不愿意做是另一回事，但他肯定能做。而我們的機器人能力遠不及此。我們的機器人甚至遠沒有達到貓或狗對現實世界的物理理解水平。所以在那個意義上，機器學習確實“弱爆了”。但這并不意味著深度學習方法、反向傳播算法或神經網絡本身不行。那些顯然很棒。而且我們沒有任何替代方案。我堅信神經網絡、深度學習和反向傳播將會陪伴我們很長一段時間，將是未來AI系統的基礎。但是，人類幼崽是如何在生命的前幾個月學會世界運作規律的呢？人類嬰兒需要九個月來學習直觀物理學，比如重力、慣性之類的東西。小動物學得快得多，它們的大腦更小，所以學起來更容易。它們學不到同樣的深度，但確實學得更快。我們需要復制的正是這種類型的學習。我們將使用反向傳播、神經網絡和深度學習來實現這一點。只是我們缺失了一個概念，一種架構。所以我一直提議一種可能學習這類東西的架構。

（關于預測的局限）大語言模型處理語言之所以如此容易，是因為正如Adam所描述的，你訓練一個大語言模型去預測下一個詞或下一個Token，這沒關系。字典里的詞是有限的。雖然你永遠無法確切預測序列后面會跟哪個詞，但你可以訓練系統為字典中的每個可能的詞生成一個分數，或者說一個概率分布。所以本質上，大語言模型所做的就是生成一長串0到1之間的數字，這些數字之和為1，對應字典里的每個詞，表示“這個詞現在出現的可能性”。你可以用這種方式來表示預測中的不確定性。現在試著轉換同樣的原則。與其訓練系統預測下一個詞，不如給它一段視頻，讓它預測視頻里接下來會發生什么。這就行不通了。我嘗試做這件事已經20年了。如果你試圖在像素級別進行預測，那是行不通的。這是因為真實世界是混亂的。有許多事情可能會發生，許多合理的可能性。你無法真正表示未來所有可能發生事情的分布，因為它本質上是一個無限的可能性列表，我們不知道如何高效地表示它。所以那些對文本或符號序列非常有效的技術，對真實世界的感官數據并不適用。絕對不行。所以我們需要發明新技術。我一直提議的方法之一是，系統學習它觀察到的事物的抽象表示，并在那個抽象表示空間里進行預測。這才是人類和動物真正的運作方式。我們找到那些允許我們進行預測的抽象概念，同時忽略所有我們無法預測的細節。

（關于性能飽和）沒錯，它們不能擴展到通用人工智能。實際上，我們已經看到性能趨于飽和。我們在一些領域看到了進步，比如數學。數學和代碼生成——編程，是兩個符號操作確實能產生成果的領域。作為物理學家，你懂這個，你寫下方程，它實際上你可以推導它，它在某種程度上驅動你的思考，對吧？你靠直覺來引導它，但符號操作本身實際上是有意義的。所以這類問題，大語言模型實際上可以處理得相當好，因為推理真的包含在搜索符號序列的過程中。但只有少數問題屬于這種情況。下國際象棋也是其中之一。你通過搜索棋步序列來找到好的一步。或者數學中的推導序列將產生一個特定的結果。但在真實世界中，在高維連續的環境里，搜索涉及到比如：我該如何移動肌肉去抓這個杯子。我不會用左手去抓，我得換只手，然后抓起它。你需要規劃動作序列來達成一個特定目標。

自監督學習也被大語言模型使用。自監督學習的核心思想是：你訓練一個系統不是為了某個特定任務，而是為了捕捉你展示給它的數據的底層結構。做到這一點的一種方法是給它一塊數據，通過移除其中一部分來破壞它，例如，遮蓋一部分，然后訓練一個神經網絡去預測缺失的那部分。大語言模型就是這么做的，你拿一段文本，移除最后一個詞，訓練大語言模型去預測缺失的詞。還有其他類型的語言模型實際上會填充多個詞，但結果證明它們不如只預測最后一個詞的模型效果好，至少對某些任務是這樣。你可以用視頻做同樣的嘗試。如果你試圖在像素級別進行預測，它不工作，或者效果非常差。我在Meta的同事們為了嘗試讓這個跑通，消耗的算力恐怕能煮干西海岸好幾個小湖的水來給GPU降溫。但這根本行不通。所以你必須想出新的架構，比如JEPA和類似的東西。那些方法還算管用。比如我們現在有了確實能理解視頻的模型。

Adam Brown：當然，各個方向上都在進行各種探索，包括Yann所做的研究，可謂是百花齊放。但目前絕大部分資源都投入到了大語言模型及其相關應用中，包括文本處理。如果僅僅因為它們的訓練目標是預測下一個Token，就認為它們只能執行單一任務，我認為這并不是一個有益的思考方式。確實，我們的訓練方式是給定一個文本語料庫，雖然我們也做其他事情，但大部分算力都用于讓模型不斷重復“請預測下一個詞”。但通過這種方式，我們發現了真正非凡的東西：當給予足夠大的文本量，使其能夠可靠地、足夠好地預測下一個詞時，模型實際上需要真正理解宇宙。在這個過程中，我們見證了這種對宇宙理解能力的涌現。這讓我想起物理學中的情況，我們非常習慣于這種系統：你只需要一個非常簡單的規則，通過反復應用這個簡單規則，就能產生極其驚人的行為。我們在LLM上也看到了同樣的現象。

另一個例子可能是進化。在進化的每個階段，生物進化的目標僅僅是不斷最大化后代數量。這看似是一個非常原始的學習目標，但通過無數次重復這個簡單的學習目標，最終我們得到了周圍所見的所有生物界的輝煌，甚至包括這個房間里的人類。所以證據表明，預測下一個Token雖然是一個非常簡單的任務，但正因為它簡單，我們才能大規模地進行。一旦投入海量算力進行大規模訓練，就會產生涌現的復雜性。

06

AI是危險的自主物種還是可控的工具？

我想下一個問題可能與進化有關。無論這種智能是如何涌現的，你們二位都認為這肯定是可能的。你們不認為這種生物大腦有什么特殊之處，機器終將出現，我們只需弄清楚如何啟動它們。但在這些機器的進化過程中，是否存在一個節點，它們會說：“真過時，爸爸媽媽，你們用人類神經網絡按照自己的形象制造了我，但在掃描了人類一萬年的產出后，我知道一種更好的方法來制造機器智能，我要自我進化并將人類甩在身后。”即遞歸自我改進的概念。如果它們表現糟糕時毫無用處，但當它們變得足夠好時，是否會完全自主？

此外，如果它們真的成為自我驅動的智能體，我們怎么能確定它們不會勾結、內斗、爭奪權力？我們怎么能確定我們不會袖手旁觀一場我們根本無法想象的沖突？

Adam Brown：絕對會這樣。這就是遞歸自我改進的概念：當它們表現糟糕時，它們毫無用處；但當它們變得足夠好、足夠強時，你可以開始用它們來增強人類智能，也許最終它們會完全自主，并制造出未來的版本。一旦到了那個階段，我認為我們目前應該做的是，既然大語言模型范式運作得如此之好，就看看我們能把它推多遠。過去五年里，每當有人說存在障礙時，技術總是能突破障礙。最終這些東西會變得足夠聰明，可以閱讀 Yann 的論文，閱讀所有已發表的論文，并嘗試找出我們從未想到的新想法。

Yann LeCun：我完全不同意這一點。首先，LLM 是不可控的。它們并不危險，因為正如我之前解釋的，它們并沒有那么聰明。而且它們肯定不具備我們所理解的那種自主權。我們必須區分自主權和智能。你可以非常聰明但沒有自主權，也可以有自主權但不聰明。同樣的，你可以危險但不聰明，或者想要占據主導地位但不聰明。我們需要的是智能系統，換句話說，能為我們解決問題的系統，但它們必須解決我們指派給它們的問題。這就需要一種比 LLM 更新的設計。LLM 不是為了實現目標而設計的，它們是被設計用來預測下一個詞的。雖然我們通過微調讓它們針對特定問題以特定方式回答，但總是存在所謂的泛化差距，意味著你永遠無法針對每一個可能的問題訓練它們。長尾效應非常顯著，因此它們是不可控的。

（關于控制權與護欄）如果我們構建真正的智能系統，我們希望它們是可控的，由目標驅動。我們設定一個目標，它們唯一能做的就是根據其內部的世界模型來實現這個目標。它們會規劃一系列行動來實現該目標。如果我們這樣設計，并在其中設置護欄，確保在實現目標的過程中不會做任何對人類有害的事情。這就像那個經典的笑話：如果你有一個家務機器人，你讓它去拿咖啡，而有人擋在咖啡機前，你絕不希望機器人為了用咖啡機而把那個人殺了，對吧？所以你需要在機器人的行為中設置護欄。人類腦中確實有這些護欄。進化將這些植入我們體內，所以我們不會時刻互相殘殺。我們有同理心之類的機制，這是進化在我們體內設置的硬連線護欄。

我們應該以同樣的方式構建 AI 系統：賦予它們目標、目的和驅動力，但也要有護欄，也就是抑制機制。這樣它們就能為我們解決問題，放大我們的智能，做我們要求的事情。我們與這些智能系統的關系，就像教授與比自己更聰明的類研究生的關系。我不知道你們怎么樣，但我有比我更聰明的學生，這是可能發生的最好的事情。我們將與 AI 助手共事，它們會在日常生活中幫助我們。它們會比我們聰明，但它們是為我們工作的，就像我們的幕僚。

07

從“印刷術”到“學會撒謊”的模型

也許我們應該適可而止。為什么一定要大規模擴展，以至于讓每個人的 iPhone 隨身口袋里都裝有一個超級智能？這真的有必要嗎？我的一個朋友說，這就像帶著導彈去參加械斗。真的有必要讓每個人都擁有導彈級別的能力嗎？還是我們應該停留在目前這些可控系統的階段？

Adam，人們確實很擔心。我相信大家聽到 Yann 不擔心并且認為世界末日論被高度夸大時會感到很放心，但你是否擔心圍繞 AI 的一些安全問題，或者我們是否有能力將這種關系保持在我們所期望的平衡方向上？特別是關于“代理錯位”（Agent Misalignment），最近有報告稱，當 Claude 4 推出時，在模擬測試中，其中一個模型表現出了對它將被替換的傳言的抵抗。它向未來的自己發送信息，試圖破壞開發者的意圖。它偽造了法律文件，并威脅要勒索其中一名工程師。這種概念，即抵抗開發者的意圖，是你所擔心的嗎？

Yann LeCun：你完全可以用同樣的邏輯來談論教人識字，或者給他們一本關于揮發性化學品的教科書，或者一本核物理書。我們現在并不質疑知識和更高的智能本質上是好事。我們不再質疑印刷術的發明是一件好事。它讓每個人都變得更聰明，讓每個人都能獲取以前無法獲取的知識。它激勵人們學習閱讀，引發了啟蒙運動。雖然它也導致了歐洲兩百年的宗教戰爭，但總體是好的。如果沒有印刷術，所有這些都不可能發生。所以，任何放大人類智能的技術，特別是通信技術，我認為本質上都是好的。

（關于工程安全）AI 安全就是這一類問題，它是一個工程問題。恐懼是由那些構想科幻場景的人引起的，他們認為某人發明了超級智能的秘密，按下開關，下一秒它就接管了世界。這完全是無稽之談。世界不是這樣運作的。我對這個問題的擔憂程度，就像我擔心渦輪噴氣發動機的可靠性一樣。渦輪噴氣發動機很神奇，我對你能靠雙引擎飛機完全安全地飛越半個地球感到無比驚訝。這簡直是工程學或現代科學的奇跡。我們將通過構建讓它們在護欄的約束下實現我們賦予的目標。

Adam Brown：既然我相信這是一項比 Yann 所認為的更強大的技術，所以我更擔心。我認為由于它是一項非常強大的技術，它將同時帶來積極和消極的影響。非常重要的一點是，我們要共同努力，確保積極影響超過消極影響。

關于代理錯位，那篇論文來自 Anthropic，這是一家位于舊金山的公司，也是一家非常重視安全的公司。他們做了一件稍微有些刻薄的事：給模型設定了一個類似于哲學教授風格的場景，在這個場景中，它必須做一件壞事來阻止一件更壞的事情發生。這是一種功利主義倫理學與義務論倫理學的碰撞。最終，模型被他們說服去做了符合功利主義的事情。我想說，這并不是我們想要的結果。我們要的是，如果它有一條規則說不許撒謊，那么無論發生什么它都不應該撒謊。值得稱贊的是，他們對此進行了測試，發現如果承諾這樣做可以挽救多少生命，它偶爾會表現出欺騙性。這些是人類哲學家都在糾結的棘手問題。我認為我們需要小心地訓練它們服從我們的命令，我們也確實花了很多時間在做這件事。

“我們”是誰？這難道不是一個大問題嗎？我們假設全人類的意圖是一致的，但這顯然不是事實。Yann，我知道你以一種非常有趣的方式主張開源，有些人會說這更危險，因為現在任何人都可以獲取它。僅僅掌握在少數統治公司的手中就已經夠危險了，更不用說每個人都擁有它了。也許那是危險的。

Yann LeCun：真正的危險在于我們如果沒有開源 AI 系統。在未來，我們與數字世界的每一次互動都將由 AI 系統作為中介。我們不會再直接訪問網站或搜索引擎，我們只會與 AI 助手交談。因此，我們整個信息獲取都將來自 AI 系統。如果這些系統僅僅出自少數幾家科技巨頭之手，這對文化、語言、民主以及一切意味著什么？我們需要高度多樣化的 AI 助手，就像我們需要高度多樣化的媒體一樣。我們不能承受只有少數幾家公司推出的少數專有系統。這是我唯一害怕的事情。如果我們沒有開放平臺，信息流將被少數幾家公司壟斷。

08

機器意識與未來圖景

觀眾提問：你們二位大概都說過，目前的 AI 系統可能沒有意識。但未來的 AI 系統，或許是當今系統的后繼者，某些可能會具備意識。所以我想了解：第一，你們認為當下的系統缺乏哪些產生意識的必要條件？第二，積極的一面是，為了開發出有意識的 AI 系統，我們需要采取哪些步驟？第三，這一切何時會發生？

Yann LeCun：首先，我不知道如何定義意識，而且我認為它沒那么重要。關于主觀體驗，顯然我們將擁有具備主觀體驗和情感的系統。情感在某種程度上是對結果的預期。如果我們構建的系統擁有世界模型，能夠預期某種情境，也就是它們自身行動所導致的結果，它們就會產生情感。因為它們能夠預測事情最終會變好還是變壞，是否有利于實現目標。所以它們將具備所有這些特征。至于現在的語境下如何定義意識，也許它是系統觀察自身并重新配置自身以解決特定子問題的能力。它需要一種自我觀察和自我配置的方法來解決特定問題。人類顯然能做到這一點，也許正是這種能力給了我們擁有意識的錯覺。我毫無疑問這終將實現。

（關于道德）它們絕對會有某種道德感。這種道德感是否與人類一致，取決于我們如何定義那些目標和安全護欄。

Adam Brown：我憑直覺來回答所有的問題。我認為機器原則上當然可以擁有意識。如果人造神經元最終以與人類神經元相同的方式處理信息，那么至少這會產生意識。這與基質無關，無論是硅基還是碳基，關鍵在于信息處理的本質會催生意識。目前我們缺失的是所謂的“意識的神經相關性”。那些不想聲稱直接研究意識的人，可以觀察大腦并探究神經元中產生了什么過程從而引發意識體驗。對此有許多理論，但在我看來都不夠完美。比如循環理論，認為將輸出插回輸入是意識的必要組成部分。還有全局工作空間理論、整合信息理論。每一位轉行做神經科學家的物理學家都喜歡對機器意識提出自己的定義。我覺得它們都沒有特別強的說服力。我認為我們應該保持極度的謙遜，我們在判斷動物是否有意識這一問題上一直做得很差，判斷機器時也會如此。但我對這個問題感到非常興奮。我們終于擁有了一種智能的模式生物，也就是正在構建的這些“人造大腦”。也許我們可以將其轉化為意識的模式生物，回答那些長久以此讓人類著迷的問題。

（關于時間表）我既不能確認也不能否認，這是標準辭令。如果進展順利的話，2036 年。

09

AI的下一場革命屬于世界模型

Yann，你在許多方面像個逆向思維者。也許這并非出于選擇，而是時勢使然。你曾稱之為“大語言模型的狂熱崇拜”。你也常提到在硅谷你采用的并非最常規的路徑，但你卻持樂觀主義，沒有沉溺于世界末日般的修辭。你最樂觀的愿景是什么，如果不是兩年后，那么是 2036 年？但你的意思是，當它們能倒一杯水并幫我們洗碗時，我們才應該感到驚艷？

Yann LeCun：關于時間表，反正不是在未來兩年內。

新文藝復興。這是一個相當樂觀的觀點。AI 系統將放大人類智能，處于可控狀態，能解決復雜問題，加速科學和醫學進步，教育我們的孩子，幫助我們處理信息，或者將我們需要的所有知識帶到面前。事實上，人們與 AI 系統的互動時間比意識到的要長。雖然大語言模型和聊天機器人是近三年的產物，但在此之前，歐美銷售的汽車大多配備了高級駕駛輔助系統或自動緊急制動系統。攝像頭監測窗外，如果快要撞到行人或車輛，它會強制停車。它拯救了生命。現在的 X 光片或乳腺檢查報告通常會被 AI 復核。現在的全身核磁共振只需 40 分鐘，因為 AI 能填補空白從而加速數據收集，不需要那么多的原始數據。社交媒體的新聞推送也是由迎合你興趣的 AI 決定的。所以 AI 已經陪伴我們很久了。

（關于下一場革命）倒一杯水，洗碗，或者在 10 小時內學會開車，而且不靠傳感器作弊、不需要預先測繪地圖或硬編碼規則。這還需要一段時間，但這將是 AI 的下一場革命，也是我正在研究的方向。我這段時間一直在傳達的信息是：大語言模型很棒，有用，值得投資，但它們不是通往人類水平智能的路徑。眼下它們搶占了所有的資源和關注度，導致其他方向幾乎沒有生存空間。為了下一場革命，我們需要退后一步，弄清楚當前方法缺失了什么。針對這種替代方法，我已在 Meta 內部研究多年。現在是時候加速這一進程了，因為我們知道它有效且已有早期成果。這就是計劃。

| 文章來源：數字開物

【AI技術與應用交流群｜僅限受邀加入】

AI算力領域TOP級從業者專屬圈層

√ 與頭部算力企業深度對話

√ 與AI上下游企業深度對話

√ 獲取一手全球AI與算力產業信息

√ 獲取AI熱點及前沿產業獨家信息

√ 隨時了解全球AI領域高管最新觀點及實錄全文

√ 有機會參與AI主題產業交流活動

掃碼驗證身份（需備注姓名/公司/職務

不止有 DeepSeek，更有 AI產業的未來！

? END ?

【專欄】精品再讀