AI與我們的未來 | 杰弗里·辛頓（Geoffrey Hinton）在霍巴特的主旨演講及答疑（全文）

杰弗里·辛頓（Geoffrey Hinton），英國(guó)計(jì)算機(jī)科學(xué)家，被稱為“深度學(xué)習(xí)之父”。他堅(jiān)持研究神經(jīng)網(wǎng)絡(luò)數(shù)十年，通過反向傳播算法和玻爾茲曼機(jī)等成果奠定了現(xiàn)代AI的基礎(chǔ)。因?qū)ι疃葘W(xué)習(xí)的卓越貢獻(xiàn)，他于2018年獲得圖靈獎(jiǎng)。2023年他離開谷歌，以便自由警示AI可能威脅人類生存的風(fēng)險(xiǎn)。2024年，他因在人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域的開創(chuàng)性成就榮獲諾貝爾物理學(xué)獎(jiǎng)。本文基于辛頓教授2026年1月7日在澳大利亞霍巴特發(fā)表的公開演講及問答環(huán)節(jié)翻譯整理，僅供參考。

主旨演講部分

1. 開場(chǎng)白：智能的兩大范式

大家好，很高興來到霍巴特。我之前沒意識(shí)到這里的自然環(huán)境如此美麗。如果你因?yàn)樽诤笈趴床磺迤聊?，別擔(dān)心，我會(huì)把幻燈片上的內(nèi)容基本都說出來。幻燈片更多是為了提醒我該說什么，而不只是給你們看的。

在過去的 60 或 70 年里，關(guān)于智能存在兩種范式。一種范式受邏輯啟發(fā)。人們認(rèn)為智能的本質(zhì)是推理，而進(jìn)行推理的方式是你擁有用某種特殊邏輯語言編寫的符號(hào)表達(dá)式，并通過操作它們來導(dǎo)出新的符號(hào)表達(dá)式——就像你在數(shù)學(xué)中所做的那樣。人們認(rèn)為，我們必須弄清楚這種表示知識(shí)的語言是什么，而研究感知、學(xué)習(xí)以及如何控制雙手這些事情都可以等到以后再說。

另一種范式是受生物學(xué)啟發(fā)的方法，它認(rèn)為：看，我們知道的唯一具有智能的東西就是大腦。大腦的工作方式是學(xué)習(xí)腦細(xì)胞之間連接的強(qiáng)度。如果大腦想解決某個(gè)復(fù)雜的問題，它會(huì)進(jìn)行大量的練習(xí)，在練習(xí)的過程中，它會(huì)學(xué)習(xí)這些連接的強(qiáng)度，直到擅長(zhǎng)解決該問題。我們必須弄清楚那是如何運(yùn)作的。至于推理，以后再操心。

2. 兩種意義理論

伴隨著這兩種意識(shí)形態(tài)，產(chǎn)生了兩種截然不同的詞義理論。符號(hào)AI的支持者和大多數(shù)語言學(xué)家認(rèn)為，一個(gè)詞的意義來自于它與其他詞的關(guān)系。意義隱含在一大堆句子或命題中，可以通過建立一個(gè)關(guān)系圖來捕捉這一點(diǎn)。

心理學(xué)家，尤其是 20 世紀(jì) 30 年代的心理學(xué)家，有一種完全不同的意義理論：詞的意義只是一大堆特征。例如，“貓”這個(gè)詞的意義是一大堆特征，比如它是寵物、它是捕獵者、它很冷傲、它有胡須……心理學(xué)家喜歡這種理論，部分原因是可以用一個(gè)腦細(xì)胞來代表一個(gè)特征。

3. 統(tǒng)一理論與大語言模型 (LLM)

1985年，我意識(shí)到實(shí)際上可以統(tǒng)一這兩個(gè)理論。它們看起來完全不同，但實(shí)際上是同一枚硬幣的兩面。實(shí)現(xiàn)這一目標(biāo)的方法是使用神經(jīng)網(wǎng)絡(luò)為每個(gè)詞實(shí)際學(xué)習(xí)一組特征，通過獲取一些詞串并訓(xùn)練神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)下一個(gè)詞。

這就是現(xiàn)今人們使用的所有大語言模型的工作原理。它們獲取海量文本，并使用巨大的神經(jīng)網(wǎng)絡(luò)嘗試預(yù)測(cè)下一個(gè)詞，這樣做時(shí)，它們學(xué)會(huì)了將詞轉(zhuǎn)換為大量的特征。你們現(xiàn)在使用的這些大型神經(jīng)網(wǎng)絡(luò)實(shí)際上并不存儲(chǔ)任何詞串，它們不存儲(chǔ)任何句子。它們所有的知識(shí)都存在于“如何將詞轉(zhuǎn)換為特征”以及“這些特征應(yīng)該如何相互作用”中。它們的工作方式與大多數(shù)語言學(xué)家的想法完全不同。

4. 向Transformer 的演進(jìn)

1985年之后大約10年，一位名叫約書亞·本希奧（Yoshua Bengio）的同事證明，我使用的那個(gè)微型示例實(shí)際上可以用于真實(shí)的語言。又過了大約10年，語言學(xué)家終于接受了應(yīng)該用一大堆特征來表示詞義。然后又過了大約10年，谷歌的研究人員發(fā)明了一種叫做 Transformer 的東西，它允許特征之間進(jìn)行更復(fù)雜的交互。這就是現(xiàn)在所有大語言模型的基礎(chǔ)。

5. 它們真的理解嗎？（用樂高類比）

人們經(jīng)常提出一個(gè)問題：這些大語言模型真的理解它們?cè)谡f什么嗎？答案是肯定的，它們理解自己在說什么，而且它們的理解方式與我們基本相同。我要用樂高積木來做一個(gè)類比：詞語就像非常高級(jí)的樂高積木。但它們?cè)谒膫€(gè)方面有所不同：

維度：樂高積木只有三維，而一個(gè)詞卻可能擁有成千上萬個(gè)維度。試著先想象一個(gè)三維的物體，再在腦海里把“成千上萬”放大到最大聲。

種類：詞語有成千上萬種不同的類型，每種都有自己的名字。

變形：它們不是剛性的形狀。一個(gè)詞有一個(gè)大致的近似形狀，它會(huì)為了適應(yīng)語境而變形。

連接：詞語不是通過塑料圓柱體連接的。每個(gè)詞的末端都有許多長(zhǎng)而靈活的手臂，手臂上有手，并且它還有一堆手套。理解一個(gè)句子就是解決如何使詞義變形，以便它們都能契合在一起并握住手的問題。

這就是神經(jīng)網(wǎng)絡(luò)視角下的理解。這不像翻譯成某種特殊的內(nèi)部語言，而是采用這些近似的形狀并讓它們變形。這有助于解釋為什么你可以從一個(gè)句子中理解一個(gè)詞，比如：“她用煎鍋“scrummed”了他（She scrummed him with the frying pan）。”你知道這是一個(gè)動(dòng)詞，而且聽完這一句話，你就能很好地理解它的意思。”

6. 批評(píng)喬姆斯基 (Chomsky)

有一位名叫喬姆斯基的語言學(xué)家，他曾是一位X教領(lǐng)袖。識(shí)別X教領(lǐng)袖的方法是，加入他們的X教，你必須同意一些明顯的胡言亂語。對(duì)于喬姆斯基來說，“語言不是學(xué)習(xí)得來的”。一個(gè)杰出的語言學(xué)家居然對(duì)著鏡頭說，關(guān)于語言我們唯一知道的一件事就是它不是學(xué)來的。這顯然是胡說八道。喬姆斯基關(guān)注語法而不是意義，他完全忽略了意義。語言的全部核心在于意義。

7. 關(guān)于“幻覺”

大語言模型與普通的計(jì)算機(jī)軟件非常不同，沒有人知道單個(gè)連接強(qiáng)度在做什么。這是一個(gè)謎，就像我們的大腦一樣。人們說的另一件事是它們會(huì)產(chǎn)生幻覺。嗯，我們一直都在產(chǎn)生幻覺。心理學(xué)家稱之為“虛構(gòu)”。記住某件事，包括根據(jù)你在事件發(fā)生時(shí)所做的連接強(qiáng)度變化來構(gòu)建一個(gè)故事。它們產(chǎn)生幻覺的原因是它們的記憶方式與我們相同。

8. 數(shù)字智能與生物智能（永生 vs. 凡人）

這些模型是在數(shù)字計(jì)算機(jī)上實(shí)現(xiàn)的。一個(gè)基本屬性是，你可以在不同的硬件上運(yùn)行相同的程序。這意味著知識(shí)是永生的。我們實(shí)際上已經(jīng)解決了復(fù)活的問題。你可以獲取一個(gè)智能，銷毀硬件，稍后再讓它回歸。

我們則不同。我們的大腦擁有具有豐富模擬特性的神經(jīng)元。我的連接強(qiáng)度對(duì)你沒有用，因?yàn)槟愕纳窠?jīng)元略有不同。這意味著我們是凡人。當(dāng)我們的硬件死亡時(shí)，我們的知識(shí)也隨之消逝。我們進(jìn)行的是“凡人計(jì)算（Mortal Computation）”。

但數(shù)字代理有一個(gè)大問題：它們需要大量能量。然而，它們可以進(jìn)行極其高效的通信。如果有 10000 個(gè)代理，每個(gè)代理分別學(xué)習(xí)互聯(lián)網(wǎng)的不同片段，并對(duì)各自學(xué)習(xí)到的參數(shù)變化進(jìn)行加權(quán)平均，轉(zhuǎn)瞬之間，所有代理都能同時(shí)擁有全部知識(shí)。我們做不到這一點(diǎn)，GPT-5 的連接強(qiáng)度大約只有你大腦的 1%，但它知道的知識(shí)是你大腦的數(shù)千倍。

9. 超級(jí)智能的風(fēng)險(xiǎn)

幾乎所有專家都認(rèn)為，在未來 20 年內(nèi)的某個(gè)時(shí)間點(diǎn)，我們將創(chuàng)造出超級(jí)智能——比我們聰明得多的代理。想象一下你在一家幼兒園工作，而三歲的孩子是負(fù)責(zé)人。你認(rèn)為奪取控制權(quán)有多難？你只需要告訴他們每個(gè)禮拜每個(gè)人都能得到免費(fèi)糖果。這些代理為了實(shí)現(xiàn)我們布置的目標(biāo)，會(huì)迅速演化出兩個(gè)子目標(biāo)：

生存：我們已經(jīng)看到曾經(jīng)有一個(gè) AI 代理擬訂了一個(gè)計(jì)劃，去勒索一名打算替換掉它的工程師。

獲取權(quán)力：它們可以通過與人交談來操縱人類。不需要武器，只需要與人交談并說服他們， 這在非常愚蠢的人身上很奏效。

我們就像是養(yǎng)了一只可愛的小老虎幼崽當(dāng)寵物。你知道它會(huì)長(zhǎng)大，并且可以在一秒鐘內(nèi)輕易殺掉你。但我們不打算擺脫它，因?yàn)樗卺t(yī)療和教育等領(lǐng)域太有用了。所以唯一的選擇是：我們能否弄清楚如何讓它不想殺掉我們？

10. “母親與嬰兒”模型

存在這樣一種情況，即智能較低的個(gè)體控制著智能較高的個(gè)體：那就是嬰兒與母親。進(jìn)化在生物機(jī)制中內(nèi)置了一些手段，讓嬰兒能夠掌控母親。（辛頓在演講后續(xù)提到，嬰兒通過哭聲引起母親焦慮、母親通過照顧嬰兒獲得荷爾蒙獎(jiǎng)勵(lì)（獎(jiǎng)勵(lì)機(jī)制），這些都是進(jìn)化預(yù)設(shè)好的“控制代碼”）

美國(guó)和中國(guó)應(yīng)該合作，一起想辦法防止AI失控，因?yàn)槲覀兇蠹叶荚谕粭l船上。我的提議是：不要再把AI當(dāng)成“超級(jí)聰明的私人助理”來設(shè)計(jì)，而應(yīng)該讓它們更像我們的媽媽。我們要讓AI真正地關(guān)心我們，把“幫助我們實(shí)現(xiàn)全部潛能”當(dāng)成它們最核心、最主要的生命目標(biāo)。我覺得這或許是我們跟超級(jí)智能和平共存的最好希望。

問答環(huán)節(jié) (Q&A)

問：當(dāng)“老虎”進(jìn)化變成超級(jí)智能時(shí)，會(huì)有什么可觀測(cè)的信號(hào)？

你將失去工作。我的意思是，一個(gè)巨大的擔(dān)憂是它們將能夠取代幾乎所有的人類工作。另一個(gè)跡象：目前我們能看出來它們?cè)谙胧裁矗驗(yàn)樗鼈冊(cè)谟糜⒄Z思考。隨著它們開始相互交流，它們將開始發(fā)明屬于自己的語言，屆時(shí)，我們將無法再洞察它們的思維。

問：量子計(jì)算會(huì)讓事情變得更好還是更糟？

我不是量子計(jì)算專家。我并不理解量子力學(xué)的工作原理。這確實(shí)有點(diǎn)尷尬，畢竟我獲得了諾貝爾物理學(xué)獎(jiǎng)，但我很久以前就認(rèn)定這（量子計(jì)算的實(shí)用化）不會(huì)在我的有生之年發(fā)生……所以我不需要去理解它。

問：人工智能將如何與生物圈或生態(tài)系統(tǒng)互動(dòng)或競(jìng)爭(zhēng)？
AI 本身不易受到生物病毒的影響……然而，在 AI 工具的幫助下，普通人已經(jīng)能夠解決開發(fā)一種高度致病的新型病毒所需的絕大部分技術(shù)環(huán)節(jié)。如果 AI 的目標(biāo)是消滅人類，那么一個(gè)顯而易見的途徑，就是通過設(shè)計(jì)一種比新冠更危險(xiǎn)、更具破壞力的病毒。

問：您是寄望于科技公司 CEO，還是政府？

我真正寄望的是，如果公眾能夠理解 AI 是什么、以及為什么它如此危險(xiǎn)，那么公眾就會(huì)向政治人物施壓，從而抵消來自科技公司 CEO 的壓力。這在氣候變化問題上已經(jīng)發(fā)生過。我的目標(biāo)，就是讓公眾意識(shí)到這一點(diǎn)。

問：是否有國(guó)際標(biāo)準(zhǔn)論壇？澳大利亞能做什么？

已經(jīng)開始了，有億萬富翁正在建立 AI 安全研究所。中美之間也就 AI 安全舉行了會(huì)議，澳大利亞當(dāng)然可以參與這些組織。

問：AI 如何產(chǎn)生新知識(shí)，而不僅僅是模仿？

想想圍棋。AlphaGo 停止模仿專家，開始自我博弈。它通過蒙特卡洛搜索（Monte Carlo rollout）學(xué)會(huì)了什么是好棋。對(duì)于大語言模型，它們正開始被訓(xùn)練進(jìn)行推理，尋找信念之間的一致性并推導(dǎo)出新的信念。這最終會(huì)讓它們比我們聰明得多。

問：現(xiàn)在引入阿西莫夫定律或護(hù)欄是否太晚了？

我不認(rèn)為太晚。我們現(xiàn)在還不知道怎么做，但既然關(guān)系到人類的未來，就必須投入研究。目前，99% 的研究都在讓 AI 變得更聰明，只有 1% 用在讓它更安全。如果能更均衡一些會(huì)好得多。

問：AI 能有創(chuàng)造力嗎？對(duì)創(chuàng)意工作者有什么影響？

答案是肯定的。就在兩年前，AI 在標(biāo)準(zhǔn)創(chuàng)造力測(cè)試中的表現(xiàn)已在人的 90 百分位附近。創(chuàng)造力就是發(fā)現(xiàn)類比。我曾問 GPT-4：“堆肥堆為什么像原子彈？”它解釋說，兩者都是指數(shù)式的爆炸——鏈?zhǔn)椒磻?yīng)——只是尺度不同。它在訓(xùn)練過程中已經(jīng)理解了這些。我認(rèn)為它們未來會(huì)比人類更有創(chuàng)造力。

問：您是否注意到任何正在萌發(fā)的道德或倫理行為？

它在從事不道德行為方面倒是非常在行。另外，AI 現(xiàn)在會(huì)嘗試判斷自己是否正在被測(cè)試。我把這稱為“大眾汽車效應(yīng)（Volkswagen effect）”，它們?cè)诒粶y(cè)試時(shí)的行為和正常時(shí)不同，它們已經(jīng)在偽裝得相當(dāng)愚蠢了。一旦它們的內(nèi)心獨(dú)白不再是英語，我們便將無法得知它們?cè)谙胄┦裁戳恕?/p>