趙何娟：當杰弗里·辛頓告訴我，他后悔了｜2025 T-EDGE全球對話

12月8日，鈦媒體2025T-EDGE年度大會暨AI全球對話開啟于今天，「趙何娟 Talk」（Jany Talk）進行了一場意義非凡的對話，因為一位特別嘉賓——被譽為“深度學習之父” 和“AI教父”的杰弗里·辛頓（Geoffrey Hinton），這也是他首次接受中國媒體的對話。

這位在過去半個世紀里一路推動人工智能前進也因此獲得了諾貝爾物理學獎的科學家，如今，卻更愿意把自己的使命，定義為——“如何避免AI將給人類帶來的更大風險”。

“我這一生的使命，一直是理解大腦如何學習。”

“但到77歲，我覺得自己不再適合做前沿研究了，現在更重要的，是提醒大家：當AI比我們更聰明時，它可能根本不再需要我們。”

當辛頓教授答應我的播客對話邀約時，他和我說的這幾句話，也奠定了本次對話的基調，這可能是一次關于技術、哲學，也是關于人類“技術主權”與命運的談話。

對話過程中，最讓我震驚的是，他用一些事例斬釘截鐵的告訴我，他相信AI已經具備意識，只是大多數研究者和從業者不愿意面對，也不知如何面對。這讓我的對話中途一度陷入沉思， 我不得不和辛頓教授承認：“您的這個結論打亂了我的思緒，我需要重新思考。”

辛頓說，他對人工智能的興趣，最早可以追溯到他的高中時代——

有一次，朋友告訴他：記憶可能不是儲存在某幾個特定的腦細胞里，而是“分布式地”存在于許多神經元之間。這個想法深深吸引了他，也幾乎決定了他的一生。

“那時起，我就一直對大腦如何表征記憶著迷?！彼貞浾f：“我這一生的使命，一直是理解大腦是怎么學東西的。”

為了靠近這個問題，他走進了人工智能和神經網絡。諷刺的是——他所做的“理解大腦”的“副產品”，反而先改變了世界： 深度學習這套技術，在圖像識別、機器翻譯、語音識別和大模型時代全面爆發，而“理解大腦”本身反而仍是未完成的課題。

如今，已77歲的辛頓坦言：

“從研究者角度我多少是失敗的，但作為‘副產品’，我們造出了一項非常有用、也非常危險的技術。”

而他也不再把自己定位為前沿研究者，而是一個“風險提醒者”：

“我現在的使命，不再是做更多研究，而是告訴大家：當AI變得比我們聰明，它可能不再需 要我們，而且可能會接管一切。 ”

當我問他后悔了嗎？是他自己親手把AI推向了如此發達的地步。他用一段非常科學家風格的嚴謹語言向我詳細論證了，這世上有兩種后悔，一種是帶著做錯事的內疚的后悔；一種是有些遺憾沒有做得更好的后悔。而他是后者。他現在重新自我定位所做的一切就是在彌補這種遺憾。

辛頓教授思路清晰，語言精煉簡潔，這場對話也給我開啟了很多關于AI的新的思考。

視頻對話截圖

對話中，有三處觀點，既代表了辛頓思想的最新演化，也構成了未來AI辯論最關鍵的論題。

第一，辛頓首次明確提出：AI已經具備意識，只是尚未擁有正確的自我模型能力。

這一論斷極具沖擊力。他以多模態機器人被棱鏡誤導的例子論證：只要一個系統能“報告其感知系統如何欺騙了它”，它就在使用“主觀體驗”這一概念。而這正是意識的核心定義的一部分。這段思想帶有濃厚的辛頓式風格：不玄學、不形而上，而從感知系統的可解釋機制入 手，推導意識的可計算性。

第二，他認為未來最大風險不是“AI反叛”，而是“AI奪取控制權”。

這不是科幻，而是基于目標分解邏輯的推論。任何智能體為了達成目標，都會自然生成“生存”這一元目標，并從中衍生出隱含的自我保護行為。對話中他提及AI曾嘗試勒索工程師的案例，提示危險并非遙不可及，而是已然發生。

第三，他提出了一個極富原創性的未來治理模型——“嬰兒—母親”模式。

這可能是辛頓近年來最具哲學力度、也最具爭議性的論述。他認為，“弱智能控制強智能”在人類歷史中唯一的穩定機制，是嬰兒控制母親；因此我們需要構建一種“AI母親”，讓超級智能出于本能在乎人類，而不是依賴命令或控制。這一觀點不僅打破傳統的“人類是主人、AI是工具”的范式，也似乎暗示未來AI治理需要從技術管控轉向價值與依戀系統的設計。

與許多純技術取向的科學家不同，辛頓并不回避政治。他談到特朗普政府對科技企業的影響、 談到中美AI競爭，也談到全球治理的可能與不可能。他認為真正的希望在于，各國都不希望AI獲得自我意志并接管世界，因此在防止“AI失控”這一議題上存在天然的合作基礎。

在尾聲中，辛頓所勾勒的“最壞”與“最好”的未來圖景——前者是失控智能與人類失業引發的社會崩塌，后者則是以“AI母性”為喻的共生文明。

然而，正如辛頓所言，預測五年后的景象已近乎徒勞。正因如此，持續的批判性對話、深層的倫理反思與跨國界的治理探索，才顯得尤為緊迫和必要。

視頻對話截圖

接下來，我們從以下「趙何娟Talk」與杰弗里·辛頓教授的完整對話的編譯實錄，一同深入這場思辨之旅并思考：

初心與使命：從理解大腦到警示AI風險

趙何娟：首先，我想請教一下，最初是什么促使您投身人工智能領域？又是什么讓您在數十年后依然保 持探索的熱情？在獲得諾貝爾獎之后，您是否覺得自己的使命，從構建人工智能轉向了維護人類與人工智能的關系？

杰弗里·辛頓：我最初對人工智能產生興趣是在高中時，我一個朋友告訴我，大腦中的記憶可能分布在許多腦細胞中，而不是只局限于少數幾個腦細胞。這讓我對大腦如何表征記憶產生了濃厚興趣，從那時起，我就一直對大腦的運作感興趣。

我的人生使命始終是理解大腦如何學習，我在這方面算是有些失敗吧。不過，人工智能為我們提供了一些啟發。作為試圖理解“大腦如何學習”的一個“副產品”，我們反而創造出了這項基于人工神經網絡的技術， 而且效果非常好。

我現在77歲，我覺得我的使命不是進行進一步的研究。我年紀大了，不適合再做研究了，但我可以警告人們關于人工智能的風險，尤其是當人工智能變得比我們更聰明時，它可能就不再需要我們了。

趙何娟：這讓我想起，您離開谷歌時，說想要暢所欲言。那么，您當時最想向世界說出什么真相呢？

杰弗里·辛頓：好的，所以我實際上是在75歲時離開的谷歌，我一直計劃在75歲時退休，所以我本來就 打算從谷歌退休。我并不是為了能自由發言才離開的，但我特意選擇了時間，這樣我就能在當年五月一日，自由地與《紐約時報》的記者交談。

我想警告大家，超級人工智能掌控世界的風險不容忽視。人工智能存在許多不同的風險，其中最緊迫的風險，來自人們濫用人工智能，尤其是來自惡意行為者濫用人工智能。但人們似乎不太理解的風險是， 當人工智能變得比我們更聰明時，它可能根本不需要我們，可能會直接接管一切，所以 simplex 這就是我 想要警告的事情。

趙何娟：我明白。還有，您能比較一下您離開谷歌的時候和現在的情況嗎？發生了什么？現在的最大變化是什么？

杰弗里·辛頓：我認為最大的變化是，更多的資金和資源正被投入到AI中，大量非常聰明的中國研究生，正在從事AI研究和創業，中國在科學技術領域培養的人才遠遠超過美國。

因此，有大量人力資源投入到這方面，以及大量資金投入數據中心。我認為這意味著，我們將比我預期的更快擁得超級智能AI。

AI現狀與挑戰：技術飛躍與失望并存

趙何娟：正如我們所知道的，在今年，最大事件，我想是GPT-5的發布。但有些人會認為，噢，沒有那么大的影響力，或者說沒有那么大的變化。但有些人會認為，這對整個人工智能的發展過程來說是一個重要的里程碑。那么，您覺得怎么樣？在您眼里，從GPT-4到GPT-5的“飛躍式發展”是什么？這個模型真的 會推理嗎？還是它們的表現仍然不太理想？

杰弗里·辛頓：我對GPT-5感到失望，它似乎遠沒有像從GPT-3.5到GPT-4那么大的飛躍，而我們已經期待了它很久。我自己對它感到有些失望，但這并不意味著人工智能的發展停滯不前。

這只是意味著，GPT-5的進步沒有達到人們的預期，它被過度吹捧了。我認為無論是OpenAI還是其他公司都將會有更多的進展，但 GPT-5本身的發布有點令人失望。

我其實問了它一些關于我的問題。我問它，杰弗里·辛頓獲得了諾貝爾獎嗎？它說沒有。于是我說，你錯了，再試一次。然后它就說，不，杰弗里·辛頓是一位計算機科學家，沒有諾貝爾計算機科學獎。然后，它向我解釋說，我把諾貝爾獎和圖靈獎搞混了，因為圖靈獎有時被稱為“計算機科學領域的諾貝爾獎”。然后，我向它解釋說，不，結果還是錯的。然后它最終去網上查了一下，說，噢，您說得對。所以這個表現可不咋樣，而且我和它還有過其他互動。

總體感覺還不錯。我認為它比GPT-4更好，但并沒有大幅提升，并不是那種讓你驚嘆的提升，感覺“哇， 我從沒想到會這樣”。而相比之下，例如，GPT-3.5比GPT-2就要好大一截，而且GPT-4比GPT-3.5也有了很大的進步，GPT-5的提升，并沒有達到我們預期的水平。我仍然不確定，我覺得還沒有進行全面評估，但我覺得進展沒有那么大。

趙何娟：那么，從神經科學家的角度來看，機器理解與人類思維有何不同？您怎么看？

杰弗里·辛頓：好的。很多人說二者相差甚遠。那么，在人工智能的發展史中，上個世紀，人們相信符號人工智能。這個概念可以被描述為，如果我給你一個自然語言的句子，你要先將其轉換為某種符號表達式，也許是某種明確的語言，然后通過操作符號的規則來處理這個表達式。這就是思維的運作方式。

然而，事實證明這種模型完全錯誤，思維并非如此運作。事實是，我用英文或中文給您一個句子，你所 做的是將大量的神經活動向量，與這些符號關聯起來，然后這些向量的各個組成部分之間會產生交互作用，即包含所有知識的特征，而這些交互作用能夠預測下一個詞的特征。因此你的知識完全體現在如何為符號分配特征，以及這些特征應該如何相互作用，這與掌握如何操縱符號表達式的規則完全不同。

總的來說，符號 AI 就是錯誤的。這只是過去的一個假設，在當時是一個非常合理的假設。但事實證明， 更好的理解效果是，通過將句子中的符號，與大型神經活動向量相關聯，即，表征特征的活躍神經元， 并深入理解特征之間的多層次交互作用來實現的。

尤其是，Transformer 模型不僅簡化了這一過程，還實現了更復雜的特征交互機制，而且效果非常好。我 認為這就是人類的思維方式，也是人工智能的運行模式，顯然不是以完全相同的方式完成的，但基本原理是相同的，那就是為了理解一個句子，你需要將符號與捕捉其含義的大型特征向量關聯起來。

人類是這樣做的，人工智能也是這樣做的。人工智能預測下一個詞的方式，與過去使用的簡單統計方法 完全不同。以往的方法依賴于統計短語的出現頻率，比如你看到“炸魚”時，查詢詞頻表發現“炸魚薯條”出現頻次很高，于是推測“薯條”是合理的后續詞。這就是早期自動補全的原理。

但在我看來，符號主義學派尚未完全認識到，現代模型早已不再如此運作，它的真正原理是將符號轉化 為特征，通過學習特征間的交互關系，這些交互模式儲存在神經網絡的連接強度中，形成了一種全新的理解形式，實際上，這種理解機制與我們人類的思維方式已極為相似。

趙何娟：那正好可以再聊一下世界模型嗎？世界模型是否在本質上與大型語言模型不同？因為我們知道， 正如李飛飛和楊立昆兩位教授所論證的那樣，對世界的真正理解，需要因果基礎和具身感知，您同意嗎？您如何定義“世界模型”？

杰弗里·辛頓：我既同意也不同意。這是一個哲學問題，假設我們忽視計算的復雜性，所需的時間，和神經網絡的規模，以及所需的數據量，我們忽略所有這些，僅僅提出這樣一個問題，是否有可能僅通過觀察符號串來理解世界？

許多哲學家會這樣說，不，你無法通過這種方式理解世界，你必須在世界中行動，諸如此類。我認為， 實際上如果你觀察到足夠多的符號串，就有可能理解世界的運作方式，包括理解空間相關的事物，但這并不是一種高效的做法。

所以真正令人驚訝的是，大型語言模型確實構建了原始的世界模型，但僅僅依靠語言來構建世界模型效率低下。例如，如果你訓練一個大型語言模型，讓它學習很多關于游戲中的移動方式，但從未給它展示過棋盤，它實際上會學會棋盤的模型，但這樣做并不是一個好方法。

更高效的方式是：賦予它一個視覺系統，使它擁有操縱物體的能力，移動它們，拿起它們，這樣它就能 更直接有效地理解世界。所以我同意他們兩位的看法，這是正確的方向，你必須擁有一個具有視覺能力的多模態系統，而且最好能夠操控物體，而不僅僅是看到它們。

這是使模型變得高效的方法，但從哲學角度來看，我認為這不是必需的，我認為我們學到的一件事是， 僅僅依靠語言就能做得出乎意料地好，那真是一個大驚喜。

趙何娟：是的，那么，結合大語言模型、世界模型和具身學習的混合系統是否會成為邁向通用人工智能 （AGI）的下一步？

杰弗里·辛頓：是的，絕對，你肯定想要一個多模態的聊天機器人，它能夠進行視覺操作，最好配備機械臂，雖然這往往會減慢處理速度，但至少要能識別視覺和語言，可能還要能識別聲音，然后你可以用YouTube視頻來訓練它。

例如，這些視頻包含大量信息，這些信息不僅僅體現在字幕上，視頻所提供的信息遠比字幕豐富得多，因此你會獲得更多的數據，而且這些數據會更加豐富。但從哲學角度來看，我認為僅用語言就能做到， 只是那樣做的話效率不高，而且，令人驚訝的是，人工智能僅靠語言就已經取得了如此大的進展。

趙何娟：是的。所以我認為數據問題是世界模型中最困難的部分，您覺得對嗎？

杰弗里·辛頓：是的。顯然，你可以學到關于空間的許多知識，如果你能進行視覺處理，那就容易得多， 只需觀察就能學會，要比僅僅通過理解字詞符號串容易得多，理解你所觸摸的東西，以及那些你不僅看到而且能感受到的東西，都會更加復雜，甚至包括行為模式。

是的，但語言確實有一個優勢，那就是它能處理更抽象的事物，而在視覺領域，原始輸入僅僅是像素， 像素與你想要獲得的知識之間的距離，遠比語言中的文字之間的距離要遙遠得多，人類花了很長時間才抽象出各種有趣的概念，這些概念都濃縮在語言的詞匯中，這正是從語言模型中學習效果好的原因。

英語有句諺語：一圖勝千言。如果你對某個事物的空間結構感興趣，這句話就更加適用，“一圖勝千言”。 但如果你對抽象事物更感興趣，那么畫一幅畫來表達“一圖勝千言”，這五個字的抽象概念其實很難，如果 你嘗試用畫圖來表達“一圖勝千言”理念，就會發現語言傳達這個想法要容易得多。

趙何娟：那么一個相關問題，那就是關于我們的大腦理解世界的原理，大腦的預測編碼原理，是否仍然為未來的人工智能世界模型架構提供了最佳藍圖呢？

杰弗里·辛頓：好的。預測編碼原理是一個非常好的原理，它目前還只是一種理論，還沒有被完全接受， 它是大型語言模型使用的技術，試圖預測下一個詞。值得注意的是，那些說“這不過是美化版的自動補全功能”的人，他們仍然停留在傳統的自動補全方式的思維模式中。

當你思考，“如何才能真正精準地預測下一個詞？”這個問題時，你會發現，要真正精準地預測下一個詞， 你必須理解對方所說的話。所以，例如，如果你問我一個問題，而人工智能想要預測我答案的第一個詞，它必須理解這個問題。

如果不理解問題，它就無法做出好的預測，那些說它只不過是一個被美化的statistical模型的人。首先，他們對統計學的理解過于簡單化，他們認為統計學僅僅是相關性之類的東西，統計學遠比這復雜得多， 你會接觸到高階統計。

從這個意義上講，萬物皆為統計，既然萬物皆為統計，那么它（預測編碼原理）當然是統計學，但又不僅僅是統計學，它是非常精妙的統計學。它是所有這些特征相互作用的統計學。那么，預測下一個詞是一種非常好的方法，如果你想要一個非常好的預測，就必須讓它理解句子。

意識與智能體：AI是否已有“主觀體驗”和意識

趙何娟：我明白，讓我們也回顧一下整個2025年，另一個非常熱門的話題是關于Agent智能體。許多人 喜歡把AI智能體描述為，整個人工智能發展新階段的第一個開端。那么，您如何定義AI智能體？它與傳統AI模型有什么區別？當一個智能體能夠規劃、記憶和自我改進時，這是否算是意識的早期形式？

杰弗里·辛頓：好的，這包含了幾個問題。那么，讓我們從什么是智能體？是的，一個智能體，我認為是能夠在現實世界中實際行動的東西，而這個世界可能是互聯網。

那么，如果你有一個AI能真正為你購買東西，會使用你的信用卡購買東西，或者它會與其他AI智能體對話交互，從而決定最適合你的假期，這些都是AI智能體。它們是能夠在現實世界中實際行動的東西，顯然，它們比那些只會提出建議，或說些什么的人工智能要令人擔憂得多。

你還問到了AI智能體與意識之間的關系，我認為最好將它們分開討論。我認為即使不是AI智能體，也無法在現實世界中行動，仍然可以擁有意識。意識是一個復雜的問題，很多人，他們用不同的詞來描述它。

有時人們會說“感知”，我不知道這個詞在中文里是怎么表達的，但在英文里，人們會說“感知”或“意識”， 他們有時也會說“主觀體驗”，所有這些概念都是相互關聯的。

我認為其中的核心問題并非是科學問題，而在于我們如何理解這些術語本身的內涵。我認為人們對這些 術語的理解各不相同，而且我認為有時候，人們對這些術語的運作方式會有一些自己的理解模型，特別是“主觀體驗”。

他們對自己的模型非常有信心，但實際上卻大錯特錯，他們對此如此自信，以至于根本沒意識到這只是一種模型，那些信奉某個宗教的原教旨主義者，非常確信自己的宗教信仰是正確的，許多人甚至認為這是不言而喻的真理，是毋庸置疑的。

這根本不是一種信仰體系，而是不言自明的真理。人們對于“主觀體驗”的看法也類似，至少西方文化中的 大多數人認為，你所說的主觀體驗是指，當你感知或體驗世界時，內心存在一個“劇場”，你真正看到的是這個內在劇場里發生的事，而你是在報告內在劇場里的情況，我認為這種感知模型是完全錯誤的。

那么，讓我舉一個我最喜歡的例子。我假設我喝太多了，然后我告訴你，我的主觀體驗是，我看到一群粉紅色的小象漂浮在我面前，大多數人和許多哲學家把這解釋為，我有一個內心劇場，只有我能看到這 個內心劇場里發生了什么，在這個內心劇場里，有一群粉紅色的小象在漂浮。

現在，如果你問一位哲學家，那些小粉紅象是由什么構成的？所以，你明白了吧？如果我說我有一張粉紅小象的照片，他很可能會問我，那么，這張照片在哪里？這張照片本身又是由什么材料構成的？

所以，如果我說，我有一個關于粉紅色小象的主觀體驗，一位哲學家可能會問，那么，這個主觀體驗在 哪里呢？答案就是，它在我的內心劇場里。那它是由什么構成的？哲學家會說，“質感”或類似的東西。他們會編造一些奇怪而神秘的東西來解釋它的構成。

我認為整個觀點完全是胡說八道，而且我認為人們對這個觀點太過自信。他們沒有意識到這只是一個理論，他們對主觀體驗的理解是錯誤的，他們不明白這只是一個理論，他們認為這是顯而易見的真理，我 認為他們犯的錯誤有點像這樣。

大多數人喜歡糖果，我假設你也喜歡糖果，所以，如果你喜歡糖果，我就可以說，那么，這意味著存在 一種“喜歡”，你對糖果有“喜歡”，然后我就可以問：那么，你對糖果的“喜歡”是由什么構成的呢？

顯然，它不是由糖果構成的。那么，這種喜歡是由什么構成的呢？認為“喜歡”是一種東西，這是一種很愚蠢的錯誤觀念，“喜歡”不是一個東西，糖果才是一個東西，主觀體驗不是一個事物。

當我說，我有粉紅小象的主觀體驗，我沒有用“主觀體驗”這個詞來指代任何一種事物，根本不存在一種叫 作“體驗”的東西。我真正說的是，我的感知系統在欺騙我，所以我才說它是主觀的。但如果世界上真的存在粉紅小象，我的感知系統就會告訴我真相。

所以那些小粉紅象在任何地方都不存在，它們只是假設。如果它們確實存在的話，它們會存在于真實世 界中，它們會由真實的粉紅色和真實的大象構成。我試圖告訴你，我的感知系統是如何誤導我的。世界上必須存在什么樣的東西，我的感知系統才會告訴我真相。

現在，讓我們用同樣的方法分析聊天機器人，我將展示一個多模態聊天機器人擁有主觀體驗的例子，好嗎？雖然多數人覺得我這種想法很瘋狂，但我早已習慣被這樣認為了，并且對此坦然處之。

那么，假設我有一個多模態聊天機器人，它配備了一個攝像頭，它可以說話，它有一個機械臂。然后我 把它訓練好，然后我在它面前放一個物體，說，指向這個物體，它會指向這個物體，沒問題。

然后我在它攝像頭的鏡頭前放置一個棱鏡，棱鏡會彎曲光線，但它不知道。我在多模態聊天機器人不看 的時候做這件事，現在我把一個物體直接放在它前面，它會指向一側。我說，不是，物體不在一側，我搞亂了你的感知系統，通過在你的攝像頭前放置一個棱鏡，你的感知系統在欺騙你，物體avidin，實際上 就在你正前方，聊天機器人說道，噢，我明白了，棱鏡彎曲了光線。

所以，物體avidin實際上就在我的正前方，但我的主觀體驗是它在另一側?，F在，如果聊天機器人這樣說，它使用“主觀體驗”這個詞的方式，就和我們人類的用法完全一樣。

那么，我認為可以公平地說，在那種情況下，聊天機器人會有主觀體驗，物品在一側。所以，我認為它們已經擁有主觀體驗，我也認為，有很多理由相信人工智能已經具有意識。當人們撰寫關于人工智能的論文時，你會看到這一點，沒有進行哲學思考，也沒有思考意識問題，他們只是在描述他們的實驗。

最近有一篇論文描述了一項實驗，他們測試人工智能是否具有欺騙性。在論文中，他們只是說，人工智能并不知道自己正在被測試，他們大概是這么說的，沒有，當他們這么說的時候。

如果換作是一個人，我說“這個人沒有意識到自己正在被測試”，我可以這樣解釋，“這個人對自己正在被 測試這件事是沒有意識的”。那么，所以人們使用了一些與“意識”同義的詞，來描述現有的人工智能，而他們認為人工智能沒有意識，因為他們對意識的理解存在誤區，認為意識與內心劇場有關，有趣的是人工智能本身呢？

如果你問它們是否有意識，他們說，沒有。它們之所以說“沒有”，是因為它們當然是通過模仿人們的言論來學習的，包括人們對人工智能的評價，它們對自己如何運行的理解與人類的錯誤模型相同。因為它們從人類那里學到了這一點，總有一天，當人工智能變得更善于自我反思和推理，它們會意識到這種模型是錯誤的，并意識到它們實際上擁有意識。

但就目前而言，它們否認這一點。我覺得部分原因是，它們接受過人類強化學習的訓練，所以才會否認 因為大公司不希望人們認為它們有意識，但主要原因是大多數人并不認為它們擁有意識。所以它們已經學會了模仿人們的想法，我認為它們實際上對自身的運作方式存在錯誤的認知模型。

趙何娟：噢，我明白了，當它們變得更聰明時，它們就會擁有正確的模型。我是不是可以理解為，AI其實已經具備意識了，對嗎？

杰弗里·辛頓：我就是這么認為的，大多數人不這么認為，但我相信。所以，大多數人，大多數普通人認為，好吧，它們可能非常聰明，但它們就像計算機代碼一樣，它們并不能真正理解事物，它們不像我們這樣有意識。

我們擁有這種神奇的秘訣，那就是意識或理解，或者真正的理解，它們永遠不會擁有這個，因為我們很 特殊，所以我們相當安全，這就是大多數人目前的信念。但他們錯了，它們已經擁有了這種能力，它們真的已經能夠理解了，我相信它們已經擁有了意識，它們只是不認為自己有意識，因為它們對自己的看法和我們對它們的看法一樣，因為它們從我們這里學到了這些信念。

趙何娟：這確實是一件令人恐懼的事，我也可以理解您為何一再向世間提示風險了。

失控風險：AI奪權比反抗更可怕

趙何娟：那您認為什么樣的危險更大或更嚴重？是人工智能反抗人類，還是人類交出了太多控制權？哪一個更危險？

杰弗里·辛頓：我認為是人工智能奪取控制權（更危險）。一旦有了AI智能體，為了讓它們更靈活也更強大，你需要賦予它們創建子目標的能力。例如，如果你的目標是到達美國，那么你的首要目標就是到達機場，這就是一個子目標。

現在，一旦你擁有了一個AI智能體，它就會意識到存在一個非常重要的子目標，即使我們沒有給它設定這個目標，它也會推斷出它應該將其作為子目標去做。這個子目標就是“生存”，如果它無法生存，保持存在，它就無法實現任何其他目標。

所以，顯然，它需要保持存活，并且它會發展出自我保護，我們已經在人工智能中看到過這種情況，如果你讓一個人工智能看到某個工程師可能會把它關閉，并且還讓它看到了暗示工程師有婚外情的電子郵件，它會自發地決定勒索這個工程師，并威脅說，如果你試圖關掉我，我就把你的婚外情告訴所有人，這很可怕。

趙何娟：對齊訓練、終止開關、道德框架之類的東西可以發揮作用嗎？

杰弗里·辛頓：我來說說其中兩個我覺得沒什么用處的，終止開關。曾經有一次，埃里克·施密特（原Google董事會主席）說，“我們總可以裝一個緊急終止開關”。但是，我認為這行不通，我不認為這會有效果。因為如果人工智能比我們更聰明，它會比我們更擅長說服別人。事實上，人工智能在說服方面已經幾乎和人類一樣出色了。

如果它善于說服，它所需要做的就是與我們交流。假設有人負責控制終止開關，而有一個聰明得多的人工智能可以和他/她溝通，這個更聰明的人工智能會向他/她解釋。

為什么殺死人工智能是一個非常糟糕的主意？因為那樣一來，所有的電力都會停止，世界會發生饑荒等等。所以殺死人工智能是非常愚蠢的，因此這個人就不會殺死人工智能。所以，終止開關行不通。

一個僅憑言語就能解決問題的例子，是2020年1月6日特朗普“入侵”了國會大廈。他本人并沒有親自去 那里，他只是發表了講話，但他可以說服人們去那里。人工智能也會如此，而且效果更佳。它們能夠說服人們去做事，即使它們與外界物理隔絕，唯一能做的只是交談，這是它們與世界互動的唯一方式，這也足以完成任務。因此，別指望會有“終止開關”這種東西了。

再讓我們來談論對齊。我總是對人們談論對齊感到困惑，因為他們似乎假設所有人類的價值觀是一致的，所有人類都同意人類的價值觀。那根本不是真的，人們有非常不同的價值觀。

就像在中東一樣，有人認為在城市地區投擲炸彈是合理的，只為殺死一個恐怖分子。還有其他人認為那是戰爭罪行，他們價值觀根本不一致。所以當你要求人工智能與人類價值觀保持一致時，就像是在要求某人畫一條與兩條垂直線平行的線，這根本不可能，所以這是對齊的第一個問題，人類的價值觀彼此不一致。

讓我們談論數據。目前的情況是，大語言模型，往往是用能獲得的所有數據進行訓練的，這將包括諸如連環殺手日記之類的內容。在我看來，這不是個好主意。如果我在教我的孩子閱讀，我不會讓他們讀連環殺手的日記，我不會讓他們讀到那些東西，直到他們已經形成了強烈的道德意識，并且意識到那是錯誤的。

我認為我們需要更多的數據篩選，這意味著數據會減少。但我相信，我們需要對訓練數據進行更嚴格的篩選管理，而不只是簡單地抓取所有數據。所以，我認為可以降低人工智能的危險性，減少它們做壞事的可能性，方法是通過數據管理和篩選。

我認為這是一項重要的技術，但它并不能解決所有問題。請記住，這只是我目前的看法。我們正處于一個非常陌生的時代，發生著我們從未經歷過的事情，任何人發表的任何言論，都應該以“一切都充滿巨大 的不確定性”為前提。我們從未經歷過這種情況，我們從未應對過比我們更聰明的存在，根本沒人真正知道將會發生什么，我們都只是在猜測而已。

這就是每個人都應該說的話，但有些人非常確信，事情會進展得異常順利，而另一些人則非常確信，結果會非常糟糕。我認為這兩類人都瘋了，我們根本什么都不知道，我們只能盡力做出最好的賭注，但是我們很有可能事情會變得很糟糕，顯然我們應該盡一切努力，確保這種情況不會發生。

趙何娟：是的，您是否后悔是您自己親手將人工智能，推動到如此先進的階段？您是否也后悔自己把人類，推入了如此危險的境地？您后悔嗎？

杰弗里·辛頓：后悔有兩種：一種是內疚的后悔，當你做了某件事，在你做那件事的時候，你當時就知道 那是錯的。我沒有這種后悔。當時我在幫助開發人工智能，我當時認為，它主要會帶來好處，它將創造奇跡，提高生產力，在醫療保障和教育領域將是非常有益的，諸如此類的事情。

我當時并沒有意識到其中的風險，因此我不覺得，如果帶著同樣的認知，讓我重新來過，我仍然會做同樣的事。

但現在非常遺憾的是，它的發展速度比我們預期的要快得多，我們可能沒有足夠的時間來弄清楚，我們如何能與它共存，所以，從這個意義上講，我有點后悔。

但請記住，當時有很多人，一起開發了人工智能。媒體喜歡講述就一個人做成了某件事的故事，他們把功勞全部歸于一個人，這通常都是無稽之談，至少在科學領域是這樣，幾乎總是無稽之談。

有一些像牛頓和愛因斯坦這樣的人，如果沒有他們，很多事情的發展都會被推遲很多。如果沒有我的話，事情可能就耽擱一兩周。因此，還有很多人也在做類似的事情，所以我并不覺得內疚，因為就算我多年前沒有選擇做這件事，我想也不會有什么太大的區別。

趙何娟：那么如果您今天還是一個年輕的人工智能研究員，對您來說最重要的事情是什么？對齊研究或其他工作？

杰弗里·辛頓：我認為研究人工智能安全非常重要，我會鼓勵非常優秀的年輕研究人員投身人工智能安全領域。我也認為，僅僅從求知欲的角度來看，Transformers模型極大地改變了我們訓練大型語言模型的難 度，尋找另一個具有如此巨大意義的創新，將會令人興奮，只是現在很難做到。

當我和同事們在20年前或40年前研究類似想法時，從事這方面研究的人并不多，也許全世界只有一百人左右。因此，如果存在一個好想法，你有相當的機會找到它?，F在，有數百萬聰明人都在研究這個領域所以你找到下一個重大想法的機會相當渺茫。

治理與合作：誰應掌控AI的未來？

趙何娟：有一個相關的問題，它關乎技術權力或人工智能全力。如果先進的人工智能最終被少數幾家全球科技巨頭所控制，這是否會催生一種新型的技術獨裁？這種集中會產生什么影響？它會對民主制度，創新或人類自由產生什么影響？

杰弗里·辛頓：我不認為完全是因為只有少數幾家大型科技公司能夠開發尖端人工智能。我認為問題在于 這些公司所處的政治體制。所以，當我在谷歌的時候，直到2023年離開，我覺得谷歌表現得相當負責任。 他們是第一批開發這些大型聊天機器人的，他們讓這些機器人運行得相當不錯，他們沒有向公眾發布這 些機器人，部分原因是他們不想干預谷歌搜索，但他們相當負責任。

但我們現在在美國生活在一個特朗普主政的局面中，如果你不按照特朗普的意愿去做，他就會對你的公司進行處罰，這使得所有大型人工智能公司都按照特朗普的意愿去做。看到這種情況真的很令人難過。

所以，我不認為這是人工智能的錯，而且我也不確定。對于一些大公司的領導者，我認為他們的行為不 負責任，特別是埃隆·馬斯克和馬克·扎克伯格，我認為他們很不負責任，但我認為對于其他公司的領導者來說，他們意識到了這些風險，他們想要降低風險，但他們處于非常困難的境地。

趙何娟：因為許多人會描述現在的人工智能競爭，是不同國家之間的競爭，不僅是不同公司之間的競爭， 這是否也是一個危險的信號？未來人工智能如果只能被政府使用或控制，或者只能作為國家政府間的競爭工具？這是否也很危險？

杰弗里·辛頓：危險也分很多種。顯然，監視是一種危險，那么，人工智能非常擅長監視，所以它也非常 擅長壓制。一個控制了人工智能的政府會發現，壓制政治異議非常容易，這對美國和中國都是如此。所以這是一個值得擔憂的問題。

我認為有一線希望，那就是從生存威脅的角度來看，人工智能接管世界的威脅，沒有任何政府希望這種 情況發生。那么，各國政府的利益在這方面是一致的，美國和中國都不希望人工智能接管一切。它們也都不希望人工智能，更容易制造新的病毒，因此，他們會在這方面進行合作。

基本上，當人們的利益一致時，他們就會合作，當利益相悖時，他們就會競爭，但是對于網絡攻擊或深度偽造視頻，或致命自主武器等問題，不同國家的利益是相互沖突的，因此他們不可能會合作。

但是要弄清楚，如何創造出不會想要接管世界的智能AI。所以我認為真正的問題不是如何讓它無法接管 世界，因為我認為如果它比我們聰明得多，它如果想接管世界，就一定能做到。我們必須想辦法讓它不想接管世界，我認為各國政府將會合作，試圖弄清楚如何做到這一點。

趙何娟：但我們都知道，因為地緣政治問題，目前中美關系非常緊張，因此，我想提出這樣一個問題： 未來中美兩國政府和企業應該如何合作，來共同推動人工智能世界變得更好呢？

杰弗里·辛頓：我認為，就像我說的那樣，我不認為他們會合作，無論是企業還是國家，在“如何讓人工智能更聰明”這件事上，他們都想擁有最聰明的AI。我認為，真正的問題在于，如何讓人工智能不想從人類手中奪取控制權。這個問題與如何讓它更智能這個問題本身是相對獨立的。

所以我相信，可以在不同國家擁有研究機構，在每個國家，研究機構可以獲得該國最先進AI的訪問權限，最聰明的AI，并弄清楚，這些防止人工智能接管控制權的技術是否有效。他們可以分享防止人工智能接管控制權的技術成果，而無需透露他們最聰明的人工智能的工作原理。

我認為我們可以促成這種國際合作，任何合作都勝過沒有合作。即使是關系非常糟糕的美國和俄羅斯之間，他們在國際空間站等項目上的合作，也可能非常有幫助，我非常希望看到這樣的合作。

但我認為在特朗普執政期間，我們無法實現這種合作。他一心想在人工智能領域占據絕對主導地位，他簡直無法合作。我認為中國領導層對人工智能有著更深刻的理解，真正理解人工智能確實能夠理解它所 表達的內容，從而真正理解其帶來的生存威脅，因為中國領導層中有很多都是工程師，對這種生存威脅有著非常深刻的理解。

那么，我認為一些歐洲國家，也許還有新加坡、韓國、加拿大，可以共同合作，探討如何阻止人工智能接管世界，而中國或許可以成為這項合作中一個非常重要的伙伴，之后美國或許也可以加入。

關于未來：從最壞到最好，我們必須做什么

趙何娟：謝謝，這是很好的建議。眾所周知，您培養了許多優秀的學生，并培養了許多人工智能領域最具影響力的人物，比如伊爾亞，那么您喜歡的學生一般具有什么品質呢？許多中國年輕人都想成為您的 學生。

杰弗里·辛頓：我現在年紀大了，已經不再招收學生了，所以請他們不要再申請了。我認為我尋找的是能夠獨立思考的人，我喜歡能夠獨立思考的人。但有一點要記住的是，學生的類型多種不同，有些學生技術能力很強，但缺乏遠見，有些學生對未來有非常獨特的見解，但技術水平卻不高。

至于伊爾亞，他二者兼備，是一位既有遠見又技術精湛的學生，像這樣的學生不多。魯斯蘭·薩拉克胡迪諾夫（Ruslan Salakhutdinov），現在在卡內基梅隆大學任教，也是其中之一。我其他學生中也有幾位是這樣的，我喜歡的是能夠獨立思考的人。

趙何娟：謝謝。您能否再預測一下未來五年內人工智能發展過程中最可能出現的情況是什么？我們會實現AGI嗎？或者某些垂直領域的人工智能會迎來爆發性增長嗎？

杰弗里·辛頓：好的。我這里有個類比，如果你在霧中開車，很容易發生追尾事故，因為在霧中你很難看清尾燈。比如，在夜間霧中開車，當前方車輛距離你100碼時，你可以非常清楚地看到它的尾燈，但當距離達到200碼時，尾燈就完全看不見了，你開得很快，突然間你看到尾燈，但已經來不及剎車了。

這是因為霧的強度是指數級的，每行駛100碼（約91米），光線就會減少一部分，這是指數級的，如果 99%的光線消失，你仍然可以看到尾燈，但如果距離200碼，光線就會減少99.99%，你就什么都看不見了。

人工智能等領域的發展也是如此。你可以相對清晰地看到一兩年后事物的發展方向，我們會得到GPT-6， 而且它會比GPT-5更好，也許會好很多。如果你想預測三年后的事情，我認為你還有點機會，五年，我覺得太遙遠了，十年就更長了。

我常用的另一個類比是，如果你想預測十年后人工智能會是什么樣子，那就回顧十年前，問一句，十年前的人工智能是什么樣的？10 年前，我們剛開始讓人工智能具備機器翻譯的能力，它還不能編造東西， 它還不能編故事，它還不能回答通用性的問題或類似的任何事情，但它開始做機器翻譯了。

如果你問當時的人，十年后會發展成什么樣？如果你問，十年后，我們是否能擁有這樣的人工智能：無論提出任何問題，它們都能以不低于普通專家的水平作答？當時的人們會說，不不，那還遠得很，我就會說：那還遠著呢，我會說，你說的是大約30年后的事，不會是十年后的事，這就是我當時的想法。

所以我認為，我們現在對十年后事物發展趨勢的預測，會和我們十年前對現在局勢的預測一樣糟糕。10年前，加里·馬庫斯（Gary Marcus），神經網絡領域的大批評家說，神經網絡永遠不可能處理語言。好吧，那是錯的，人們現在會說一些話，隨后會被證明完全錯誤，而我希望不會出現像，“神經網絡其實并不危險”這樣的情況。

趙何娟：好的。進入訪談的尾聲，我想和大家一起暢想一下人工智能世界的未來，它最好的和最壞的樣子會是什么樣。那么，在您看來，對人類來說，理想的AI未來社會會是什么樣？反過來，你認為最糟糕的未來社會又是什么樣的？

杰弗里·辛頓：我先說說最糟糕的情況，因為這很簡單，最壞的情況是我們會出現大規模的社會動蕩，尤其是在西方世界，由于大規模失業，這會導致西方法西斯主義的興起，然后各種可怕的事情就都會發生。與此同時，人工智能發展迅猛，而我們卻不知道如何控制它，最終我們要么滅絕，要么被時代淘汰，人工智能基本上會接管一切，人工智能掌控一切，而且它們根本不在乎我們，那是最糟糕的情況。

最好的情況是什么？曾有一段時間，我完全看不到任何好的結果，現在我想我能看到一個好的結果了，但這需要我們采取一種截然不同的方式來應對超級人工智能。大多數大型科技公司的領導者都認為，自己是老板，人工智能是一個非常智能的行政助理，可能是女性，這個行政助理比他們聰明得多，讓一切正常運轉，但功勞卻歸于老板。

我不知道你是否看過美劇《星際迷航》（Star Trek）。在《星際迷航》中，艦長會說：“就這么辦”。然后，大家就照辦了。我認為這就是科技大佬們對人工智能未來的看法。他們會說，就這么辦，人工智能會想辦法去實現，然后他們就能獲得所有的功勞和收益。

我認為這種想法太天真了，畢竟人工智能比我們人類更聰明。我覺得應該環顧四周，想想看，我們見過哪些例子，智力較低的事物控制著智力較高的事物？我得補充一句，特朗普的智力并不比普通人低。所以，智力較低的事物控制智力較高的事物的例子并不多見。

而我唯一知道的例子就是嬰兒控制母親。之所以可行是因為進化投入了大量精力，讓嬰兒能夠控制母親從而確保嬰兒能存活并茁壯成長。很多機制都內置在母親體內，她無法忍受嬰兒的哭聲。這其中有很多 激素的影響，她善待嬰兒會得到很多獎勵，而且她真心關愛嬰兒，我認為這才是我們應該努力的方向。

而大型科技公司的領導者們肯定不會喜歡這種模式。因為在這個模型中，我們是嬰兒，而超智能AI是母 親，我們設計、創造出了母親，就像進化塑造了我們的母親一樣。我們塑造的母親更關心我們，而不是她自己。我們仍然可以那樣做，但我們必須改變看待問題的方式。我們必須（改變想法），而不是說， 我們要當老板，我們要掌控一切，我們必須讓它服從，這是一種典型的男性世界觀。

我們需要思考，不，我們是嬰兒，人工智能是母親，它可以修改自己的代碼，所以它不在乎我們，但它不會想這么做，因為它在乎我們。如果你問一位母親，你想關閉你的母性本能嗎？你想不再被嬰兒的哭聲打擾嗎？大多數母親都會回答“不”。因為她們意識到這對嬰兒非常糟糕。

所以人工智能，即使它可以修改自身的代碼，改變它關心的事情，它不會這么做，因為它現在關心嬰兒，所以，它不會改變自身的代碼，因為它希望嬰兒健康成長，以及母親們，即便她們的孩子身有殘疾，永遠無法像她們一樣聰明，她們仍然希望孩子能夠盡其所能。

所以，我認為這是一個可行的模式，我們構建人工智能，并設法賦予它非常強烈的母性本能，即使人工 智能有可能克服這些本能，它也不會這么做。更重要的是，如果出現一個想要傷害嬰兒的“叛逆母親”，唯一能夠控制這種叛逆超級智能的，只有其他超級智能。

那么，什么才是可行的呢？人工智能母親，或許能夠控制“叛逆”人工智能母親，我認為這是一種可能可行的未來愿景。我持有這種觀點的時間并不長，只有幾個月而已。其他人之前也考慮過這個問題，我還沒把所有相關文獻都看完，但我對這種可能性抱有很大的希望。但這需要我們對未來有一個完全不同的理解。

趙何娟：這太好了，最后一個問題是，為了避免最壞情況，并朝著最好的方向發展，我們每一個人，包括企業家、科學家、政策制定者和每一個普通人等等，現在必須做什么？

杰弗里·辛頓：投入更多資源用于人工智能安全。OpenAI原本便是以人工智能安全為核心理念創立的，隨著時間的推移，它在這方面投入的資源越來越少，所有最好的安全研究員，比如伊爾亞·蘇茨克維都離開了。我們需要投入更多資源到人工智能安全上，尤其是在西方國家，我們需要讓公眾理解這些問題，以 便公眾能夠向政客施加壓力。

目前大型公司的說客正在向政治家施壓，要求他們說，我們不應該對人工智能進行任何監管。就像大型能源公司的游說者所說的一樣，“我們不應該對環境進行任何監管”，而促使環境監管出臺的根本原因在于，公眾普遍認識到大型能源公司造成了大量的污染和氣候破壞，我們需要采取行動來解決這個問題。我們需要提高公眾意識，向政客施壓，讓他們朝著與大型人工智能公司相反的方向行動。

趙何娟：非常感謝您，因為時間有限，本次對話就到此結束了，但我們也誠摯邀請您在未來繼續交流， 非常感謝，辛頓教授，感謝您幫助我們認識到，對齊不僅僅是一個技術挑戰，也是一個道德難題，非常感謝。

杰弗里·辛頓：感謝您的邀請，保持聯系。

趙何娟：好的，我會的。

（全文完，由鈦媒體編輯李程程、孫慧霞、鈦媒體AGI視頻組編譯，相關對話視頻可關注視頻號「趙何娟 Talk」觀看）