AGI很遠，但風險更近：AI末日論者的邏輯是什么？

（來源：MIT TR）

本文為《麻省理工科技評論》“糾偏熱潮”（Hype Correction）專題系列的一部分，該系列旨在重置人們對 AI 的預期：AI 是什么、它能帶來什么、以及我們接下來該走向何處。

在當下唱衰 AI，似乎有些不合時宜。

AI 末日論者（盡管他們中的許多人更愿意把自己稱作“AI 安全倡導者”）——這個規模不大，卻頗具影響力的群體由研究人員、科學家和政策專家組成。用最簡單的話說，他們相信：AI 可能會強大到對反而對人類不利，而且會非常、非常不利。

他們認為，如果缺乏更嚴格的監管，行業可能會一路狂奔，沖向人類自身也無法控制的系統——這類系統會在通用人工智能（AGI）出現之后接踵而至。AGI 是個邊界模糊的概念，一般被理解為一種能做到人類能做的一切，而且做得更好的技術。

這種看法在 AI 領域遠談不上普遍共識，但過去幾年里，“末日派”陣營確實取得了一些顯著成果：他們參與塑造了拜登政府推出的 AI 政策，推動并組織了有關設置國際“紅線”以防范 AI 風險的高調呼吁；隨著其中一些擁護者獲得科學界最負盛名的獎項，他們也擁有了更大的“擴音器”，而且影響力更強。

但過去六個月里發生的一系列變化，讓他們陷入被動。隨著科技公司繼續以相當于多個“曼哈頓計劃”的規模投資數據中心，卻無法確定未來需求是否能匹配這種建設體量，關于“AI 泡沫”的討論幾乎淹沒了其他聲音。

還有 8 月 OpenAI 發布最新基礎模型 GPT-5 一事——它多少讓人感到失望。但也許這幾乎是不可避免的，因為它是史上被炒作得最厲害的一次 AI 發布。OpenAI CEO 山姆·奧特曼曾夸口說，GPT-5 在每個主題上都“像一個博士水平的專家”，還對播客主持人西奧·馮（Theo Von）表示，這個模型好到讓他覺得自己“相對于 AI 簡直毫無用處”。

許多人原本期待 GPT-5 會是邁向 AGI 的一大步，但不管它實際取得了什么進展，都被一連串技術故障掩蓋了。與此同時，OpenAI 還做出一個令人費解、隨后又迅速撤回的決定：在沒有預警的情況下關閉所有舊版模型的訪問權限。新模型在基準測試上拿下了最先進水平的分數，但許多人在日常使用中仍覺得 GPT-5 反而退步了，哪怕這種感受可能并不完全公平。

這一切看起來似乎動搖了“末日派”論證的某些根基。與此同時，另一個對立陣營“AI 加速主義”則看到了新機會。他們擔心 AI 其實發展得不夠快，行業隨時可能被過度監管扼殺，因此希望改變我們對 AI 安全的處理方式，或者更準確地說，改變我們不怎么處理 AI 安全的方式。

對那些“轉戰”華盛頓的產業人士而言，這一點尤為明顯。長期風投人士、后來出任特朗普政府 AI 事務主管的大衛·薩克斯（David Sacks）宣稱：“末日派敘事是錯的。”

白宮 AI 高級政策顧問、科技投資人斯里拉姆·克里希南（Sriram Krishnan）也附和道：“‘AGI 迫在眉睫’這種觀念一直是干擾項，而且有害，如今也基本被證明是錯的。”（薩克斯和克里希南均未回應置評請求。）

（當然，在 AI 安全的爭論中還有第三個陣營：通常與“AI 倫理”標簽關聯的一批研究者與倡導者。他們也支持監管，但往往認為 AI 進展速度被夸大，并常把 AGI 視為科幻故事或騙局，認為它會分散我們對技術當下威脅的注意力。不過，即便“末日派”真的式微，也未必會像加速主義者那樣，為他們帶來同樣的政策窗口。）

那么，“末日派”如今處在什么位置？作為“糾偏熱潮”（Hype Correction）專題的一部分，我們決定去問問這一運動中最知名的一些人物，看看最近的挫折與整體氛圍變化是否改變了他們的看法。政策制定者似乎不再認真對待他們提出的威脅，他們會因此憤怒嗎？他們是否在悄悄調整“末日時間表”？

我們最近采訪了 20 位研究或倡導 AI 安全與治理的人士，其中包括諾貝爾獎得主杰弗里·辛頓（Geoffrey Hinton）、圖靈獎得主約書亞·本吉奧（Yoshua Bengio），以及前 OpenAI 董事會成員海倫·托納（Helen Toner）等知名專家。采訪顯示，他們并未感到灰頭土臉或迷失方向，而是依舊堅定投入，認為 AGI 不僅可能出現，而且極其危險。

與此同時，他們似乎也在面對一種近乎矛盾的處境。一方面，近期發展暗示 AGI 可能比他們此前認為的更遙遠一些，他們為此多少感到松了一口氣。“感謝上帝，我們有更多時間了。”AI 研究者杰弗里·拉迪什（Jeffrey Ladish）說。另一方面，他們也對一些掌權者推動與自己主張相反的政策感到沮喪。《AI 2027》這份警示性預測的主筆丹尼爾·科科塔伊洛（Daniel Kokotajlo）說，“AI 政策似乎在變得更糟”，并稱薩克斯與克里希南的推文“精神失常”且“不誠實”。

總體而言，這些專家把“AI 泡沫”的討論視為不過是一個小小的減速帶，把對 GPT-5 的失望視為更具干擾性而非啟發性。他們整體上仍支持更強有力的監管，并擔心政策層面的進展正在變得脆弱。這里的進展包括《歐盟人工智能法案》（EU AI Act）的落實、美國首部重要 AI 安全法案加州 SB 53 的通過，以及部分國會議員對 AGI 風險的新關注。在他們看來，華盛頓可能會對那些“短期內未能兌現炒作”的表現反應過度，從而讓這些進展受到沖擊。

有些人也急于糾正外界對“末日派”最根深蒂固的誤解。盡管批評者常嘲笑他們“總說 AGI 就在眼前”，他們卻表示這從來不是論證的關鍵部分。加州大學伯克利分校教授斯圖爾特·拉塞爾（Stuart Russell）說，這件事“并不在于是否迫在眉睫”。拉塞爾著有《Human Compatible: Artificial Intelligence and the Problem of Control》。我采訪的大多數人都說，在過去一年里，他們對“出現危險系統”的時間預估其實略微延后了。這是一個重要變化，因為政策與技術格局可能在很短時間內發生劇烈轉向。

事實上，他們中的許多人強調，更新時間表本身非常重要。托納告訴我，即便現在的時間表只是稍微拉長，ChatGPT 時代的一條宏觀主線仍然是，全行業對 AGI 的到來預期出現了顯著“壓縮”。她說，很長一段時間里，人們預計 AGI 還要幾十年才會出現。如今，大多數預測把它的到來放在未來幾年到 20 年之間。因此，即便我們多了一點時間，她和許多同行仍然認為 AI 安全極其緊迫，而且事關重大。她對我說，如果 AGI 在未來 30 年內的任何時候都有可能出現，“這就是一件天大的事。我們應該讓很多人投入到這件事上。”

所以，盡管“末日派”正處在一個頗為尷尬的節點，他們的底線判斷依舊是：無論 AGI 何時到來（他們再次強調，它很可能會到來），世界都遠沒有準備好

無論你怎么看待“末日派”的心態，都無法回避一個事實：在這個世界上，有些人確實擁有很大的影響力。下面就是這一領域中一些最具代表性的人物，用他們自己的話回望此刻。為了篇幅與表達清晰，采訪內容經過編輯與刪節。

杰弗里·辛頓：不確定未來會發生什么的諾獎得主

杰弗里·辛頓（Geoffrey Hinton）：圖靈獎得主，因開創深度學習獲諾貝爾物理學獎。

過去幾年里最大的變化是，有一些很難被輕易忽視的人也在說，這些東西很危險。比如前谷歌 CEO 埃里克·施密特（Eric Schmidt）就真正意識到這可能非常危險。我和他最近去過中國，和一位政治局相關人士交流，也和上海市委書記談過，想確認他是否真正理解這件事，他確實理解。我認為中國的領導層對 AI 及其危險理解得更到位，因為他們很多人是工程師出身。

我一直關注的是更長期的威脅：當 AI 變得比我們更聰明時，我們還能指望人類繼續保持控制權，甚至繼續與它相關嗎？但我不認為任何事情是注定的。幾乎每一件事都存在巨大的不確定性，我們從未走到過這里。那些很自信地說自己知道會發生什么的人，在我看來反而顯得可笑。我覺得這種情況很不可能，但也許最終會證明，那些說 AI 被嚴重高估的人是對的。也許我們無法在當前的聊天機器人之上再走多遠，因為數據有限而撞上墻。我不相信會這樣，我認為不太可能，但并非不可能。

我也不相信像埃利澤·尤德科夫斯基（Eliezer Yudkowsky）那樣的人所說的，只要有人把它造出來，我們就都會完蛋。我們并不知道會這樣。

但綜合現有證據來看，我認為可以合理地說，大多數非常了解 AI 的專家都相信，在未來 20 年內出現超級智能的概率很高。谷歌 DeepMind CEO 戴密斯·哈薩比斯（Demis Hassabis）說可能只要 10 年。甚至連知名 AI 懷疑論者加里·馬庫斯（Gary Marcus）大概也會說：“如果你們做出一個混合系統，把傳統的符號邏輯加進去，也許就能達到超級智能。”（編者注：馬庫斯在 9 月預測 AGI 將在 2033 年到 2040 年之間到來。）

而且我不認為有人相信進展會停在 AGI。幾乎所有人都相信，AGI 出現幾年后就會有超級智能，因為 AGI 會比我們更擅長制造 AI。

所以，雖然我覺得很明顯，形勢正在變得更艱難，但與此同時，人們也在投入更多資源去開發更先進的 AI。我認為進展會繼續下去，僅僅因為投入的資源正在變多。

約書亞·本吉奧：希望自己更早看見風險的深度學習先驅

約書亞·本吉奧（Yoshua Bengio）：圖靈獎得主，《國際 AI 安全報告》主席，LawZero 創始人。

有些人認為 GPT-5 的發布意味著我們撞上了墻，但從科學數據與趨勢來看，情況并不完全是這樣。

有人過度兜售“AGI 明天早上就會降臨”的說法——從商業角度也許說得通。但如果你看各類基準測試，GPT-5 的表現基本符合你對那個時間點模型水平的預期。順帶說一句，不只是 GPT-5，Claude 和谷歌的模型也是如此。在一些 AI 系統此前并不擅長的領域，比如 Humanity’s Last Exam 或 FrontierMath，它們現在的得分比年初高了很多。

與此同時，AI 治理與安全的整體局面并不樂觀。有一股強大的力量在反對監管。這就像氣候變化一樣。我們可以把頭埋進沙子里，祈禱一切會沒事，但這并不能解決問題。

與政策制定者之間最大的錯位，是他們誤解了一個事實：如果 AI 進步的趨勢持續下去，變化的尺度可能會非常巨大。商界和政府里的很多人只是把 AI 當作又一種經濟上很強大的技術。他們并不理解，如果趨勢繼續、我們逼近人類水平的 AI，它會在多大程度上改變世界。

和許多人一樣，我也在某種程度上對潛在風險視而不見。我本該更早意識到它會到來。但這很人性。你對自己的工作感到興奮，更愿意看到它好的一面，這會讓我們產生一點偏差，不太愿意真正關注可能發生的壞事。

即便只有很小的概率，比如 1% 或 0.1%，會造成一場讓數十億人喪命的事故，這也是不可接受的。

斯圖爾特·拉塞爾：認為 AI 在進步，但進步得不夠快、無法阻止泡沫破裂的資深學者

斯圖爾特·拉塞爾（Stuart Russell）：加州大學伯克利分校計算機科學杰出教授，《Human Compatible》作者。

我希望把“討論生存風險”當作“末日派”或“科幻”的觀點，最終會被視為邊緣看法。畢竟，大多數頂尖 AI 研究者和頂尖 AI 公司 CEO 都很認真對待這個問題。

過去有人斷言 AI 永遠不可能通過圖靈測試，或者永遠不可能有系統能流利使用自然語言，或者永遠不可能有系統能把車倒進平行車位。所有這些斷言最終都被進步推翻了。

人們正在花費數萬億美元來推動超人類 AI 的出現。我認為他們需要一些新想法，但他們很有可能會想出來，因為過去幾年已經出現了許多重要的新想法。

在過去 12 個月里，我比較一致的判斷是：有 75% 的概率，這些突破不會及時出現，從而無法把行業從泡沫破裂中救出來。因為目前的投資規模隱含著一種預測：我們將擁有更好的 AI，并為真實客戶創造更大的價值。但如果這些預測沒有實現，股市里就會出現一地雞毛。

不過，安全論證并不在于是否迫近，而在于我們仍然沒有解決“控制問題”。如果有人說，一顆直徑 4 英里的小行星會在 2067 年撞上地球，我們不會說“2066 年再提醒我一下，到時候再想”。我們并不知道開發出控制超級智能 AI 所需的技術要花多久。

從先例來看，核電站發生堆芯熔毀的可接受風險水平大約是每年百萬分之一。人類滅絕的后果遠比這嚴重，所以也許可接受風險應當設為十億分之一。但企業給出的風險水平卻像是五分之一。他們不知道如何把它降到可接受的程度，而這就是問題所在。

大衛·克魯格：試圖把 AI 安全敘事講清楚的教授

大衛·克魯格（David Krueger）：蒙特利爾大學與本吉奧的 Mila 研究所機器學習助理教授，Evitable 創始人。

我認為人們對 GPT-5 的反應確實有點過度反向糾偏。但之前確實存在熱炒。我的印象是，有好幾位 CEO 以不同程度的明確表述，基本都在說到 2025 年底，我們就會擁有可以隨時替換的人類遠程員工的自動化系統。但現在看起來有點平淡，智能體還并沒有真正到位。

我很驚訝，“預測 2027 年出現 AGI”的敘事竟然能吸引如此多的公眾注意力。等到 2027 年如果世界看起來依舊很正常，我認為很多人會覺得整套世界觀被證偽了。更讓我惱火的是，我在和人談 AI 安全時，對方常會默認我相信危險系統的時間表很短，或者默認我認為 LLM 或深度學習會帶來 AGI。他們給我加了很多并非論證所必需的額外前提。

我預計國際協調這個問題需要幾十年才能解決。所以即便危險的 AI 還要幾十年才出現，它也已經是緊迫問題了。很多人似乎沒抓住這一點。還有一種想法是：“等我們真的有一個非常危險的系統再開始治理。”那就太晚了。

我仍然認為安全圈的人更傾向于在幕后與掌權者合作，而不是面向公民社會。這給了那些說“這不過是騙局或圈內游說”的人彈藥。這并不是說這些敘事完全沒有事實依據，但底層風險仍然真實存在。我們需要更高的公眾認知，以及更廣泛的社會支持，才能形成有效應對。

如果你真的相信未來 10 年內有 10% 的概率走向毀滅，我認為任何理性的人只要認真看一看都應該得出這個判斷，那么你第一個念頭就會是：“我們為什么還要這么做？這太瘋狂了。”一旦你接受這個前提，這就是很合理的反應。

海倫·托納：擔心 AI 安全失去公信力的治理專家

海倫·托納（Helen Toner）：喬治城大學安全與新興技術中心代理執行主任，前 OpenAI 董事會成員。

我剛進入這個領域時，AI 安全更多是一套哲學性的想法。如今，它已經發展成機器學習中一組活躍的子領域，正在填補某些更“天馬行空”的擔憂與現實可測試系統之間的鴻溝。這些擔憂包括 AI 的算計、欺騙或逐利傾向，而我們現在已經有更具體的系統可以去測試和驗證。

AI 治理在緩慢改進。如果我們有足夠時間去適應，治理也能繼續緩慢推進，我并不悲觀。但如果我們沒有太多時間，那我們很可能推進得太慢了。

我認為在華盛頓，GPT-5 普遍被視為一次令人失望的發布。圍繞 AI 的討論相當兩極化：我們會在未來幾年里迎來 AGI 和超級智能嗎？還是說 AI 完全就是炒作、沒用、只是泡沫？擺鐘此前可能過度擺向“我們很快就會有極其強大的系統”，現在又開始擺回“這都是炒作”。

我擔心，一些 AI 安全人士給出的激進 AGI 時間表估計，正在把自己推向一種“狼來了”的處境。當“2027 年出現 AGI”的預測沒有成真時，人們會說：“看看這些人，把自己搞成了笑話，你們以后再也不該聽他們的。”如果他們后來改變了想法，或者他們的立場其實是“我只認為有 20% 的可能性，但這仍值得關注”，這種反應并不誠實。我認為這不該成為人們未來不再傾聽的理由，但我確實擔心這會造成嚴重的信譽打擊，而且會波及那些非常擔憂 AI 安全、卻從未宣稱過極短時間表的人。

杰弗里·拉迪什：現在認為 AGI 更遙遠，并為此感到慶幸的 AI 安全研究者

杰弗里·拉迪什（Jeffrey Ladish）：Palisade Research 執行主任。

過去一年里，有兩件大事更新了我對 AGI 時間表的判斷。

第一，高質量數據的短缺，比我預想的更嚴重。第二，2024 年 9 月出現的第一個“推理”模型，也就是 OpenAI 的 o1，顯示強化學習的規模化比我原先以為的更有效。幾個月后，你又看到從 o1 到 o3 的擴展，在數學、編程和科學等更容易驗證結果的領域里，表現強得離譜。但即便我們仍在看到持續進步，進展本可以更快。

這些因素把我對“完全自動化的 AI 研發開始出現”的中位數時間預估，從三年推遲到了大概五到六年。但這些數字某種程度上也是我自己估出來的，很難。我得強調一句：在這里做預測真的非常難。

感謝上帝，我們有更多時間了。在這些系統強大到足夠有能力、有策略，從而對我們的控制能力構成真實威脅之前，我們可能擁有一個很短的機會窗口，去盡可能真正理解它們。

但看到人們以為我們已經不再進步，這件事也很嚇人，因為這顯然不是真的。我知道它不是真的，因為我在用這些模型。AI 這種進步方式的一個副作用是，它到底進步得有多快，對普通人來說變得越來越不直觀。

當然，在一些領域不是這樣。比如看看 Sora 2，任何看過的人都能很明顯地感受到它比以前強太多。但如果你問 GPT-4 和 GPT-5 為什么天空是藍色的，它們給出的答案基本一樣，而且是正確答案。對于解釋天空為什么是藍色，這項能力已經“飽和”了。所以我認為，最能理解 AI 進展的人，是那些真正用 AI 做開發，或者在非常困難的科學問題上使用 AI 的人。

丹尼爾·科科塔伊洛：早就預見批評將至的 AGI 預測者

丹尼爾·科科塔伊洛（Daniel Kokotajlo）：AI Futures Project 執行主任，OpenAI 吹哨人，《AI 2027》主要作者。《AI 2027》描繪了一個生動情景：從 2027 年開始，AI 在短短數月內從“超人程序員”發展為“極度超級智能”的系統。

AI 政策似乎在變得更糟，比如“Pro-AI”超級政治行動委員會（super PAC），它由 OpenAI 和安德森·霍洛維茨（Andreessen Horowitz）的高管在今年早些時候發起，旨在游說推動去監管議程；還有斯里拉姆·克里希南和大衛·薩克斯那些精神失常和/或不誠實的推文。AI 安全研究仍以常規速度推進，相比大多數領域這已經快得令人興奮，但相比它所需要的速度仍然太慢。

我們在《AI 2027》第一頁就寫明，我們的時間表其實略長于 2027 年。所以即便在發布《AI 2027》時，我們也預期 2028 年會出現一批批評者，得意洋洋地說我們已經被證偽，就像薩克斯和克里希南那些推文一樣。但我們當時認為，現在也仍然認為，智能爆炸很可能會在未來五到十年內的某個時點發生。等它發生時，人們會想起我們的情景，并意識到它比 2025 年能看到的任何其他敘事都更接近真實。

預測未來很難，但嘗試預測很有價值。人們應該努力用一種具體、可證偽的方式表達自己對未來的不確定性。我們就是這么做的，而這么做的人并不多。我們的批評者大多并沒有提出自己的預測，反而經常夸大并歪曲我們的觀點。他們說我們的時間表比實際更短，或者說我們比實際更自信。

我對 AGI 時間表變得更長這件事感覺挺好，就像剛從醫生那里拿到更好的預后。但整體局面其實還是差不多。

https://www.technologyreview.com/2025/12/15/1129171/the-ai-doomers-feel-undeterred/