llya最新判斷：Scaling Laws逼近極限，AI暴力美學終結

在硅谷的敘事體系里，Ilya Sutskever 是一個少數可以被稱作“圖騰”的名字。

作為 ImageNet 革命的重要推手、OpenAI 的聯合創始人、GPT 系列的關鍵締造者，他幾乎定義了過去十年深度學習的前進方向。

但就在全球產業都把賭注押在“堆更多 GPU、做更大模型”之上，試圖用規模化

（Scaling）

11 月 26 日凌晨，Safe Superintelligence

（SSI）

（Ilya Sutskever，下稱蘇茨克維）

1、預訓練時代的突破在于，它提供了一套可復用、幾乎必然奏效的“配方”：準備足夠的數據、算力和一個能撐住規模的模型結構，性能就會持續上升。

如今，規模法則正在接近極限。強化學習的算力消耗巨大，卻并不能算作真正的“擴展”。同時，擴展與浪費算力之間的界線變得模糊。

這意味著行業正在從“規模驅動”重新回到“研究驅動”。科研確實需要算力，但并不需要絕對最多的算力。真正需要的是正確的問題和新的方法。

2、停滯時代的 AI 公司將趨同，但仍能賺取巨額收入。就算創新放緩，各公司依舊會取得顯著進展并獲得高額收入。差異化可能變得更難，但“停滯”并不意味著“衰落”。

如果模型被限定在某些領域，它們一樣可以極其強大，你可以擁有許多功能狹窄的超級智能。

3、人類能迅速學習，是因為進化內置了強大的通用學習機制。人類學習速度快，不是因為我們預裝了大量知識，而是因為進化為我們挑選了一小批極其有用的先驗。

我們之所以能在極短時間內掌握技能，是因為大腦就是一種高度通用、極其高效的學習系統。這為人工智能提供了啟發：未來的突破來自更強的學習方式，而不是簡單擴展規模。

4、當 AI 足夠強時，許多今天不存在的社會行為會出現。強大的 AI 很可能帶來“全民高收入”，極大提升生產力，政治結構、體制與治理方式都會隨之重塑。

在這種世界里，每個人都將擁有一個為自己行動的 AI。真正的風險在于，人類可能逐漸從參與者變成旁觀者。保持主體性的答案之一，是與 AI 建立更深層的耦合，讓人類繼續能夠理解并參與 AI 所處的情境，腦機接口是一個可行的方案。

5、超級智能最令人擔憂的并不是它的意圖，而是它的力量：當一個系統強大到足以決定一切時，即便它的目標是善意的，人類仍可能不喜歡它實現目標的方式。力量本身就是風險，而非動機。

6.真正的研究品味來自對“美學信念”的堅持：美、簡潔、優雅。

研究品味來自對簡單而清晰的信念的堅持：人工智能應該符合大腦的本質結構，但要以正確方式理解大腦。

重要的不是大腦的形狀，而是神經元的數量、連接的可塑性，以及通過局部規則從經驗中學習的能力。這些是“事情本該如此”的基礎。

當這些元素同時出現時，你才會對方法產生真正的信心。這種信心，就是自上而下的信念：當數據暫時不支持你的猜想時，它仍能支撐你繼續前進，因為你相信背后存在內在的正確性。

以下為蘇茨克維專訪實錄：

模型考試滿分，實戰翻車

伊利亞·蘇茨克維爾：你知道最不可思議的是什么嗎？這一切都是真的。

德瓦爾凱什·帕特爾：什么意思？

伊利亞·蘇茨克維爾：你不覺得嗎？所有這些人工智能的東西，還有舊金山灣區的一切……這一切都在發生。這難道不是科幻小說里的情節嗎？

德瓦爾凱什·帕特爾：還有一點很不可思議，那就是人工智能緩慢起步的感覺竟然如此正常。想想我們之前計劃將GDP的1%投資于人工智能，我覺得這應該是一件大事，但現在卻感覺……

伊利亞·蘇茨克維爾：事實證明，我們很快就能習慣一些事情。但這同時也有點抽象。這意味著什么呢？這意味著你會在新聞里看到某某公司宣布了某某金額的融資。你看到的就只有這些。到目前為止，你還沒有真正感受到其他任何形式的影響。

德瓦爾凱什·帕特爾：我們真的應該從這里開始嗎？我覺得這是一個很有意思的討論。

伊利亞·蘇茨克維爾：當然。

德瓦爾凱什·帕特爾：我認為你的觀點，即從普通人的角度來看，一切都沒有太大的不同，即使在奇點到來之后也仍然成立。

伊利亞·蘇茨克維爾：不，我不這么認為。

德瓦爾凱什·帕特爾：好的，有意思。

伊利亞·蘇茨克維爾：我之前提到的那種感覺，就是感覺沒什么不同，比如說，某某公司宣布了一筆數額巨大的投資，金額之大令人難以置信。我覺得沒人知道該怎么應對這筆投資。

但我認為人工智能的影響終將顯現。人工智能將會滲透到經濟的各個領域。這將受到非常強大的經濟力量的推動，我認為其影響將會非常顯著。

德瓦爾凱什·帕特爾：你預計何時會產生影響？我認為這些模型看起來比它們所暗示的經濟影響要更智能。

伊利亞·蘇茨克維爾：是的。這正是目前這些模型最令人困惑的地方之一。如何解釋它們在評估中表現如此出色這一事實？你看那些評估結果，會覺得“這些評估相當嚴格”。它們的表現確實非常出色。但經濟影響似乎卻遠遠滯后。這很難理解，一方面，模型能做出如此驚人的預測，另一方面，在某些情況下，它們又會重復同樣的錯誤兩次？

舉個例子，假設你用Vibe Code來做某件事。你去某個地方，然后遇到了一個bug。你告訴模型：“你能修復一下這個bug嗎？”模型說：“我的天哪，你說得太對了。我的確遇到了一個bug。讓我去修復它。”

然后它又引入了第二個bug。接著你告訴它：“你又遇到了第二個bug。”它又說：“我的天哪，我怎么會犯這種錯誤？你又說對了。”然后它又把第一個bug放了回來，你可以交替地在這兩個bug之間切換。這怎么可能呢？我也不確定，但這確實表明有些奇怪的地方正在發生。

我有兩種可能的解釋。比較異想天開的解釋是，強化學習訓練可能使模型過于單一、過于狹隘，缺乏一定的感知能力，盡管它也在某些方面提升了模型的感知能力。正因如此，它們無法完成一些基本任務。

但還有另一種解釋。以前人們進行預訓練的時候，訓練數據的選擇問題已經有了答案，因為答案就是所有數據。預訓練需要所有數據，所以你不需要考慮是用哪些數據。

但是，當人們進行強化學習訓練時，他們確實需要思考。他們會說：“好的，我們希望針對這個事物進行這種強化學習訓練，針對那個事物進行那種強化學習訓練。”

據我所知，所有公司都有團隊負責創建新的強化學習環境，并將其添加到訓練組合中。問題是，這些環境究竟是什么？自由度如此之高。你可以創建種類繁多的強化學習環境。

有一件事你可以做，那就是人們會從評估結果中汲取靈感。你會想：“嘿，我希望我們的模型發布時表現非常出色。我希望評估結果看起來很棒。什么樣的強化學習訓練可以幫助我們完成這項任務呢？”我認為這種情況確實存在，而且它或許可以解釋很多正在發生的事情。

如果將這一點與模型泛化能力不足的情況結合起來，就有可能解釋我們所看到的很多現象，即評估性能與實際現實世界性能之間的脫節，而我們今天甚至還不理解這種脫節意味著什么。

德瓦爾凱什·帕特爾：我喜歡這種觀點，即真正的獎勵機制被濫用的是那些過于關注評估結果的人類研究人員。

我認為有兩種方法可以理解或思考你剛才提出的觀點。第一種方法是，如果一個模型僅僅在編程比賽中表現得像超人一樣，并不會自動變得更有品味，也不會對如何改進代碼庫做出更好的判斷，那么你應該擴展測試環境，使其不僅僅局限于在編程比賽中的最佳表現。它還應該能夠針對特定需求（例如 X、Y 或 Z）開發出最佳的應用程序。

另一種觀點，或許這正是你想表達的，那就是：“為什么在編程競賽中取得超人般的成績，就不能讓你成為一個更優秀的程序員呢？”或許正確的做法并非一味地增加比賽環境的數量和種類，而是找到一種方法，讓你能夠從一種環境中學習，并提升你在其他環境中的表現。

伊利亞·蘇茨克維爾：我有一個可能對你有幫助的類比。既然你提到了算法競賽，我們就以它為例。假設有兩個學生，其中一個學生立志成為最優秀的算法競賽選手，于是他投入一萬個小時練習這個領域。他會解決所有問題，記住所有證明技巧，并且能夠快速準確地實現所有算法。通過這種方式，他最終成為了頂尖選手之一。

二號學生心想：“哦，編程競賽真酷。”也許他練習了100個小時，甚至更少，但他也取得了非常好的成績。你認為哪位學生將來在職業生涯中會發展得更好？

德瓦爾凱什·帕特爾：第二個。

伊利亞·蘇茨克維爾：沒錯。我覺得基本上就是這樣。這些模型更像第一個學生，甚至更勝一籌。因為我們會說，這個模型應該擅長算法競賽，所以我們會收集所有曾經出現過的算法競賽題目。然后我們進行一些數據增強，這樣我們就有了更多的算法競賽題目，并用這些題目進行訓練。現在，你就得到了一個非常優秀的算法競賽選手。

我覺得用這個比喻更容易理解。沒錯，如果它訓練得這么好，所有不同的算法和證明技巧它都能輕松掌握。但更直觀的是，即使它具備了這種能力，也未必能推廣到其他領域。

德瓦爾凱什·帕特爾：那么，第二個學生在進行 100 小時的精細調整之前所做的事情，又該如何類比呢？

伊利亞·蘇茨克維爾：我覺得他們具備那種“特質”。那種“特質”。我記得我讀本科的時候，有個學生就是這樣，所以我知道這種特質是存在的。

德瓦爾凱什·帕特爾：我認為區分“它”和預訓練本身的作用很有意思。理解你剛才說的預訓練不需要選擇數據，其實可以把它理解為和一萬小時的練習很相似。只不過這一萬小時的練習是免費的，因為它已經存在于預訓練數據分布中了。但也許你的意思是預訓練的泛化能力其實并不強。預訓練的數據量雖然很大，但它的泛化能力并不一定比強化學習更好。

伊利亞·蘇茨克維爾：預訓練的主要優勢在于：A，數據量非常龐大；B，你無需費心考慮應該使用哪些數據進行預訓練。這些數據非常自然，包含了人們的許多行為特征：人們的想法和許多個人特征。它就像是人們將整個世界投射到文本上的過程，而預訓練正是試圖利用海量數據來捕捉這種投射。

預訓練很難理解，因為很難明白模型是如何依賴預訓練數據的。模型出錯時，會不會是因為某些信息恰好沒有得到預訓練數據的充分支持？“預訓練的支持”或許只是個不太準確的說法。我不知道還能補充什么有用的信息。我認為人類的某些行為方式與預訓練并無直接對應。

情緒，是一種價值函數

德瓦爾凱什·帕特爾：以下是一些人們提出的關于人類“前期訓練”的類比。我很想聽聽你們的看法，為什么這些類比可能存在問題。一種類比是思考一個人生命的前18年、15年或13年，這段時間他們未必具有經濟生產力，但他們所做的事情讓他們更好地理解世界等等。另一種類比是將進化想象成一場持續30億年的探索，最終形成了人類的一生。

我很好奇你是否認為這兩者類似于預先訓練。如果不是預先訓練，你會如何看待人類終身學習？

伊利亞·蘇茨克維爾：我認為這兩者與預訓練有一些相似之處，預訓練試圖同時扮演這兩者的角色。但我認為它們之間也存在一些很大的差異，預訓練數據的數量非常非常龐大。

德瓦爾凱什·帕特爾：是的。

伊利亞·蘇茨克維爾：不知何故，即使人類擁有預訓練數據的一小部分，經過15年的訓練，他們所掌握的知識仍然遠不及人工智能。但無論他們掌握了什么，他們的理解都更加深刻。到了那個年紀，你都不會犯人工智能會犯的錯誤。

還有一點。你可能會問，這會不會跟進化有關？答案是也許吧。但就這件事而言，我認為進化論可能更有優勢。我記得讀過相關的案例。神經科學家了解大腦的一種方法是研究大腦不同區域受損的人。有些人會出現你想象不到的奇怪癥狀。這真的很有意思。

我想到一個相關的案例。我讀到過一個人，他腦部受損，可能是中風或意外事故，導致他喪失了情感處理能力。所以他不再能感受到任何情緒。他仍然能言善辯，也能解一些簡單的謎題，考試成績也一切正常。但他感覺不到任何情緒。他不會感到悲傷，不會感到憤怒，也不會感到興奮。不知何故，他變得極其不擅長做任何決定。他甚至要花幾個小時才能決定穿哪雙襪子。他在財務方面也會做出非常糟糕的決定。

這說明我們與生俱來的情感在使我們成為合格的行動主體方面扮演著怎樣的角色？說到你提到的預訓練，如果你能充分發揮預訓練的優勢，或許也能達到同樣的效果。但這似乎……嗯，預訓練是否真的能達到這種效果還很難說。

德瓦爾凱什·帕特爾：“那”是什么？顯然不僅僅是情緒。它似乎是一種類似價值函數的東西，告訴你任何決定的最終回報應該是什么。你認為這不會在某種程度上隱含在預訓練中嗎？

伊利亞·蘇茨克維爾：我覺得有可能。我只是說這并非百分之百確定。

德瓦爾凱什·帕特爾：你如何看待情緒？機器學習中情緒的類比是什么？

伊利亞·蘇茨克維爾：它應該是一種價值函數之類的東西。但我認為目前還沒有很合適的機器學習類比，因為價值函數在人們的實際行為中并沒有扮演非常重要的角色。

德瓦爾凱什·帕特爾：如果你想這樣做，或許有必要向聽眾解釋一下什么是價值函數。

伊利亞·蘇茨克維爾：當然，我很樂意這么做。目前強化學習的訓練方法很簡單，人們是如何訓練這些智能體的呢？首先，你需要一個神經網絡，然后給它一個問題，并告訴模型“去解決這個問題”。模型可能需要成千上萬次的動作、思考或其他操作，最終生成一個解決方案。然后，這個解決方案會被評分。

然后，這個分數會被用來為你的軌跡中的每一個動作提供訓練信號。這意味著，如果你正在執行一個持續時間很長的任務——如果你正在訓練一個需要很長時間才能解決的任務——那么在你找到建議的解決方案之前，它根本不會進行任何學習。這就是強化學習的簡單實現方式。這就是O1和R1 的實現方式。

價值函數表達的意思類似于：“我或許有時（但并非總是）能告訴你你做得好還是不好。”價值函數的概念在某些領域比其他領域更有用。例如，下棋時你剛丟了一個子。其實不用把整盤棋都走完，你就能立刻判斷——剛才那步是壞棋；而既然這步是錯的，那它之前的一連串布局和思路，多半也都偏了。

價值函數的作用，就是讓系統在中途就能發出這種“提前預警”，而不是等到終局才知道全局是否失敗。假設你正在進行某種數學運算或編程，并試圖探索某個特定的解決方案或方向。經過大約一千步的思考后，你得出結論，這個方向沒有希望。

在你得出這個結論的那一刻，你就可以提前一千步收到獎勵信號，也就是在你決定沿著這條路徑前進的時候。也就是說，在你真正想出解決方案之前很久，你就已經告訴自己：“下次遇到類似情況，我不應該再走這條路了。”

德瓦爾凱什·帕特爾：DeepSeek R1 論文指出，軌跡空間龐大且復雜，導致模型很難從中間軌跡與最終價值之間學到穩定的映射。這一點在現實任務中非常常見。

例如，在編程中，你可能會有錯誤的想法，然后你會回頭修改，然后再修改一些東西。

伊利亞·蘇茨克維爾：這聽起來像是對深度學習缺乏信心。雖然很難，但我確信深度學習沒有上限。“預期價值函數”這個概念非常強大，未來一定會被重用。

那個情感中樞失控的案例其實揭示了一個真相：人類的價值判斷情感，這就是在我們基因里的底層代碼中演化出來的。這種“情感關鍵點”，或許就是我們在社會中正常運轉的基石。

德瓦爾凱什·帕特爾：這正是我要問你的問題。關于價值函數中的情感因素，確實有一點非常有趣，那就是它們既實用又相當容易理解，這一點令人印象深刻。

伊利亞·蘇茨克維爾：我有兩點思考。首先，與我們正在構建的復雜人工智能相比，人類的情感機制其實意外地“簡單”。簡單到我們的未來甚至可能直接畫出它的“底層圖譜”，這本身就是一件很酷的事。

其次，這里存在一個“復雜度與成熟性”的博弈：復雜的東西可能非常有用，但簡單的東西才更有泛化性。我們的情感大多繼承自遠古的價值資源祖先，只是在進化中經過了迭代。正因為它的機制足夠簡單、基礎，才能具備極強的泛化能力，幫助我們在與祖先完全不同的現代社會中依然有效運作。

實際上，它們也會犯錯。例如，我們的情緒……嗯，其實我也不知道。饑餓算是一種情緒嗎？這還有待商榷。但我認為，舉個例子，在這個食物豐富的世界里，我們憑直覺感受到的饑餓感并不能正確地引導我們。

Scaling Laws結束了，AI重回研究時代？

德瓦爾凱什·帕特爾：人們一直在討論數據擴展、參數擴展和計算擴展。有沒有更通用的擴展思路？還有哪些擴展維度？

伊利亞·蘇茨克維爾：這里有一個我認為相當關鍵的觀察。

過去的機器學習更多依賴研究者“不斷試錯”。大家嘗試各種模型和技巧，希望從中撞出一些有趣的結果——這是典型的“研究驅動時代”。

直到規模化法則出現。一旦人們意識到“只要把模型變大、數據變多、算力變強，性能就會上升”，整個行業立刻統一了方向。“規模化”這個詞之所以強大，就在于它直接告訴所有人：要做的就是擴大規模。而當你進一步追問“那我們到底要把什么放大”，答案很明確——預訓練。

預訓練的突破在于，它提供了一套可復用的“配方”。你只要準備足夠的數據、算力和一個能撐住規模的神經網絡結構，就幾乎可以保證性能持續提升。這是一種極低風險的投入方式。相比之下，投資基礎研究困難得多：你只能說“各位研究人員，請去探索、去創新”，至于能不能做出來，全靠運氣。而規模化預訓練幾乎是“確定產出”。

從一些人在推特上的言論來看，Gemini 似乎找到了一種更有效地利用預訓練的方法。然而，預訓練終究會耗盡數據。數據顯然是有限的。接下來該怎么辦？要么進行某種強化預訓練，采用與以往不同的方法，要么進行強化學習，或者采取其他方法。

但如今計算能力如此龐大，某種程度上來說，我們又回到了研究時代。

或許可以換個說法，2012年至2020年，也就是2020年之前，是研究的時代。而現在，從2020年到2025年，是規模化的時代。

現在規模如此龐大。人們真的會認為，“哦，規模這么大，但如果規模擴大100倍，一切都會截然不同”嗎？當然會有所不同。但人們真的認為只要規模擴大100倍，一切都會改變嗎？我不這么認為。所以，我們又回到了研究時代，只不過多了大型計算機而已。

德瓦爾凱什·帕特爾：這真是個很有意思的說法。不過，我想問問你剛才提出的問題：我們究竟在擴展什么？制定一個“配方”又意味著什么？我猜想，在預訓練階段，數據、計算量、參數和損失之間似乎不存在某種清晰的、近乎物理定律的關系。我們究竟應該追求什么樣的關系？又該如何構思這個新的“配方”呢？

伊利亞·蘇茨克維爾：我們已經見證了規模化方式的轉變，從預訓練轉向強化學習（RL），現在人們正在擴展強化學習。

根據推特上的討論，目前強化學習的計算資源消耗量超過了預訓練，因為強化學習本身就非常消耗計算資源。強化學習需要進行非常長的迭代，因此生成這些迭代需要大量的計算資源。而每次迭代的學習量相對較小，所以強化學習確實會消耗大量的計算資源。

但我并不認為這能算作真正的“擴展”。換句話說，我會更傾向于問一句：

“你現在做的事情，是利用計算資源最有效率的方法嗎？”

我們之前討論過價值函數業務。也許一旦人們精通了價值函數，他們就能更有效地利用資源。未來如果出現一種全新的訓練范式，它一定會面臨同樣的質疑：

“這是真正意義上的擴展，還是只是更昂貴的計算浪費？”

在今天這個階段，兩者之間的界線正變得越來越模糊。

從某種意義上說，過去的科研時代是這樣的：

“我們試試這個，再試試那個……哦，居然出了點有意思的東西。”

我認為這種狀態會重新回來。

德瓦爾凱什·帕特爾：如果我們回到研究時代，我們最需要思考的是方案中的哪一部分？你提到價值函數，人們已經在嘗試現有的方案，但同時也引入了LLM作為評判者等等。你可以說這就是價值函數，但聽起來你似乎有更深層次的想法。我們是否應該重新思考預訓練，而不僅僅是在流程末尾添加更多步驟？

伊利亞·蘇茨克維爾：關于價值函數的討論，我覺得很有意思。我想強調的是，我認為價值函數能夠提高強化學習的效率，而且我認為這確實會帶來顯著的改變。但我覺得任何可以用價值函數實現的功能，不用價值函數也能實現，只是速度會慢一些。我認為最根本的一點是，這些模型的泛化能力遠不如人類。這一點顯而易見，而且似乎是一個非常根本的問題。

/ 04 /

為什么人類比AI更擅長概括？

德瓦爾凱什·帕特爾：所以，關鍵就在這里：泛化能力。這里有兩個子問題。第一個是關于樣本效率的：為什么這些模型需要比人類多得多的數據才能學習？

第二個問題是，即使撇開數據量不談，為什么教模型理解我們想要的東西比教人類要難得多？對人類來說，我們并不一定需要可驗證的獎勵才能……你現在可能正在指導一群研究人員，你和他們交流，給他們看你的代碼，并向他們展示你的思考方式。他們從中學習你的思維方式以及他們應該如何進行研究。

你不需要為他們設定可驗證的獎勵，比如“好的，這是課程的下一部分，這是你課程的下一部分。哦，這次培訓不太穩定。” 不需要這種繁瑣的定制流程。或許這兩個問題實際上在某種程度上是相關的，但我很想探討第二個問題（更像是持續學習），以及第一個問題（感覺就像是樣本效率）。

伊利亞·蘇茨克維爾：你或許會想，人類樣本效率高的一個可能解釋是進化。進化賦予了我們少量但最有用的信息。對于視覺、聽覺和運動能力這類能力，我認為有充分的理由相信進化賦予了我們很多。

舉個例子。人類在靈巧度上的優勢是巨大的。當然，如果你在模擬環境里讓機器人經歷海量訓練，它們最終也能變得靈活。但要讓機器人像人類一樣在現實世界里快速掌握一項新技能，目前仍是非常遙遠的目標。

你可能會說：“那是因為我們在運動能力上有強大的先驗。”的確，我們的祖先必須具備高超的動作與平衡能力才能生存下來——想想松鼠那樣的靈敏性。因此，人類在運動和協調方面天生擁有某種深層次的結構優勢。

你也可以用同樣的道理來解釋視覺。我記得Yann LeCun說過，孩子們練習10個小時就能學會開車，這沒錯。但我們的視覺能力也很強。

至少對我來說，我還記得自己五歲的時候，那時我對汽車非常著迷。我確信，五歲時我對汽車的認知能力就已經足以勝任駕駛工作了。五歲的孩子接觸到的信息量非常有限。他們大部分時間都待在父母家，所以接觸到的信息種類非常匱乏。

但你也可以說，這或許也是進化的一種表現形式。但在語言、數學和編程領域，可能并非如此。

德瓦爾凱什·帕特爾：它似乎仍然比模型更好。顯然，模型在語言、數學和編程方面都比普通人強。但它們在學習方面也比普通人強嗎？

伊利亞·蘇茨克維爾：是的，語言、數學和編程都表明，使人們擅長學習的因素可能并非復雜的先決條件，而是更根本的東西。

德瓦爾凱什·帕特爾：我不太明白。為什么會這樣呢？

伊利亞·蘇茨克維爾：因此，當我們看到人類在某項技能上表現得極其可靠時，一個合理的推斷是：如果這項能力在數百萬、甚至數億年的進化過程中對我們的祖先至關重要，那么人類之所以擅長它，很可能源于某種深層的進化先驗——某種被隱秘編碼在我們認知與身體結構中的“默認能力”。

但如果人類在一個極其新近才出現的領域中，也能展現出高度的能力、穩定性和學習效率，那就更說明問題。這樣的能力很難靠漫長的自然選擇塑造而來，更可能反映的是：人類本身就具備更強的通用學習機制，一種類似“更先進的機器學習系統”的能力。

德瓦爾凱什·帕特爾：我們應該如何理解它？機器學習的類比是什么？它有幾個有趣的特點。它需要的樣本更少，而且更傾向于無監督學習。一個青少年學開車也不是在獲得某種預先設定的、可驗證的獎勵。它的成功來自于他們與機器和環境的互動。它需要的樣本少得多，似乎更傾向于無監督學習，而且似乎更穩健？

伊利亞·蘇茨克維爾：人類的韌性要強得多。人類的韌性真是令人震驚。

德瓦爾凱什·帕特爾：你有沒有一個統一的思路來解釋為什么所有這些事情會同時發生？有沒有一個機器學習的類比可以解釋類似的情況？

伊利亞·蘇茨克維爾：你之前提過一個問題：青少年駕駛員為何能在沒有外部指導的情況下，自我糾正并從經驗中快速學習？

原因在于，他們擁有自己的價值體系，即一種對“好”與“壞”“做得對”與“做得錯”的內在感知。這種普遍的感知能力在人類身上極其強大——除了少數與成癮相關的例外，它幾乎是穩定而可靠的。

因此，當一個青少年第一次上路時，他們能立刻“感覺到”自己的表現：哪里不穩、哪里不自信、哪里明顯開得不好。這種即時反饋會促使他們不斷調整。

再加上青少年極快的學習速度，大約十個小時左右，他們就能從完全不熟練，進步到可以獨立駕駛。

德瓦爾凱什·帕特爾：人類似乎找到了某種解決方案，但我很好奇他們是如何做到的，以及為什么會這么難？我們需要如何重新構思訓練模型的方式才能實現這樣的目標？

伊利亞·蘇茨克維爾：這是個非常好的問題，我其實有很多想法。不過遺憾的是，我們如今所處的環境并不允許所有機器學習的理念被公開討論，而你提到的方向正屬于這類敏感話題之一。

我只能說，我認為它在原理上是可行的，而且某些人對這個議題的態度本身，就已經暗示了它的可行性。至于具體怎么實現，也許是可以做到的——但這部分恐怕不適合在公開場合展開。

不過，可能還存在另一個障礙，那就是人類神經元的計算能力可能比我們想象的要強。如果真是如此，而且這確實發揮著重要作用，那么事情可能會更加復雜。但無論如何，我認為這確實指向某種機器學習原理的存在，而我對這種原理有一些自己的看法。可惜的是，由于種種原因，我很難對此進行深入探討。

/ 05 /

規模化扼殺了所有創新空間

德瓦爾凱什·帕特爾：我很好奇。如果我們真的回到科研時代，現在的氛圍會是什么樣的呢？

例如，即使在AlexNet之后，用于運行實驗的計算量仍然持續增長，前沿系統的規模也持續擴大。您認為如今的研究時代是否仍然需要大量的計算資源？您是否認為需要重新翻閱歷史文獻，閱讀舊論文？

你曾在谷歌、OpenAI 和斯坦福大學等地工作過，那時科研氛圍比較濃厚。我們應該對社區未來的發展抱有怎樣的期待？

伊利亞·蘇茨克維爾：規模化時代的一個后果是，規模化扼殺了所有創新空間。正因為規模化扼殺了所有創新空間，每個人都開始做同樣的事情。我們最終陷入了公司數量遠超創意數量的困境。

事實上，硅谷有一句老話：創意不值錢，執行力才是關鍵。人們經常這么說，而且這話不無道理。但我后來在推特上看到有人說：“如果創意這么便宜，為什么沒人有創意呢？” 我覺得這話也很有道理。

如果從瓶頸的角度來看待科研進展，就會發現存在好幾個瓶頸，其中一個是想法，另一個是將想法付諸實踐的能力，這可能涉及到計算能力，也可能涉及到工程技術。

比如說，回到上世紀90年代，當時有些人有很多不錯的想法，如果他們擁有更強大的計算機，或許就能證明這些想法的可行性。但當時他們沒有這樣的計算機，所以只能進行非常小規模的演示，根本無法說服任何人。因此，當時的瓶頸在于計算能力。

在規模化時代，計算能力大幅提升。當然，我們需要多少計算資源是個問題，但計算資源的確非常龐大。龐大到什么程度呢？你很難一眼看出為了驗證某個想法是否真的需要那么多計算資源。

我舉個例子。AlexNet 只用了兩塊GPU構建，這就是它使用的全部計算資源。Transformer模型則用了 8 到 64 塊 GPU。

2017 年，沒有一篇 Transformer 論文的實驗使用了超過 64 塊 GPU，這相當于現在的兩塊 GPU 吧？ResNet也一樣，對吧？你可能會說，o1 推理并不是世界上最耗費計算資源的算法。

所以，科研肯定需要一定的計算能力，但這并不意味著科研就需要絕對最多的計算能力。你可能會說（而且我認為這是事實），如果你想構建絕對最好的系統，那么擁有更強大的計算能力當然是有幫助的。尤其是在所有人都遵循相同范式的情況下，計算能力就成了重要的差異化因素之一。

德瓦爾凱什·帕特爾：我問你這段歷史，是因為你當時就在現場。我不太清楚當時究竟發生了什么。聽起來好像可以用極少的計算資源來實現這些想法。但Transformer模型并沒有立刻成名。它之所以能成為大家的入門工具，是因為它在越來越高的計算資源下都得到了驗證，然后才開始在此基礎上進行實驗和擴展。

伊利亞·蘇茨克維爾：正確的。

德瓦爾凱什·帕特爾：如果SSI有 50 個不同的想法，在沒有其他前沿實驗室所擁有的那種計算能力的情況下，你怎么知道哪個是下一個變革性的想法，哪個是脆弱的呢？

伊利亞·蘇茨克維爾：我可以就此補充一些看法。具體來說，對我們 SSI 而言，用于研究的計算資源其實比外界想象的要多得多。我來解釋為什么。

首先，SSI 已經籌集了 30 億美元，這本身就是一筆極其可觀的投入。你可能會說：“別的公司融資更大。”沒錯，但它們的大部分算力預算都被嚴格指定用于推理——也就是直接服務于產品的在線部署。這是一筆必須花的成本。

其次，如果你要構建一款需要大規模推理部署的產品，你還得配備龐大的工程、銷售與產品團隊。大量資金和精力會被投入到產品功能、平臺搭建、商業化流程等工程環節里。真正能留給基礎研究的資源，其實并沒有想象中那么多。

把這些因素都算進去，你會發現：看似融資規模差距巨大，但實際可用于研究的算力差距并沒有那么懸殊。

德瓦爾凱什·帕特爾：據公開估計，像 OpenAI 這樣的公司每年僅在實驗上的花費就高達 50 億至 60 億美元。這還不包括他們在推理等方面的投入。所以看起來，他們每年用于研究實驗的花費比你們的總經費還要多。

伊利亞·蘇茨克維爾：我認為關鍵不在于你擁有多少算力，而在于你如何使用它。真正的區別就在這里。

對其他公司而言，他們對訓練算力的需求要大得多：工作流更復雜、模態更多、要兼顧的方向也更多。結果就是，資源被分散到無數子任務里，整體變得支離破碎。

而這正是差異所在——不是算力的絕對規模，而是算力能否被集中地、有效地投入真正重要的方向。

德瓦爾凱什·帕特爾：SSI將如何盈利？

伊利亞·蘇茨克維爾：目前，我們只專注于研究，答案自然會水到渠成。我認為會有很多可能的答案。

德瓦爾凱什·帕特爾：SSI的計劃仍然是直接研發超級智能嗎？

伊利亞·蘇茨克維爾：也許吧。我覺得這有道理。我認為好處很多，因為不受日常市場競爭的影響非常好。但我認為有兩個原因可能會促使我們改變計劃：

一是出于務實的考慮，如果時間表最終被證明是漫長的，而這種情況很有可能發生。二是我認為讓最先進、最強大的人工智能造福世界具有巨大的價值。我認為這是一件意義非凡的事情。

德瓦爾凱什·帕特爾：那么，為什么你們的默認方案是直接研發超級智能呢？因為聽起來像OpenAI、Anthropic以及其他所有這些公司，他們明確的想法是：“看，我們研發出的智能體越來越弱，公眾可以逐漸適應并做好準備。” 為什么直接研發超級智能可能更好呢？

伊利亞·蘇茨克維爾：我會分別闡述正反兩方面的觀點。支持的觀點是，人們在市場競爭中面臨的挑戰之一就是不得不參與激烈的市場競爭。這種競爭非常艱難，因為它迫使你做出艱難的權衡。

但反對的觀點也同樣成立，而且這兩種觀點截然相反。反對的觀點是：“讓世界看到強大的人工智能是有益的。因為這是向世界展示人工智能的唯一途徑。”

德瓦爾凱什·帕特爾：我想，你不僅能傳達這個想法。

伊利亞·蘇茨克維爾：傳達的是人工智能本身，而不是它的理念，傳達的是人工智能。

德瓦爾凱什·帕特爾：你說的“與人工智能溝通”是什么意思？

伊利亞·蘇茨克維爾：假設你寫了一篇關于人工智能的文章，文章里寫道：“人工智能將會是這樣，人工智能將會是那樣，它還會是這樣的。”

你讀完后覺得：“嗯，這是一篇有趣的文章。”現在假設你看到人工智能在做這個，在做那個。你會發現兩者根本無法比較。我認為，人工智能走向大眾化會帶來巨大的好處，這也是我們不應該過于武斷的原因之一。

德瓦爾凱什·帕特爾：我想甚至可能并非如此，但我確實認為這是其中重要的一部分。另一個點是，我想不出人類工程和研究領域還有哪個學科，其最終產品的安全性主要體現在思考如何使其安全上，而不是像現在這樣，每英里飛機墜毀率比幾十年前低得多。為什么現在在Linux系統中查找漏洞比幾十年前難得多？我認為這主要是因為這些系統已經部署到世界各地。人們發現了故障，這些故障得到了糾正，系統也變得更加健壯。

我不確定通用人工智能（AGI）和超人類智能為何會有所不同，尤其考慮到——我希望我們最終能探討到這一點——超級智能的危害似乎不僅僅是擁有一個邪惡的回形針那么簡單。它確實非常強大，我們甚至不知道該如何設想人們會如何與之互動，以及人們會用它做什么。逐步普及似乎是分散其影響、幫助人們做好準備的更好方法。

/ 06 /

AGI不是一種能力，而是一個動態演化的系統

伊利亞·蘇茨克維爾：我認為，即便要直接部署，也應該采取循序漸進的方式。這幾乎是任何計劃的內在結構：第一步是什么，先推出什么，再逐步迭代，這本身就是部署的一部分。

接下來，我想談你更強調的另一點——持續學習。通用人工智能（AGI），以及預訓練（pre-training）。

先說“通用人工智能”。這個詞并不是因為它深刻描述了某種最終的智能形態才存在的，我認為它的意義更像是對另一個詞——“狹義人工智能”（narrow AI）——的回應。

回到人工智能的早期歷史：跳棋AI、國際象棋AI、游戲AI……每當它們取得突破，人們都會說：“這是狹義人工智能。是的，它能擊敗卡斯帕羅夫，但它只會下棋，別的不會。”

于是，“AI 過于狹窄”的批評催生了另一個概念：“我們需要的是一種能做所有事情的智能。” AGI 就是在這樣的語境下被提出來，隨后迅速流行開來。

第二個例子是“預訓練”。尤其是預訓練的具體方法，它讓大家形成了一個非常鮮明的印象：預訓練越多，模型在幾乎所有方面都會變強。可以說，預訓練造就了當代意義上的“通用人工智能”。

但這兩個詞的問題在于，它們把概念推得太遠了。如果你認真思考“AGI”這個概念，尤其是在預訓練的范式下，就會意識到：人類其實根本不是 AGI。

人類確實具備一套基礎能力，但我們的知識儲備極其有限；我們真正依賴的是 持續學習 ——不斷在世界中試錯、修正、積累。

因此，當你設想“我們成功了，造出一個安全的超級智能”，真正的問題就變成：

你如何定義它？它在持續學習曲線上的哪個位置？

也許它更像是一個天賦極高的 15 歲少年：對世界理解有限，但學習速度快、好奇心強、能很快掌握新領域。你不會把這樣一個少年直接當作成品丟進社會，而是會讓他在真實環境中繼續學習、試錯、成長。

從這個角度看，部署本身就會包含一個學習與適應的過程。它不是一次性產出的成品，而是一個動態演化的系統。

德瓦爾凱什·帕特爾：我明白了。你的意思是，你所說的超級智能并非指某種已經具備所有技能、能夠勝任經濟領域所有工作的成熟思維。因為像最初的OpenAI章程或其他對通用人工智能（AGI）的定義那樣，它似乎可以完成人類能夠做的所有工作。而你提出的超級智能則是一種能夠學習完成所有工作的思維。

伊利亞·蘇茨克維爾：是的。

德瓦爾凱什·帕特爾：但是一旦你有了學習算法，它就可以像人類工人加入組織一樣部署到世界各地。

伊利亞·蘇茨克維爾：確切地。

德瓦爾凱什·帕特爾：似乎這兩種情況中的一種可能會發生，也可能兩種都不會發生。第一種情況是，這種超高效的學習算法變得超乎常人，在機器學習研究方面達到甚至超越你的水平。結果就是，算法本身變得越來越強大。

另一方面，即便上述情況沒有發生，如果你有一個單一的模型——這顯然是你的設想——在這個模型的實例被部署到經濟體系中，從事不同的工作，學習如何完成這些工作，在工作中不斷學習，掌握任何人類都能掌握的所有技能然后將它們的學習成果融合起來，那么你基本上就擁有了一個功能上超級智能的模型，即使軟件中沒有任何遞歸式的自我改進機制。因為你現在擁有了一個可以勝任經濟體系中所有工作的模型，而人類無法以同樣的方式融合彼此的思維。那么，你是否期待這種模型的廣泛部署會帶來某種智能爆炸？

伊利亞·蘇茨克維爾：我認為我們很可能會迎來快速的經濟增長。關于人工智能的廣泛應用，我認為存在兩種相互矛盾的觀點。

一種觀點認為，一旦人工智能發展到能夠快速學習并完成任務的程度，并且數量眾多，那么就會出現一股強大的力量將其部署到經濟領域，除非有某種監管措施阻止這種行為——順便說一句，這種監管措施很可能存在。

但我認為，在廣泛部署的情況下，經濟在一段時間內實現高速增長的可能性非常大。真正困難的是預測增長的幅度會有多大。

原因在于，一方面，人工智能本身是一種高度高效的勞動形式；但與此同時，我們正處在一個奇特的時點：人工智能的能力足以影響幾乎所有類型的任務，而它的部署成本在迅速下降。因此，經濟高速增長的可能性確實存在。

更復雜的是，不同國家的政策與監管路徑會產生巨大差異。那些制度環境更友好、更愿意接納人工智能的國家，可能會迎來明顯更快的增長；而限制更多的地區則發展更緩慢。

這一切都讓整體趨勢變得難以預測。但可以確定的是，當 AI 以接近勞動力倍增器的形式進入經濟時，高速增長將成為一個現實可能性，而不是遙遠假設。

/ 07 /

追求對生命體有關懷的AI

德瓦爾凱什·帕特爾：在我看來，這確實是一個非常危險的局面。從理論上講，這應該是可能的。如果你擁有某種學習能力堪比人類，卻能融合自身大腦——以人類無法做到的方式融合不同實例——那么這在物理上應該是完全可能的。人類是可能的，數字計算機也是可能的。你只需要將兩者結合起來就能創造出這種東西。

這種東西似乎威力無窮。經濟增長是其中一種說法。戴森球本身就能帶來巨大的經濟增長。但換個角度來說，你可能在很短的時間內……你在SSI雇傭員工，六個月后，他們很可能就能產生凈生產力。人類學習速度非常快，而這東西也在以驚人的速度變得越來越智能。你認為如何才能讓它順利進行？為什么SSI有能力做到這一點？我真正想問的是，SSI在這方面的計劃是什么。

伊利亞·蘇茨克維爾：我的思維方式發生了轉變，其中一個方面是我現在更加重視人工智能的逐步部署和提前規劃。人工智能最大的困難之一，是我們討論的是一種尚未存在的系統，而人類天然不擅長想象不存在的事物。

當前的現實是：我們很難真正“感受”通用人工智能（AGI）的存在。圍繞 AGI 的許多爭論，其實都源于這種想象力的缺失：未來的人工智能會以一種我們目前難以理解的方式變得強大，而其核心問題，從始至終都是——力量本身。

當力量足夠強大時，會發生什么？

過去一年，我的看法在這里發生了很大變化，這種變化——坦率地說——可能會影響到我們公司的計劃。如果一個系統難以被想象，那你必須讓它被看見。

我認為，大多數從事人工智能工作的人也無法想象它，因為它與人們日常生活中所見的事物截然不同。

我仍然堅持我的判斷，并且愿意給出一個預測：隨著人工智能的能力持續增強，人類的行為方式將隨之發生改變許多今天還不存在的現象，會在未來逐漸出現。

首先，前沿公司與政府將在其中扮演核心角色。你已經能看到一些早期信號——曾經的競爭對手開始在 AI 安全方面合作。OpenAI 和 Anthropic 已經邁出了第一步，而在幾年前，這是不可想象的。我在三年前的演講中就預測過這一趨勢。隨著 AI 能力的顯現，政府與公眾的參與意愿也會迅速增強。展示 AI 的真實能力，是促使社會行動的重要力量。

第二，AI 公司對“安全”的態度會發生根本轉變。今天的研究者往往覺得 AI “還不夠強”，因為它仍會犯許多錯誤。但我認為，總有一天，當 AI 的力量變得不可忽視時，行業對安全的認知將徹底反轉——謹慎會成為共識。我預測這一定會發生，因為屆時人們將親眼看到 AI 能力的躍升，而不是停留在對當下系統的想象里。

第三，從更廣泛的角度來看，有一個問題值得思考：企業到底應該構建什么？長期以來，行業沉迷于一個中心理念——“構建能自我改進的 AI”。原因簡單：真正具有突破性的創意遠比企業的數量稀少。

然而，我認為，還有更值得追求的方向。我指的是一種核心目標明確的人工智能：

它的中心不是自我升級，而是對所有具有感知能力的生命體表現出關懷。

從某種意義上講，構建這樣一種 AI 要比構建只關心“人類生命”的 AI 更容易。原因在于：AI 本身也是一種具備某種感知形式的系統。

就像鏡像神經元使人類能夠對動物產生同理心一樣，同情與關懷往往來自模擬他者——而最節能、最高效的模擬方式，就是使用模擬“自我”的那套認知回路。

因此，這條路徑并非遙遠的抽象設想，而是建立在人類認知機制基礎上的、一條更自然的技術路線。

德瓦爾凱什·帕特爾：所以，即便我們設法讓人工智能具備對“有感知能力生命體”的關懷——事實上，如果陣營問題（alignment）能夠解決，我并不確定這是否真的是我們該追求的最終方向——問題仍然存在。

原因在于：未來絕大多數有感知能力的生命體，都將是人工智能本身。

從這個角度看，如果我們的目標是確保“人類”在未來文明中擁有主導地位，那么將“關懷所有有感知生命體”作為標準，可能就不是最優解。因為在這樣的設定下，AI 的利益會天然占據絕對權重，而人類的份額會變得極小。

伊利亞·蘇茨克維爾：沒錯。這可能不是最佳標準。我想說兩點。第一，關愛有感知能力的生命，我認為這一點很重要，應該考慮在內。第二，我認為如果能有一個包含各種建議的清單，供公司在遇到這種情況時參考，那就很有幫助了。

第三，我認為如果能以某種方式限制最強大的超級智能體的能力，將會非常有益，因為這可以解決很多問題。至于如何做到這一點，我還不確定，但我認為，當我們談論真正強大的系統時，這將非常有幫助。

德瓦爾凱什·帕特爾：在我們繼續討論對齊問題之前我想先追問一個更根本的問題：在智能的頂端，還有多少“空間”？我們到底應該如何理解超級智能？

你認為，如果運用學習效率的概念，它是不是只是學習新技能或新知識的速度極快？或者它只是擁有更龐大的策略庫？是否存在一個位于中心、更強大或更龐大的單一“它”？如果是這樣，你認為它相對于人類文明的其他部分會像神一樣嗎？還是僅僅感覺像是另一個主體，或者另一個主體群？

伊利亞·蘇茨克維爾：在這個領域，不同的人有不同的直覺。我認為它肯定會非常強大。我認為最有可能的情況是，多個這樣的AI會幾乎同時被創造出來。

我認為，如果集群足夠大，比如集群的規模堪比一個大陸——那么它確實會非常強大。如果集群的規模真的達到一個大陸級別，那么這些AI就會非常強大。我只能說，如果你談論的是極其強大的AI，真正意義上的強大，那么最好能以某種方式限制它們，或者達成某種協議之類的。

超級智能真正令人擔憂的地方在于：當一個系統強大到足以決定一切時，即便它的目標是善意的，我們仍可能不喜歡它給出的結果。這就是問題的癥結所在。

或許，答案在于你無法以通常意義上的方式構建強化學習智能體。我指出幾點：

我認為人類是半強化學習智能體。我們追求某種獎勵，然后情緒或其他因素讓我們對這種獎勵感到厭倦，于是我們又去追求另一種獎勵。市場是一種目光短淺的智能體。進化也是如此。進化在某些方面非常智能，但在另一些方面卻非常愚蠢。政府被設計成三個部門之間永無休止的斗爭，而這會產生影響。所以我認為諸如此類的事情……

讓這場討論變得困難的另一個原因是，我們討論的是尚不存在的系統，我們不知道該如何構建它們。

我認為，人們現在所做的一切會取得一定進展，然后逐漸衰落。它會不斷改進，但永遠不會是“最終版本”。我們不知道該如何構建“最終版本”，而很多關鍵在于理解可靠的泛化方法。

一致性難以達成的原因之一，可能在于我們理解人類價值觀的能力本身就很脆弱。更進一步，我們“優化這些價值觀”的能力也同樣脆弱，因為這些價值觀本身是在“學習如何優化”的過程中逐漸形成的。

這就引出一個反思：難道這些價值觀不是一些不可靠的概括嗎？為什么人類似乎比其他系統更擅長這種概括？但這些問題目前仍然無法解答。

德瓦爾凱什·帕特爾：如何想象人工智能發展順利的樣子？你已經展望了人工智能可能的發展方向。我們將擁有這類持續學習的智能體。人工智能將非常強大。或許會出現許多不同的人工智能。你如何看待大量體量堪比大陸的計算智能體？這有多危險？我們如何降低這種危險？我們又該如何做到這一點，才能在可能存在失衡的人工智能和惡意行為者的情況下，維護一種平衡？

伊利亞·蘇茨克維爾：這也是我喜歡“關愛有感知生命的 AI”這個概念的原因之一。至于它究竟好不好，可以討論。但如果最早出現的那一批強大系統——前 N 個——真的能夠關心、愛護人類或其他有感知的生命，那么這就是必須實現的能力。只要前 N 個系統具備這種傾向，我相信至少在相當長的一段時間里，局面都會是穩定而有利的。

那么更長期會發生什么？如何維持長期均衡？我認為是有答案的，盡管我并不喜歡它。

從短期看，一個擁有強大 AI 的世界可能出現“全民高收入”：人人生活更好，財富與能力被極大放大。但佛教說過，“變化是唯一不變的”。政治結構、政府形態都會隨著時間更新換代，沒有任何體制是永恒的。

長期來看，有一種設想是：每個人都擁有一個為自己行動的 AI。這當然很好，若能永續更是理想。但問題在于，這可能讓人類逐漸失去參與感。AI 會替你賺錢，為你爭取政治利益，再把結果寫成一份簡短報告：“事情已經處理好了。”

而你只需回答：“很好，繼續。”從主體性來看，這是一種危險的局面。

我并不喜歡另一種方案，但它確實是一個可行的答案：

讓人類通過某種 Neuralink++ 式的接口，成為“半人工智能”。

這樣，人類與 AI 可以共享理解、共享情境。AI 能理解的，你也能理解；它的體驗可以完整傳遞到你身上。只有在這種深度耦合下，人類才能繼續成為未來文明的“參與者”，而不是被 AI 代理的旁觀者。

在我看來，這才可能是長期均衡的答案——盡管它令人不安。

德瓦爾凱什·帕特爾：我想知道，數百萬年前（甚至在很多情況下是數十億年前）在完全不同的環境中形成的情感，是否仍然如此強烈地指導著我們的行為，這是否是協調一致的成功例證。

為了更清楚地說明我的意思——我不知道稱之為價值函數還是獎勵函數更準確——腦干有一個指令，它會說：“和更成功的人交配。”大腦皮層理解在現代語境下成功的含義。但腦干能夠協調大腦皮層，并說：“無論你如何定義成功——我沒那么聰明，無法理解那是什么——你仍然要遵循這個指令。”

伊利亞·蘇茨克維爾：我認為這里還有一個更普遍、但也更神秘的現象：進化究竟是如何把“高級欲望”編碼進人類的？

對于某些低層次的驅動，我們很容易理解。比如對香味食物的渴望：氣味是一種具體的化學信號，進化要讓我們追求這種信號并不難想象。

但進化同樣賦予了我們各種高度抽象的社交欲望，我們強烈在意別人怎么看我們，渴望獲得社會認可，追求地位與聲望。

問題是：進化是如何做到這一點的？進化似乎能對大腦說一句非常明確的指令：“這就是你應該在乎的。”

而且它做得極其高效。我們今天珍視的那些復雜社會現象——地位、聲譽、群體接受度——從進化時間尺度上看都極其新近。但進化卻把這些高層次的欲望輕而易舉地寫進了我們的價值體系，讓它們像吃甜食或聞到危險一樣“自然”。

至于它究竟是如何實現的，我現在還沒有令人滿意的解釋。我曾經試圖推導一些機制，但都不夠充分。

德瓦爾凱什·帕特爾：尤其令人印象深刻的是，欲望是你后天習得的，這很合理，因為你的大腦很智能。你能習得智能欲望也合情合理。也許這并非你的重點，但理解這一點的一種方式是，欲望根植于基因組之中，而基因組本身并不智能。但你卻能夠描述這種特性。你甚至不清楚自己是如何定義這種特性的，而且你還能將其構建到基因中。

伊利亞·蘇茨克維爾：從基因組的視角，它更像是一份“構建大腦的工程配方”。它可以輕松寫下這樣的規則：“把多巴胺神經元連到嗅覺受體上；如果某種氣味觸發這個回路，就產生愉悅感。”這種機制我們很好理解。

難點在于另一類欲望：那些依賴于大腦大范圍、高維度計算的復雜社會直覺。很難想象基因組可以直接告訴大腦：“你應該關心這些抽象的、分布式的高層計算結果。”這對基因來說似乎太復雜了。

我有一個推測，但它多半是錯的：進化可能利用了大腦區域的“地理結構”來寫入高層意愿。

大腦皮層雖然在微觀上均質，但它被組織成多個區塊，因為神經元主要與鄰近神經元交流。語音、視覺、社交推斷等不同功能，各自聚在特定區域。更重要的是，不同人的大腦，這些區域的位置基本一致。

因此，或許進化通過硬編碼某些地理坐標來傳遞價值：“當大腦中這個固定區域被激活時，你應該在意它。”這符合進化的邏輯，它不需要理解那塊區域具體在計算什么，只需要把“位置”作為代理信號。

德瓦爾凱什·帕特爾：是的，雖然也有一些例子，比如先天失明的人，他們大腦皮層的失明區域會被其他感官所取代。我不知道，但如果大腦皮層的不同區域被其他感官所取代，那些需要視覺信號的欲望或獎勵功能是否會失效，我會感到驚訝。

例如，如果你失去了視力，你還能感受到你想讓周圍的人喜歡你等等這種感覺嗎？通常情況下，這些感覺也會有視覺線索。

伊利亞·蘇茨克維爾：我完全同意。我認為這個理論還有更強有力的反駁論點。有些人童年時期切除了半個大腦，但他們仍然保留著所有的大腦區域。然而，這些區域卻都以某種方式集中到了大腦的一側半球，這表明大腦區域的位置并非固定不變，因此這個理論是不成立的。

如果這是真的就好了，可惜不是。這的確是個有趣的謎。事實是，進化不知怎么地賦予了我們非常可靠地關注社會事務的能力。即使是那些患有各種奇怪精神疾病、缺陷和情緒問題的人，也往往很關心這些。

/ 08 /

研究品味，來自于對“美”的執著

德瓦爾凱什·帕特爾：SSI 有什么與眾不同的計劃？想必你們的目標是成為時代前沿的公司之一。想必你們創辦 SSI 的初衷是：“我認為我有一種方法可以安全地完成這項工作，而其他公司沒有。” 那么，這種不同之處究竟是什么？

伊利亞·蘇茨克維爾：我的理解是，我有一些想法，我覺得很有前景，我想研究一下，看看它們是否真的有前景，就這么簡單。這只是一次嘗試。如果這些想法——我們之前討論過的關于理解概括性的想法——最終被證明是正確的，那么我認為我們會有所收獲。

他們的觀點最終會被證實嗎？我們正在進行調研。我們是一家名副其實的“研究型企業”。我們正在取得進展。事實上，過去一年我們取得了相當不錯的進展，但我們需要繼續取得更多進展，進行更多研究。我是這么認為的。我認為這是一種嘗試，一種發出聲音、參與其中的方式。

德瓦爾凱什·帕特爾：您的聯合創始人兼前任首席執行官最近去了 Meta ，有人問：“如果公司取得了很多突破性進展，這似乎不太可能發生。” 我想知道您對此有何回應。

伊利亞·蘇茨克維爾：為此，我只想簡單回顧幾個可能已被遺忘的事實。我認為這些事實能幫助我們理解當時的處境。當時我們正在以320億美元的估值進行融資，之后Meta提出收購我們，我拒絕了。但我的前聯合創始人某種程度上同意了。結果，他也因此獲得了大量的短期流動資金，而且他是SSI唯一一位加入Meta的人。

德瓦爾凱什·帕特爾：聽起來SSI的計劃是成為一家在人類歷史上這個擁有超人類智能的重要時期處于前沿的公司。他們有一些關于如何有效利用超人類智能的想法。但其他公司也會嘗試他們自己的想法。SSI在有效利用超人類智能方面的獨特之處是什么？

伊利亞·蘇茨克維爾：SSI 的主要特點在于其技術方法。我們采用了一種我認為很有價值且行之有效的獨特技術方法，我們正在努力推進。

我認為最終各種策略會趨于一致。隨著人工智能變得越來越強大，我認為在某個時刻，各種策略會趨于一致，屆時每個人都會或多或少地清楚地認識到應該采取什么策略。這大概就是：你需要找到某種相互溝通的方式，并且你希望你的第一個真正意義上的超級智能人工智能能夠協調一致，并且以某種方式關愛有感知能力的生命，關愛人類，秉持民主的理念，或者兼具其中之一。

我認為這是每個人都應該努力追求的目標，也是SSI正在努力的方向。我相信這一次，即便其他公司還沒有意識到，他們也會明白自己正在朝著同一個目標努力。我認為隨著人工智能的日益強大，世界將會發生翻天覆地的變化。一切都將截然不同，人們的行為方式也會發生巨大的改變。

德瓦爾凱什·帕特爾：說到預測，你對你所描述的這個系統有什么預測？這個系統可以像人類一樣學習，并最終變得像人類一樣強大。

伊利亞·蘇茨克維爾：我覺得大概還需要5到20年吧。

德瓦爾凱什·帕特爾：我只是想闡述一下你對未來世界的看法。比如說，未來幾年，其他公司繼續沿用目前的做法，最終會停滯不前。“停滯不前”是指他們的營收不會超過幾千億美元嗎？你覺得“停滯不前”意味著什么？

伊利亞·蘇茨克維爾：我認為停滯不前的情況會是……所有公司的情況都會非常相似。我不確定，因為我覺得即使停滯不前，這些公司也能獲得驚人的收入。也許利潤不會很高，因為他們需要努力使彼此之間產生差異化，但收入肯定不會低。

德瓦爾凱什·帕特爾：但你的模型中似乎暗示，當正確的解決方案出現時，所有公司之間都會趨于一致。我很想知道你為什么會這么認為。

伊利亞·蘇茨克維爾：我主要指的是他們在戰略協調方面的趨同。我認為最終他們在技術方法上也可能趨同，但我指的是戰略協調方面的趨同。

德瓦爾凱什·帕特爾：目前，我們有很多不同的公司，您期望他們的方法能夠繼續創造收入，但卻無法實現像人類一樣的學習能力。所以現在出現了很多不同的公司分支。有您，有Thinking Machines ，還有很多其他的實驗室。也許其中一家會找到正確的方法。但那樣的話，他們產品的發布就會讓其他人明白該怎么做。

伊利亞·蘇茨克維爾：我認為具體該怎么做還不清楚，但可以肯定的是，另一種可能性是存在的，那就是信息。人們會試圖弄清楚它是如何運作的。

不過，我認為這里沒有提及或討論的一點是，隨著人工智能能力的不斷提升，我認為某些方面會發生改變，但我并不清楚具體會是哪些改變，以及事物運作方式的改變。我認為這很重要，但我無法具體說明它究竟是什么。

德瓦爾凱什·帕特爾：按理說，采用這種模式的公司應該獲得所有這些收益，因為他們的模式讓他們積累了全球范圍內所需的技能和知識。那么，有什么理由認為這些收益會廣泛傳播，而不僅僅是最終落入率先建立起這種持續學習循環的模式公司手中呢？

伊利亞·蘇茨克維爾：以下是我認為接下來會發生的情況。首先，我們回顧一下以往人工智能的發展歷程。一家公司率先研發出先進技術，其他公司則在一段時間后迅速跟進，推出類似產品，并在市場上展開競爭，最終導致價格下降。因此，我認為從市場角度來看，類似的情況也會在人工智能領域重演。

順便說一句，我們談論的是理想世界。什么是理想世界？在理想世界里，我們擁有這些強大的、類人學習者，而且……順便說一句，關于超級人工智能的規范，或許還有一點我們沒討論過，我認為值得考慮。

那就是，如果你把它的功能限定在特定領域，它既可以很有用，也可以功能狹窄。你可以擁有許多功能狹窄的超級人工智能。

但假設你有很多這樣的領域，并且有一家公司從中獲得了豐厚的利潤。然后另一家公司進入市場，開始與之競爭。競爭的方式是通過專業化。你在市場中可以看到這一點，在進化過程中也可以看到。

你會看到許多不同的細分市場，也會有許多不同的公司占據不同的細分市場。在這個世界里，我們可能會說，一家人工智能公司在某個非常復雜的經濟活動領域表現出色，而另一家公司在另一個領域更勝一籌，還有其他家公司則非常擅長訴訟。

德瓦爾凱什·帕特爾：這難道不與類人學習的含義相矛盾嗎？類人學習的含義是它能夠學習……

伊利亞·蘇茨克維爾：確實可以，但你已經積累了豐富的知識。你投入了大量資源。你耗費了大量的計算資源，才在這個領域變得如此精通，如此卓越。

其他人也投入了大量的計算資源和經驗，才在其他領域變得如此出色。你運用了大量的學習方法才達到現在的成就，但你現在已經達到了一個很高的水平，其他人可能會說：“聽著，我不想再去學習你已經學到的東西了。”

德瓦爾凱什·帕特爾：我想這需要很多不同的公司同時從類人持續學習智能體入手，這樣它們才能在不同的分支上開始各自的樹狀搜索。但如果一家公司率先獲得了這個智能體，或者說率先獲得了這個學習器，那么看起來……嗯，如果你仔細想想經濟中的所有工作崗位，讓一個實例學習每個崗位對一家公司來說似乎是可行的。

伊利亞·蘇茨克維爾：這確實是一個合理的論點。但我強烈的直覺告訴我，事情不會這么發展。理論上，理論和實踐沒有區別。但實際上，它們是有區別的。我認為這件事就是其中之一。

德瓦爾凱什·帕特爾：許多人的遞歸自我改進模型實際上明確指出，服務器中將有上百萬個伊利亞，他們會提出不同的想法，這將導致超級智能迅速出現。

你對你正在做的事情的并行化程度有什么直覺嗎？復制 Ilya 有什么好處？

伊利亞·蘇茨克維爾：我不知道。我覺得肯定會有收益遞減，因為你需要的是思維方式不同的人，而不是思維方式相同的人。如果只是復制我一個人，我不確定還能增加多少價值。你需要的是思維方式不同的人。

/ 09 /

自我博弈和多智能體

德瓦爾凱什·帕特爾：為什么即使查看完全不同的公司發布的、使用可能不重疊的數據集訓練的不同模型，LLM 之間的相似度也高得驚人？

伊利亞·蘇茨克維爾：也許這些數據集并不像看起來那樣完全不重疊。

德瓦爾凱什·帕特爾：但從某種意義上說，即使單個人類的生產力可能不如未來的人工智能，人類團隊的多樣性或許也比人工智能團隊更高。我們如何才能在人工智能中實現有意義的多樣性？

伊利亞·蘇茨克維爾：我認為缺乏多樣性的原因在于預訓練。所有預訓練模型都大同小異，因為它們都是用相同的數據進行預訓練的。而強化學習和后訓練階段則開始出現差異，因為不同的人會提出不同的強化學習訓練方法。

德瓦爾凱什·帕特爾：我之前聽你暗示過，自博弈可以作為一種獲取數據或將智能體與其他同等智能體匹配以啟動學習的方法。我們應該如何看待目前還沒有公開的、將這種方法應用于學習生命周期模型（LLM）的提案呢？

伊利亞·蘇茨克維爾：我想說兩點。我認為自博弈之所以有趣，是因為它提供了一種僅使用計算資源而無需數據即可創建模型的方法。如果你認為數據是最終的瓶頸，那么僅使用計算資源就非常有趣。這就是它有趣的地方。

問題在于，自我博弈，至少在過去那種方式下，即讓不同的個體相互競爭，只對培養某些特定技能有益。它的適用范圍太窄了。它只對談判、沖突處理、某些社交技能、策略制定之類的東西有用。如果你重視這些技能，那么自我博弈就很有用。

不過，我認為自我博弈已經以另一種方式找到了新的位置。例如辯論、證明者—驗證者機制，其中包含一種“LLM 作為裁判”的結構，而裁判本身也有動力去尋找錯誤、拆解漏洞。這可能不算嚴格意義上的自我博弈，但它確實是一種相關的對抗結構，而且正在被廣泛使用。

從更寬泛的角度看，自我博弈只是主體之間競爭的一種特殊形式。競爭的自然結果，是推動差異化。如果你把多個主體放在一起，對他們說：“你們都要解決同一個問題，彼此可以觀察對方的做法。” 那么主體們立刻就會想：

“如果大家都在用同一種方法，那么我是否也該這樣做就不確定了。我應該找到別的路徑。”

因此，即便不是直接的自我博弈，只要有競爭結構存在，它就能激勵主體不斷尋找新的方法，從而產生多樣性與創新。

德瓦爾凱什·帕特爾：最后一個問題：什么是研究品味？您顯然是公認的人工智能研究領域品味最高的人。您曾參與撰寫深度學習歷史上一些最重要的成果，例如 AlexNet 和 GPT-3 等等。您的研究品味是什么？您如何描述自己產生這些想法的過程？

伊利亞·蘇茨克維爾：我可以就此發表一些看法。我認為不同的人會采取不同的方法。對我個人而言，指導我的一個原則是，人工智能應該具有怎樣的美學特征，那就是思考人類的本質，但要以正確的方式思考。我們很容易錯誤地思考人類的本質，但正確地思考人類的本質又意味著什么呢？

我舉幾個例子。人工神經元的概念直接來源于大腦，而且這個想法很棒。為什么呢？因為大腦有很多不同的器官，有褶皺，但褶皺可能并不重要。為什么我們認為神經元很重要呢？因為神經元數量眾多。這種想法似乎合情合理，所以我們需要神經元。我們需要一些局部學習規則來改變神經元之間的連接。大腦似乎也能夠做到這一點。

大腦能做到從經驗中學習，因此我們的神經網絡也應該從經驗中學習。這些并非附屬性質，而是“事情本該如此”的基礎結構。

這類來自大腦的啟發，對我有很強的指引作用。它們推動我從多個角度追求一種接近“純粹”的美——美、簡潔、優雅，以及合乎大腦結構的靈感。只有這些元素同時出現時，你才會對一種方法有真正的自信。而這種自信，就是所謂的自上而下的信念。

它的作用在于：當實驗結果與你的直覺或理論相沖突時，它能支撐你繼續前進。如果總是盲目依賴數據，你可能會在正確的道路上被一些噪聲或漏洞絆倒，卻不知道該堅持還是轉向。

自上而下的信念告訴你：“事情應該以這種方式運作；這種方法一定存在某種內在正確性。”

正是這種信念，讓你愿意繼續調試、繼續探索，而不是輕易放棄。這種信念本質上來自一個來源：

人類大腦中蘊含的深層智慧，以及它帶給人工智能設計的啟發。

PS：如果你對AI大模型領域有獨特的看法，歡迎掃碼加入我們的大模型交流群。