前 OpenAI 聯(lián)創(chuàng) Ilya Sutskever：未來，AI 公司可能根本賺不到利潤 |【經(jīng)緯低調(diào)分享】

當AI領(lǐng)域仍沉浸于規(guī)模擴張的路徑依賴時，前OpenAI首席科學家、頂尖科學家Ilya Sutskever的離職后首份深度訪談，為行業(yè)敲響了轉(zhuǎn)向的警鐘。這位見證AI從研究時代邁入擴展時代的核心親歷者，以18個犀利觀點撕開行業(yè)迷霧，直指當前技術(shù)瓶頸與未來破局關(guān)鍵。

Ilya明確宣告Scaling時代終結(jié)，單純百倍算力提升難換模型質(zhì)的飛躍，真正桎梏在于泛化能力遠遜人類。他提出“情感價值函數(shù)”或?qū)⒊蔀樾沦惖篮诵模@種類人類情感的評估機制能提升強化學習效率，填補當前訓練反饋滯后的短板。從編程競賽案例剖析模型“死記硬背”的局限，到點出評測分數(shù)與真實表現(xiàn)的巨大斷層，他層層拆解AI看似聰明背后的能力缺陷。

談及行業(yè)未來，他預判同質(zhì)化競爭將壓縮規(guī)模型企業(yè)利潤，細分領(lǐng)域?qū)I(yè)化成破局關(guān)鍵；超級智能或在5-20年內(nèi)雛形初現(xiàn)，而終極目標是構(gòu)建關(guān)愛所有感知生命的對齊系統(tǒng)。這份兼具技術(shù)深度與人文關(guān)懷的思考，為AI從規(guī)模競賽轉(zhuǎn)向價值深耕提供了全新坐標系，也讓業(yè)界重新審視技術(shù)演進的本質(zhì)與方向。以下，Enjoy：

本文來自微信公眾號：Founder Park、一只小茄墩

這是前 OpenAI 首席科學家 Ilya Sutskever，在離開 OpenAI 后最完整的一次深度訪談。

• Scaling 時代已經(jīng)結(jié)束了，單純把規(guī)模擴大 100 倍，也不會帶來模型能力質(zhì)的變化。

• 當前，真正的瓶頸不在于算力，而是模型的泛化能力遠不如人類。

• 逐步部署和讓世界感受 AI 的能力，比純粹的思考更重要。

• 最終對齊的目標是，讓超級智能真正關(guān)心和感知所有生命，因為未來的「感知體」大多數(shù)會是 AI 自己。

• 「情感」作為一種價值函數(shù)，未來一定會被廣泛使用。簡單的東西，往往能在更廣泛的情境下發(fā)揮作用。

• 未來，這些按照「盲目擴大規(guī)模」路子來走的 AI 公司也許能獲得驚人的收入，但不一定有利潤，因為需要費勁地在同質(zhì)化競爭中尋找差異化。

在與 Dwarkesh Patel 長達一個半小時的對談中，Ilya 分享了他對于當下的 LLM 研究、如何實現(xiàn) ASI、研究品味、未來 AI 公司的競爭等方面的思考，同時回應(yīng)了對于其創(chuàng)業(yè)公司 SSI 的未來規(guī)劃。

干貨非常多。基于完整的原對談內(nèi)容，F(xiàn)ounder Park 整理了其中最精彩的 18 個問答，希望能夠幫你快速、但深入地理解 Ilya 到底講了什么以及他在思考什么。

部分原對話內(nèi)容參考自賬號「一只小茄墩」的編譯內(nèi)容。

01

Scaling 時代已經(jīng)結(jié)束了，

接下來是研究時代

我們到底在「擴展」什么？

其實我們擴展的是預訓練（Pre-training），這是一套特定的擴展配方。

預訓練帶來的最大突破，就是讓我們意識到這套配方真的很棒。你會發(fā)現(xiàn)：只要把一些算力、一些數(shù)據(jù)，扔進一個特定大小的神經(jīng)網(wǎng)絡(luò)里攪拌一下，就能出結(jié)果。而且你很清楚，只要把這個配方按比例放大，效果一定會更好。大公司愛死這個了，因為這提供了一種風險極低的資源投資方式。

但到了某個節(jié)點，預訓練的數(shù)據(jù)總會用光的。數(shù)據(jù)顯然是有限的。所以，現(xiàn)在搞一種魔改版的預訓練，去做強化學習或者其他。

現(xiàn)在算力規(guī)模已經(jīng)很大了，真的非常大。僅僅把規(guī)模擴大 100 倍就能帶來質(zhì)的飛躍嗎？我不這么認為。所以，從某種意義上說，我們又回到了研究時代。

從 2012 年到 2020 年，是研究時代；從 2020 年到 2025 年，是擴展時代。

新配方會是著什么？

「情感」價值函數(shù)。也許等大家把價值函數(shù)玩明白了，利用資源的效率就會大大提升。如果你找到了一種全新的模型訓練方法，你會說這是擴展嗎？還是僅僅是使用資源？我覺得界限開始變得模糊了。

回想當年的研究時代，大家的狀態(tài)是：試這幾個，再試那幾個。你看，好像有意思的事情發(fā)生了。我認為這種狀態(tài)將會回歸。

我想強調(diào)的是，我認為價值函數(shù)能讓強化學習變得更高效，這確實能帶來改變。但凡是能用價值函數(shù)做到的事，不用它也照樣能做，只不過速度會慢一些。

這些模型的泛化能力依然比人類差得遠。這才是一個非常根本的問題。

02

「情感」作為一種價值函數(shù)，

特別關(guān)鍵

「情感」價值函數(shù)是什么？

舉個例子，一個人因為中風或事故造成了某種腦損傷，導致他失去了情感處理能力，在做任何決策時都變得極其糟糕。

這說明人類內(nèi)置的情感對于讓我們成為一個能夠在這個世界上生存并有效行動的個體，起著至關(guān)重要的作用。

這種「情感」可以類比為大模型中的某種價值函數(shù)。但現(xiàn)階段，這種價值函數(shù)并沒有扮演非常核心的角色。

目前最樸素的強化學習做法是，要等任務(wù)全部做完后，才會打分反饋給整個過程中的每一個動作。這意味著，如果你在做一件耗時很長的事情，直到你提出最終方案之前，模型是學不到任何東西的。

但價值函數(shù)的作用是：不用等到最后，就能隨時告訴你現(xiàn)在做得是好是壞。價值函數(shù)能讓你能抄近道，省去了等待最終結(jié)果的時間。

這種價值函數(shù)是人類通用的一種感知能力，且這種能力極其穩(wěn)健。除了像藥物成癮這種極少數(shù)的例外，人類的價值函數(shù)非常可靠。

我的預期是，「情感」價值函數(shù)應(yīng)該是很有用的，而且我完全相信即使現(xiàn)在還沒普及，未來也一定會被廣泛使用。復雜的東西可能非常有用，但簡單的東西往往能在廣泛情境下發(fā)揮作用。

03

為什么人類的泛化能力遠超大模型？

為什么預訓練數(shù)據(jù)量雖然大，但并不一定比 RL更能帶來泛化？

AI 預訓練數(shù)據(jù)的數(shù)量是非常、非常驚人的。

我覺得，預訓練的主要優(yōu)勢在于：第一，量大管飽；第二，不需要費盡心思去挑數(shù)據(jù)。

它是非常自然的數(shù)據(jù)，包含了人類的所作所為、所思所想以及各種特征。就像是整個世界投射在文字上的倒影，而預訓練試圖用海量數(shù)據(jù)去捕捉這個倒影。

但預訓練很難去剖析，因為很難搞懂模型到底是以什么方式依賴這些預訓練數(shù)據(jù)的。每當模型犯錯，是不是純屬巧合，因為預訓練數(shù)據(jù)里剛好缺了這一塊的支持？預訓練支持這個詞可能不太嚴謹。這方面我也不知道還能補充什么有用的了。

我覺得預訓練這個過程，在人類身上找不到對應(yīng)的類比。

為什么模型的泛化能力，依然比人類差得很遠？

拿編程競賽舉例。

假設(shè)有兩個學生。學生 A 決定要成為最強的競賽程序員，于是狂練了 10,000 小時。他刷遍了所有題目，背下了所有解題技巧，能極其快速且正確地實現(xiàn)所有算法。他因此成了頂尖高手。

學生 B 覺得：噢，編程競賽挺酷的。也許只練了 100 小時，但也考得挺好。

現(xiàn)在的模型基本就是第一種學生，甚至有過之無不及。因為我們會說，模型得擅長編程競賽，那就把史上所有的競賽題都拿來。這還不夠，再搞點數(shù)據(jù)增強，造出更多題目來訓練。現(xiàn)在你得到了一個超級競賽程序員。既然它是靠死記硬背練出來的，掌握了所有算法和技巧，那它在其他事情上無法觸類旁通（泛化），也就是情理之中的事了。

泛化能力包含兩個子問題：一是樣本效率，二是為什么想教會模型我們想要的東西那么難，而教人類卻很容易。

人類的樣本效率極高，可能是來自進化。

進化把極少量、但最核心有用的信息賦予了人類，比如視覺、聽覺和運動能力。舉個例子，人類的靈巧度。現(xiàn)在的機器人如果放在模擬環(huán)境中進行海量訓練，也能變得很靈巧。但想在現(xiàn)實世界中訓練一個機器人，讓它像人一樣迅速掌握一項新技能，這目前還遙不可及。

在運動、視覺等方面，人類可能天生就帶著某種不可思議的先驗知識。但在語言、數(shù)學和編程等領(lǐng)域的能力說明，讓人類擅長學習的根本原因，可能不是復雜的進化先驗知識，而是人類單純就是擁有更好的機器學習算法，也就是前邊提到的「情感」價值函數(shù)。

04

模型的能力是「鋸齒狀」的

為什么現(xiàn)在的模型看起來很聰明，但實際能力跟不上？

這也是目前最讓人困惑的地方之一。

它們在評測（evals）上表現(xiàn)得那么好，另一方面又在某些情況下像復讀機一樣犯傻？

舉個例子，假設(shè)你用 Vibe coding 做點東西。你遇到一個 bug，告訴模型：請修好它。結(jié)果它修好了，但引入了第二個 bug。然后你告訴它：現(xiàn)在有新 bug 了。結(jié)果它改了回去，把第一個 bug 又帶回來了。就這樣在兩個 bug 之間反復橫跳。

我有兩個可能的解釋。

• 一是：也許是強化學習訓練讓模型變得有點過于一根筋、視野太窄了。雖然 RL 讓它們在某些方面變強了，但也讓它們在其他方面變得遲鈍，導致連基礎(chǔ)的事情都做不好。

• 二是：當年做預訓練的時候，關(guān)于用什么數(shù)據(jù)這個問題，答案很簡單：用所有數(shù)據(jù)。你不需要糾結(jié)選這個還是選那個，全都要就行。但在做強化學習訓練時，就得動腦子選了。你得決定：我們要在這個任務(wù)上用這種 RL，在那個任務(wù)上用那種 RL。據(jù)我所知，所有公司都有團隊專門制作新的 RL 環(huán)境，加到訓練混合料里。但問題是，這些環(huán)境是什么？選擇太多了，自由度太大了。

我覺得大家無意中做了一件事：從評測題中找靈感。我想讓模型發(fā)布時表現(xiàn)炸裂，我想讓評測分數(shù)好看，什么樣的 RL 訓練能提升這個任務(wù)的分數(shù)？

如果把這一點與模型泛化能力其實不足結(jié)合起來看，大概就能解釋我們看到的現(xiàn)象了：為什么評測分數(shù)和真實世界表現(xiàn)之間存在巨大的斷層。直到今天，我們甚至都沒完全搞懂這個斷層到底意味著什么。

Dwarkesh Patel 補充：

我覺得有兩種理解方式。

• 如果模型在編程競賽中變成超人，并不自動意味著它能寫出更有品味、更好的代碼架構(gòu)，那就應(yīng)該擴展訓練環(huán)境，不能只盯著編程比賽，還得看它能不能開發(fā)出最好的應(yīng)用程序 X、Y 或 Z。

• 另一點，帶來的思考是，也許正確的路子不是不斷堆砌訓練環(huán)境的數(shù)量和多樣性，而是找到一種方法，讓模型能從一個環(huán)境中學習，然后自然地提升在其他事情上的表現(xiàn)。

05

未來，AI 公司可能根本賺不到利潤

未來，繼續(xù)沿用現(xiàn)在的「不斷擴展規(guī)模」思路的公司會陷入停滯嗎？

我覺得即使技術(shù)停滯了，這些公司依然能賺取驚人的收入，但可能不一定有巨額利潤，因為他們得費勁地在同質(zhì)化競爭中尋找差異化。

我覺得未來事情會這樣發(fā)展。 一是，一家公司搞出了個突破，另一家公司趕緊跟進，過段時間也搞出了類似的東西，然后他們開始在市場上競爭，把價格打下來。

另一種是，可以把 AI 做得很專，依然可以既有用又超級聰明。可以擁有很多專才型的超級智能 AI。 假設(shè)你有很這種 AI，一家公司靠它們賺了很多錢。

然后另一家公司進來競爭。競爭的方式將是專業(yè)化。 在現(xiàn)在的市場上，你會看到很多不同的細分生態(tài)位，很多不同的公司占據(jù)著不同的生態(tài)位。 未來，不同的 AI 公司可能會分別專注在不同復雜的領(lǐng)域。

這種大規(guī)模部署 AI，會引發(fā)某種智能爆炸嗎？

我認為，大規(guī)模的部署 AI 很有可能會帶來經(jīng)濟的飛速增長。一旦你有了一個學得很快的 AI，并且擁有很多這樣的 AI，將其部署到經(jīng)濟體系中的動力會非常強。

但問題在于增長到底會有多快？這很難預料。因為一方面，你擁有非常高效的 AI ；但另一方面，世界太大了，實體事物很多，而且實體事物的運轉(zhuǎn)速度是不一樣的。

06

什么是好的研究品味？

什么是好的研究品味？

有一件事指引著我個人，那就是通過思考人是怎樣的，來形成關(guān)于 AI 應(yīng)該是怎樣的審美。但關(guān)鍵在于必須是正確的觀察。

我們需要從多個角度去審視，去尋找近乎美的東西——那種美感與簡潔感。

丑陋是沒有立足之地的。你需要的是美感、簡潔、優(yōu)雅，以及從大腦中汲取的正確靈感。所有這些要素必須同時存在。當它們重疊得越多，你就越能確信這種自頂向下的信念。

當你面對實驗結(jié)果的打擊時，就是這種自頂向下的信念在支撐著你。這種品味能讓你在實驗持續(xù)失敗、所有數(shù)據(jù)都說「你錯了」時，依然堅持調(diào)試而不是放棄。

這種自頂向下，建立在那多維度的美感和源自大腦的靈感之上。

07

最終要構(gòu)建的是一個能真正關(guān)心、感知生命的 AI

SSI 的計劃是什么？

我的思維方式發(fā)生了一些變化，我現(xiàn)在更看重在早期階段、漸進式地部署 AI。

談?wù)?AI 有個難點是我們在討論一些目前還不存在、很難想象的東西。在現(xiàn)實中，人們很難真切地感覺到通用人工智能（AGI）的存在。

既然大家想象不到，該怎么辦？你必須把東西做出來給大家看。我堅持認為，即使是大多數(shù) AI 從業(yè)者也想象不到未來的景象，因為那和我們?nèi)粘？吹降臇|西太不一樣了。

接下來，假設(shè) AI 被造出來了，我們要怎么做？

目前人們之所以感覺不到 AI 的強大，是因為它還會犯錯。但我相信，到了某個臨界點，AI 會開始讓人真正感覺到它的強大。當那一刻來臨時，所有 AI 公司對待安全的方式將發(fā)生巨變。

最終對齊的目標是什么？

未來，到底應(yīng)該立志造出什么樣的 AI？目前大家都被困在一個大概念里：自我進化的 AI。

但我堅持認為，更好的構(gòu)建目標是：一個真心實意關(guān)愛感知生命的 AI。制造一個關(guān)愛所有感知生命的 AI，可能比制造一個只關(guān)愛人類的 AI 更容易。因為未來的感知體大多數(shù)會是 AI 自己。

比如，鏡像神經(jīng)元（Mirror Neurons）和人類對動物的同理心。我認為這是一種涌現(xiàn)屬性，源于我們用模擬自己的大腦回路去模擬其他生物，因為這是最高效的處理方式。

08

超級智能什么時候來？

超級智能什么時候來？

未來 5-20 年，可能會有具備人類級別學習能力、能走向超智能的系統(tǒng)。

你怎么看待超級智能？

我認為超級智能肯定會非常強大。

我覺得最可能發(fā)生的情況是：如果算力集群足夠大，會有多個這樣的 AI 在大致相同的時間被創(chuàng)造出來。

但我們討論的是還不知道怎么造的系統(tǒng)。現(xiàn)在的路子能帶我們走一段，然后就會慢下來。它會繼續(xù)改進，但這還不是最終形態(tài)。這很大程度上取決于我們能否理解可靠的泛化。

對齊之所以難，是因為 AI 學習和優(yōu)化人類價值觀的能力都很脆弱。

你不覺得這些都是不可靠泛化的例子嗎？為什么人類的泛化能力強這么多？如果 AI 也能這么強，會發(fā)生什么？這些問題目前還無法回答。

我們?nèi)绾闻c人工智能實現(xiàn)長期平衡？

一種解決方案是：讓人類成為部分人工智能。這不是最理想的，但它彌合了理解的鴻溝，我們把 AI 的處境當作自己的體驗。

人類可能通過增強版 Neuralink 變成半 AI 生物。結(jié)果就是，AI 理解了什么，我們也理解了，因為這是全盤傳輸?shù)摹＿@樣一來，AI 處于某種情境，你也完全卷入其中。我認為這才是終極平衡的答案。

09

SSI 的未來規(guī)劃、目標和商業(yè)模式

SSI 打算怎么賺錢？

我的回答是：現(xiàn)階段，我們只專注于研究。這個問題的答案自然會浮現(xiàn)，我覺得會有很多種可能的答案。

SSI 的計劃依然是一步到位直通超級智能嗎？

也許吧。我覺得這個策略有它的優(yōu)點。最大的優(yōu)點是我們可以不受日常市場競爭的干擾。

但我覺得有兩個原因可能會讓我們改變計劃：

第一是務(wù)實的原因，如果研發(fā)時間線拉得特別長，這完全有可能。

第二，我認為讓最強大、最頂尖的 AI 盡早問世并影響世界，本身就有巨大的價值。這是一件非常有意義的事情。

但我認為即便是在最理想、最直接的情況下，我們也必須分階段發(fā)布模型。這種循序漸進是任何計劃中不可或缺的一部分。關(guān)鍵在于，你推出的第一款產(chǎn)品到底是什么，這是第一點。

第二點，持續(xù)學習非常重要。

比如，現(xiàn)在 AGI 和預訓練這兩個概念讓我們有點用力過猛了。如果你在預訓練的語境下思考 AGI 這個詞，你會發(fā)現(xiàn)人類其實并不是 AGI。人類有基礎(chǔ)技能，但我們?nèi)焙芏嘀R，持續(xù)學習很重要。

所以，當我們說假設(shè)我們要造出一個安全的超級智能時，怎么定義它呢？它在持續(xù)學習的曲線上處于什么位置？

這就好比我造出一個絕頂聰明的 15 歲少年，充滿干勁，雖然懂的不多，但是個好學生。我會對他說：去當個程序員，去當個醫(yī)生，去學習吧。所以，AI 的部署過程本身就是一個試錯和學習的時期，而不是直接丟一個完美的成品。

SSI 到底打算做些什么不同的事情？

我認為有一些想法非常有前景，我想去深入研究，驗證它們到底行不行。就這么簡單。這是一次嘗試。 如果這些想法，特別是我們討論過的關(guān)于理解泛化的那些，被證明是正確的，那我們將創(chuàng)造出非常有價值的東西。 它們會是正確的嗎？這就是我們在做研究的原因。

我們是一家徹頭徹尾處于研發(fā)時代的公司。

我們在過去一年其實取得了相當不錯的進展，但我們還需要更多進展，做更多研究。我是這么看的：這是一種嘗試，我們想在這個領(lǐng)域發(fā)出聲音，并參與其中。

SSI 最大的不同是什么？

SSI 最大的不同在于技術(shù)路線。我們有一種不同的技術(shù)方法，我認為它很有價值，我們正在全力以赴。 但我堅持認為，最終大家的技術(shù)路線都會發(fā)生收斂。 隨著 AI 變得越來越強大，每個人都會大概看清該采取什么策略。這會是一種共識：你需要找到某種方式讓 AI 之間能夠交流，你需要確保你的第一個真正的超級智能是對齊的，是關(guān)心感知生命的，是關(guān)心人類的，是民主的，或者是這些特質(zhì)的某種組合。 我認為這是每個人都應(yīng)該追求的狀態(tài)。這也是 SSI 正在追求的。我想，如果不算現(xiàn)在的話，在這個時刻到來時，所有其他公司也會意識到這也是他們的目標。 我認為隨著 AI 變強，世界將發(fā)生真正的巨變。事情會變得非常不同，人們的行為模式也會完全改變。

本文首發(fā)于公眾號：Founder Park，如需轉(zhuǎn)載請聯(lián)系微信：geekparker