前 OpenAI 聯(lián)創(chuàng) Ilya Sutskever：未來(lái)，AI 公司可能根本賺不到利潤(rùn) |【經(jīng)緯低調(diào)分享】

當(dāng)AI領(lǐng)域仍沉浸于規(guī)模擴(kuò)張的路徑依賴時(shí)，前OpenAI首席科學(xué)家、頂尖科學(xué)家Ilya Sutskever的離職后首份深度訪談，為行業(yè)敲響了轉(zhuǎn)向的警鐘。這位見證AI從研究時(shí)代邁入擴(kuò)展時(shí)代的核心親歷者，以18個(gè)犀利觀點(diǎn)撕開行業(yè)迷霧，直指當(dāng)前技術(shù)瓶頸與未來(lái)破局關(guān)鍵。

Ilya明確宣告Scaling時(shí)代終結(jié)，單純百倍算力提升難換模型質(zhì)的飛躍，真正桎梏在于泛化能力遠(yuǎn)遜人類。他提出“情感價(jià)值函數(shù)”或?qū)⒊蔀樾沦惖篮诵模@種類人類情感的評(píng)估機(jī)制能提升強(qiáng)化學(xué)習(xí)效率，填補(bǔ)當(dāng)前訓(xùn)練反饋滯后的短板。從編程競(jìng)賽案例剖析模型“死記硬背”的局限，到點(diǎn)出評(píng)測(cè)分?jǐn)?shù)與真實(shí)表現(xiàn)的巨大斷層，他層層拆解AI看似聰明背后的能力缺陷。

談及行業(yè)未來(lái)，他預(yù)判同質(zhì)化競(jìng)爭(zhēng)將壓縮規(guī)模型企業(yè)利潤(rùn)，細(xì)分領(lǐng)域?qū)I(yè)化成破局關(guān)鍵；超級(jí)智能或在5-20年內(nèi)雛形初現(xiàn)，而終極目標(biāo)是構(gòu)建關(guān)愛所有感知生命的對(duì)齊系統(tǒng)。這份兼具技術(shù)深度與人文關(guān)懷的思考，為AI從規(guī)模競(jìng)賽轉(zhuǎn)向價(jià)值深耕提供了全新坐標(biāo)系，也讓業(yè)界重新審視技術(shù)演進(jìn)的本質(zhì)與方向。以下，Enjoy：

本文來(lái)自微信公眾號(hào)：Founder Park、一只小茄墩

這是前 OpenAI 首席科學(xué)家 Ilya Sutskever，在離開 OpenAI 后最完整的一次深度訪談。

• Scaling 時(shí)代已經(jīng)結(jié)束了，單純把規(guī)模擴(kuò)大 100 倍，也不會(huì)帶來(lái)模型能力質(zhì)的變化。

• 當(dāng)前，真正的瓶頸不在于算力，而是模型的泛化能力遠(yuǎn)不如人類。

• 逐步部署和讓世界感受 AI 的能力，比純粹的思考更重要。

• 最終對(duì)齊的目標(biāo)是，讓超級(jí)智能真正關(guān)心和感知所有生命，因?yàn)槲磥?lái)的「感知體」大多數(shù)會(huì)是 AI 自己。

• 「情感」作為一種價(jià)值函數(shù)，未來(lái)一定會(huì)被廣泛使用。簡(jiǎn)單的東西，往往能在更廣泛的情境下發(fā)揮作用。

• 未來(lái)，這些按照「盲目擴(kuò)大規(guī)模」路子來(lái)走的 AI 公司也許能獲得驚人的收入，但不一定有利潤(rùn)，因?yàn)樾枰M(fèi)勁地在同質(zhì)化競(jìng)爭(zhēng)中尋找差異化。

在與 Dwarkesh Patel 長(zhǎng)達(dá)一個(gè)半小時(shí)的對(duì)談中，Ilya 分享了他對(duì)于當(dāng)下的 LLM 研究、如何實(shí)現(xiàn) ASI、研究品味、未來(lái) AI 公司的競(jìng)爭(zhēng)等方面的思考，同時(shí)回應(yīng)了對(duì)于其創(chuàng)業(yè)公司 SSI 的未來(lái)規(guī)劃。

干貨非常多。基于完整的原對(duì)談內(nèi)容，F(xiàn)ounder Park 整理了其中最精彩的 18 個(gè)問答，希望能夠幫你快速、但深入地理解 Ilya 到底講了什么以及他在思考什么。

部分原對(duì)話內(nèi)容參考自賬號(hào)「一只小茄墩」的編譯內(nèi)容。

01

Scaling 時(shí)代已經(jīng)結(jié)束了，

接下來(lái)是研究時(shí)代

我們到底在「擴(kuò)展」什么？

其實(shí)我們擴(kuò)展的是預(yù)訓(xùn)練（Pre-training），這是一套特定的擴(kuò)展配方。

預(yù)訓(xùn)練帶來(lái)的最大突破，就是讓我們意識(shí)到這套配方真的很棒。你會(huì)發(fā)現(xiàn)：只要把一些算力、一些數(shù)據(jù)，扔進(jìn)一個(gè)特定大小的神經(jīng)網(wǎng)絡(luò)里攪拌一下，就能出結(jié)果。而且你很清楚，只要把這個(gè)配方按比例放大，效果一定會(huì)更好。大公司愛死這個(gè)了，因?yàn)檫@提供了一種風(fēng)險(xiǎn)極低的資源投資方式。

但到了某個(gè)節(jié)點(diǎn)，預(yù)訓(xùn)練的數(shù)據(jù)總會(huì)用光的。數(shù)據(jù)顯然是有限的。所以，現(xiàn)在搞一種魔改版的預(yù)訓(xùn)練，去做強(qiáng)化學(xué)習(xí)或者其他。

現(xiàn)在算力規(guī)模已經(jīng)很大了，真的非常大。僅僅把規(guī)模擴(kuò)大 100 倍就能帶來(lái)質(zhì)的飛躍嗎？我不這么認(rèn)為。所以，從某種意義上說(shuō)，我們又回到了研究時(shí)代。

從 2012 年到 2020 年，是研究時(shí)代；從 2020 年到 2025 年，是擴(kuò)展時(shí)代。

新配方會(huì)是著什么？

「情感」價(jià)值函數(shù)。也許等大家把價(jià)值函數(shù)玩明白了，利用資源的效率就會(huì)大大提升。如果你找到了一種全新的模型訓(xùn)練方法，你會(huì)說(shuō)這是擴(kuò)展嗎？還是僅僅是使用資源？我覺得界限開始變得模糊了。

回想當(dāng)年的研究時(shí)代，大家的狀態(tài)是：試這幾個(gè)，再試那幾個(gè)。你看，好像有意思的事情發(fā)生了。我認(rèn)為這種狀態(tài)將會(huì)回歸。

我想強(qiáng)調(diào)的是，我認(rèn)為價(jià)值函數(shù)能讓強(qiáng)化學(xué)習(xí)變得更高效，這確實(shí)能帶來(lái)改變。但凡是能用價(jià)值函數(shù)做到的事，不用它也照樣能做，只不過(guò)速度會(huì)慢一些。

這些模型的泛化能力依然比人類差得遠(yuǎn)。這才是一個(gè)非常根本的問題。

02

「情感」作為一種價(jià)值函數(shù)，

特別關(guān)鍵

「情感」價(jià)值函數(shù)是什么？

舉個(gè)例子，一個(gè)人因?yàn)橹酗L(fēng)或事故造成了某種腦損傷，導(dǎo)致他失去了情感處理能力，在做任何決策時(shí)都變得極其糟糕。

這說(shuō)明人類內(nèi)置的情感對(duì)于讓我們成為一個(gè)能夠在這個(gè)世界上生存并有效行動(dòng)的個(gè)體，起著至關(guān)重要的作用。

這種「情感」可以類比為大模型中的某種價(jià)值函數(shù)。但現(xiàn)階段，這種價(jià)值函數(shù)并沒有扮演非常核心的角色。

目前最樸素的強(qiáng)化學(xué)習(xí)做法是，要等任務(wù)全部做完后，才會(huì)打分反饋給整個(gè)過(guò)程中的每一個(gè)動(dòng)作。這意味著，如果你在做一件耗時(shí)很長(zhǎng)的事情，直到你提出最終方案之前，模型是學(xué)不到任何東西的。

但價(jià)值函數(shù)的作用是：不用等到最后，就能隨時(shí)告訴你現(xiàn)在做得是好是壞。價(jià)值函數(shù)能讓你能抄近道，省去了等待最終結(jié)果的時(shí)間。

這種價(jià)值函數(shù)是人類通用的一種感知能力，且這種能力極其穩(wěn)健。除了像藥物成癮這種極少數(shù)的例外，人類的價(jià)值函數(shù)非常可靠。

我的預(yù)期是，「情感」價(jià)值函數(shù)應(yīng)該是很有用的，而且我完全相信即使現(xiàn)在還沒普及，未來(lái)也一定會(huì)被廣泛使用。復(fù)雜的東西可能非常有用，但簡(jiǎn)單的東西往往能在廣泛情境下發(fā)揮作用。

03

為什么人類的泛化能力遠(yuǎn)超大模型？

為什么預(yù)訓(xùn)練數(shù)據(jù)量雖然大，但并不一定比 RL更能帶來(lái)泛化？

AI 預(yù)訓(xùn)練數(shù)據(jù)的數(shù)量是非常、非常驚人的。

我覺得，預(yù)訓(xùn)練的主要優(yōu)勢(shì)在于：第一，量大管飽；第二，不需要費(fèi)盡心思去挑數(shù)據(jù)。

它是非常自然的數(shù)據(jù)，包含了人類的所作所為、所思所想以及各種特征。就像是整個(gè)世界投射在文字上的倒影，而預(yù)訓(xùn)練試圖用海量數(shù)據(jù)去捕捉這個(gè)倒影。

但預(yù)訓(xùn)練很難去剖析，因?yàn)楹茈y搞懂模型到底是以什么方式依賴這些預(yù)訓(xùn)練數(shù)據(jù)的。每當(dāng)模型犯錯(cuò)，是不是純屬巧合，因?yàn)轭A(yù)訓(xùn)練數(shù)據(jù)里剛好缺了這一塊的支持？預(yù)訓(xùn)練支持這個(gè)詞可能不太嚴(yán)謹(jǐn)。這方面我也不知道還能補(bǔ)充什么有用的了。

我覺得預(yù)訓(xùn)練這個(gè)過(guò)程，在人類身上找不到對(duì)應(yīng)的類比。

為什么模型的泛化能力，依然比人類差得很遠(yuǎn)？

拿編程競(jìng)賽舉例。

假設(shè)有兩個(gè)學(xué)生。學(xué)生 A 決定要成為最強(qiáng)的競(jìng)賽程序員，于是狂練了 10,000 小時(shí)。他刷遍了所有題目，背下了所有解題技巧，能極其快速且正確地實(shí)現(xiàn)所有算法。他因此成了頂尖高手。

學(xué)生 B 覺得：噢，編程競(jìng)賽挺酷的。也許只練了 100 小時(shí)，但也考得挺好。

現(xiàn)在的模型基本就是第一種學(xué)生，甚至有過(guò)之無(wú)不及。因?yàn)槲覀儠?huì)說(shuō)，模型得擅長(zhǎng)編程競(jìng)賽，那就把史上所有的競(jìng)賽題都拿來(lái)。這還不夠，再搞點(diǎn)數(shù)據(jù)增強(qiáng)，造出更多題目來(lái)訓(xùn)練。現(xiàn)在你得到了一個(gè)超級(jí)競(jìng)賽程序員。既然它是靠死記硬背練出來(lái)的，掌握了所有算法和技巧，那它在其他事情上無(wú)法觸類旁通（泛化），也就是情理之中的事了。

泛化能力包含兩個(gè)子問題：一是樣本效率，二是為什么想教會(huì)模型我們想要的東西那么難，而教人類卻很容易。

人類的樣本效率極高，可能是來(lái)自進(jìn)化。

進(jìn)化把極少量、但最核心有用的信息賦予了人類，比如視覺、聽覺和運(yùn)動(dòng)能力。舉個(gè)例子，人類的靈巧度。現(xiàn)在的機(jī)器人如果放在模擬環(huán)境中進(jìn)行海量訓(xùn)練，也能變得很靈巧。但想在現(xiàn)實(shí)世界中訓(xùn)練一個(gè)機(jī)器人，讓它像人一樣迅速掌握一項(xiàng)新技能，這目前還遙不可及。

在運(yùn)動(dòng)、視覺等方面，人類可能天生就帶著某種不可思議的先驗(yàn)知識(shí)。但在語(yǔ)言、數(shù)學(xué)和編程等領(lǐng)域的能力說(shuō)明，讓人類擅長(zhǎng)學(xué)習(xí)的根本原因，可能不是復(fù)雜的進(jìn)化先驗(yàn)知識(shí)，而是人類單純就是擁有更好的機(jī)器學(xué)習(xí)算法，也就是前邊提到的「情感」價(jià)值函數(shù)。

04

模型的能力是「鋸齒狀」的

為什么現(xiàn)在的模型看起來(lái)很聰明，但實(shí)際能力跟不上？

這也是目前最讓人困惑的地方之一。

它們?cè)谠u(píng)測(cè)（evals）上表現(xiàn)得那么好，另一方面又在某些情況下像復(fù)讀機(jī)一樣犯傻？

舉個(gè)例子，假設(shè)你用 Vibe coding 做點(diǎn)東西。你遇到一個(gè) bug，告訴模型：請(qǐng)修好它。結(jié)果它修好了，但引入了第二個(gè) bug。然后你告訴它：現(xiàn)在有新 bug 了。結(jié)果它改了回去，把第一個(gè) bug 又帶回來(lái)了。就這樣在兩個(gè) bug 之間反復(fù)橫跳。

我有兩個(gè)可能的解釋。

• 一是：也許是強(qiáng)化學(xué)習(xí)訓(xùn)練讓模型變得有點(diǎn)過(guò)于一根筋、視野太窄了。雖然 RL 讓它們?cè)谀承┓矫孀儚?qiáng)了，但也讓它們?cè)谄渌矫孀兊眠t鈍，導(dǎo)致連基礎(chǔ)的事情都做不好。

• 二是：當(dāng)年做預(yù)訓(xùn)練的時(shí)候，關(guān)于用什么數(shù)據(jù)這個(gè)問題，答案很簡(jiǎn)單：用所有數(shù)據(jù)。你不需要糾結(jié)選這個(gè)還是選那個(gè)，全都要就行。但在做強(qiáng)化學(xué)習(xí)訓(xùn)練時(shí)，就得動(dòng)腦子選了。你得決定：我們要在這個(gè)任務(wù)上用這種 RL，在那個(gè)任務(wù)上用那種 RL。據(jù)我所知，所有公司都有團(tuán)隊(duì)專門制作新的 RL 環(huán)境，加到訓(xùn)練混合料里。但問題是，這些環(huán)境是什么？選擇太多了，自由度太大了。

我覺得大家無(wú)意中做了一件事：從評(píng)測(cè)題中找靈感。我想讓模型發(fā)布時(shí)表現(xiàn)炸裂，我想讓評(píng)測(cè)分?jǐn)?shù)好看，什么樣的 RL 訓(xùn)練能提升這個(gè)任務(wù)的分?jǐn)?shù)？

如果把這一點(diǎn)與模型泛化能力其實(shí)不足結(jié)合起來(lái)看，大概就能解釋我們看到的現(xiàn)象了：為什么評(píng)測(cè)分?jǐn)?shù)和真實(shí)世界表現(xiàn)之間存在巨大的斷層。直到今天，我們甚至都沒完全搞懂這個(gè)斷層到底意味著什么。

Dwarkesh Patel 補(bǔ)充：

我覺得有兩種理解方式。

• 如果模型在編程競(jìng)賽中變成超人，并不自動(dòng)意味著它能寫出更有品味、更好的代碼架構(gòu)，那就應(yīng)該擴(kuò)展訓(xùn)練環(huán)境，不能只盯著編程比賽，還得看它能不能開發(fā)出最好的應(yīng)用程序 X、Y 或 Z。

• 另一點(diǎn)，帶來(lái)的思考是，也許正確的路子不是不斷堆砌訓(xùn)練環(huán)境的數(shù)量和多樣性，而是找到一種方法，讓模型能從一個(gè)環(huán)境中學(xué)習(xí)，然后自然地提升在其他事情上的表現(xiàn)。

05

未來(lái)，AI 公司可能根本賺不到利潤(rùn)

未來(lái)，繼續(xù)沿用現(xiàn)在的「不斷擴(kuò)展規(guī)模」思路的公司會(huì)陷入停滯嗎？

我覺得即使技術(shù)停滯了，這些公司依然能賺取驚人的收入，但可能不一定有巨額利潤(rùn)，因?yàn)樗麄兊觅M(fèi)勁地在同質(zhì)化競(jìng)爭(zhēng)中尋找差異化。

我覺得未來(lái)事情會(huì)這樣發(fā)展。 一是，一家公司搞出了個(gè)突破，另一家公司趕緊跟進(jìn)，過(guò)段時(shí)間也搞出了類似的東西，然后他們開始在市場(chǎng)上競(jìng)爭(zhēng)，把價(jià)格打下來(lái)。

另一種是，可以把 AI 做得很專，依然可以既有用又超級(jí)聰明。可以擁有很多專才型的超級(jí)智能 AI。 假設(shè)你有很這種 AI，一家公司靠它們賺了很多錢。

然后另一家公司進(jìn)來(lái)競(jìng)爭(zhēng)。競(jìng)爭(zhēng)的方式將是專業(yè)化。 在現(xiàn)在的市場(chǎng)上，你會(huì)看到很多不同的細(xì)分生態(tài)位，很多不同的公司占據(jù)著不同的生態(tài)位。 未來(lái)，不同的 AI 公司可能會(huì)分別專注在不同復(fù)雜的領(lǐng)域。

這種大規(guī)模部署 AI，會(huì)引發(fā)某種智能爆炸嗎？

我認(rèn)為，大規(guī)模的部署 AI 很有可能會(huì)帶來(lái)經(jīng)濟(jì)的飛速增長(zhǎng)。一旦你有了一個(gè)學(xué)得很快的 AI，并且擁有很多這樣的 AI，將其部署到經(jīng)濟(jì)體系中的動(dòng)力會(huì)非常強(qiáng)。

但問題在于增長(zhǎng)到底會(huì)有多快？這很難預(yù)料。因?yàn)橐环矫妫銚碛蟹浅８咝У?AI ；但另一方面，世界太大了，實(shí)體事物很多，而且實(shí)體事物的運(yùn)轉(zhuǎn)速度是不一樣的。

06

什么是好的研究品味？

什么是好的研究品味？

有一件事指引著我個(gè)人，那就是通過(guò)思考人是怎樣的，來(lái)形成關(guān)于 AI 應(yīng)該是怎樣的審美。但關(guān)鍵在于必須是正確的觀察。

我們需要從多個(gè)角度去審視，去尋找近乎美的東西——那種美感與簡(jiǎn)潔感。

丑陋是沒有立足之地的。你需要的是美感、簡(jiǎn)潔、優(yōu)雅，以及從大腦中汲取的正確靈感。所有這些要素必須同時(shí)存在。當(dāng)它們重疊得越多，你就越能確信這種自頂向下的信念。

當(dāng)你面對(duì)實(shí)驗(yàn)結(jié)果的打擊時(shí)，就是這種自頂向下的信念在支撐著你。這種品味能讓你在實(shí)驗(yàn)持續(xù)失敗、所有數(shù)據(jù)都說(shuō)「你錯(cuò)了」時(shí)，依然堅(jiān)持調(diào)試而不是放棄。

這種自頂向下，建立在那多維度的美感和源自大腦的靈感之上。

07

最終要構(gòu)建的是一個(gè)能真正關(guān)心、感知生命的 AI

SSI 的計(jì)劃是什么？

我的思維方式發(fā)生了一些變化，我現(xiàn)在更看重在早期階段、漸進(jìn)式地部署 AI。

談?wù)?AI 有個(gè)難點(diǎn)是我們?cè)谟懻撘恍┠壳斑€不存在、很難想象的東西。在現(xiàn)實(shí)中，人們很難真切地感覺到通用人工智能（AGI）的存在。

既然大家想象不到，該怎么辦？你必須把東西做出來(lái)給大家看。我堅(jiān)持認(rèn)為，即使是大多數(shù) AI 從業(yè)者也想象不到未來(lái)的景象，因?yàn)槟呛臀覀內(nèi)粘？吹降臇|西太不一樣了。

接下來(lái)，假設(shè) AI 被造出來(lái)了，我們要怎么做？

目前人們之所以感覺不到 AI 的強(qiáng)大，是因?yàn)樗€會(huì)犯錯(cuò)。但我相信，到了某個(gè)臨界點(diǎn)，AI 會(huì)開始讓人真正感覺到它的強(qiáng)大。當(dāng)那一刻來(lái)臨時(shí)，所有 AI 公司對(duì)待安全的方式將發(fā)生巨變。

最終對(duì)齊的目標(biāo)是什么？

未來(lái)，到底應(yīng)該立志造出什么樣的 AI？目前大家都被困在一個(gè)大概念里：自我進(jìn)化的 AI。

但我堅(jiān)持認(rèn)為，更好的構(gòu)建目標(biāo)是：一個(gè)真心實(shí)意關(guān)愛感知生命的 AI。制造一個(gè)關(guān)愛所有感知生命的 AI，可能比制造一個(gè)只關(guān)愛人類的 AI 更容易。因?yàn)槲磥?lái)的感知體大多數(shù)會(huì)是 AI 自己。

比如，鏡像神經(jīng)元（Mirror Neurons）和人類對(duì)動(dòng)物的同理心。我認(rèn)為這是一種涌現(xiàn)屬性，源于我們用模擬自己的大腦回路去模擬其他生物，因?yàn)檫@是最高效的處理方式。

08

超級(jí)智能什么時(shí)候來(lái)？

超級(jí)智能什么時(shí)候來(lái)？

未來(lái) 5-20 年，可能會(huì)有具備人類級(jí)別學(xué)習(xí)能力、能走向超智能的系統(tǒng)。

你怎么看待超級(jí)智能？

我認(rèn)為超級(jí)智能肯定會(huì)非常強(qiáng)大。

我覺得最可能發(fā)生的情況是：如果算力集群足夠大，會(huì)有多個(gè)這樣的 AI 在大致相同的時(shí)間被創(chuàng)造出來(lái)。

但我們討論的是還不知道怎么造的系統(tǒng)。現(xiàn)在的路子能帶我們走一段，然后就會(huì)慢下來(lái)。它會(huì)繼續(xù)改進(jìn)，但這還不是最終形態(tài)。這很大程度上取決于我們能否理解可靠的泛化。

對(duì)齊之所以難，是因?yàn)?AI 學(xué)習(xí)和優(yōu)化人類價(jià)值觀的能力都很脆弱。

你不覺得這些都是不可靠泛化的例子嗎？為什么人類的泛化能力強(qiáng)這么多？如果 AI 也能這么強(qiáng)，會(huì)發(fā)生什么？這些問題目前還無(wú)法回答。

我們?nèi)绾闻c人工智能實(shí)現(xiàn)長(zhǎng)期平衡？

一種解決方案是：讓人類成為部分人工智能。這不是最理想的，但它彌合了理解的鴻溝，我們把 AI 的處境當(dāng)作自己的體驗(yàn)。

人類可能通過(guò)增強(qiáng)版 Neuralink 變成半 AI 生物。結(jié)果就是，AI 理解了什么，我們也理解了，因?yàn)檫@是全盤傳輸?shù)摹＿@樣一來(lái)，AI 處于某種情境，你也完全卷入其中。我認(rèn)為這才是終極平衡的答案。

09

SSI 的未來(lái)規(guī)劃、目標(biāo)和商業(yè)模式

SSI 打算怎么賺錢？

我的回答是：現(xiàn)階段，我們只專注于研究。這個(gè)問題的答案自然會(huì)浮現(xiàn)，我覺得會(huì)有很多種可能的答案。

SSI 的計(jì)劃依然是一步到位直通超級(jí)智能嗎？

也許吧。我覺得這個(gè)策略有它的優(yōu)點(diǎn)。最大的優(yōu)點(diǎn)是我們可以不受日常市場(chǎng)競(jìng)爭(zhēng)的干擾。

但我覺得有兩個(gè)原因可能會(huì)讓我們改變計(jì)劃：

第一是務(wù)實(shí)的原因，如果研發(fā)時(shí)間線拉得特別長(zhǎng)，這完全有可能。

第二，我認(rèn)為讓最強(qiáng)大、最頂尖的 AI 盡早問世并影響世界，本身就有巨大的價(jià)值。這是一件非常有意義的事情。

但我認(rèn)為即便是在最理想、最直接的情況下，我們也必須分階段發(fā)布模型。這種循序漸進(jìn)是任何計(jì)劃中不可或缺的一部分。關(guān)鍵在于，你推出的第一款產(chǎn)品到底是什么，這是第一點(diǎn)。

第二點(diǎn)，持續(xù)學(xué)習(xí)非常重要。

比如，現(xiàn)在 AGI 和預(yù)訓(xùn)練這兩個(gè)概念讓我們有點(diǎn)用力過(guò)猛了。如果你在預(yù)訓(xùn)練的語(yǔ)境下思考 AGI 這個(gè)詞，你會(huì)發(fā)現(xiàn)人類其實(shí)并不是 AGI。人類有基礎(chǔ)技能，但我們?nèi)焙芏嘀R(shí)，持續(xù)學(xué)習(xí)很重要。

所以，當(dāng)我們說(shuō)假設(shè)我們要造出一個(gè)安全的超級(jí)智能時(shí)，怎么定義它呢？它在持續(xù)學(xué)習(xí)的曲線上處于什么位置？

這就好比我造出一個(gè)絕頂聰明的 15 歲少年，充滿干勁，雖然懂的不多，但是個(gè)好學(xué)生。我會(huì)對(duì)他說(shuō)：去當(dāng)個(gè)程序員，去當(dāng)個(gè)醫(yī)生，去學(xué)習(xí)吧。所以，AI 的部署過(guò)程本身就是一個(gè)試錯(cuò)和學(xué)習(xí)的時(shí)期，而不是直接丟一個(gè)完美的成品。

SSI 到底打算做些什么不同的事情？

我認(rèn)為有一些想法非常有前景，我想去深入研究，驗(yàn)證它們到底行不行。就這么簡(jiǎn)單。這是一次嘗試。 如果這些想法，特別是我們討論過(guò)的關(guān)于理解泛化的那些，被證明是正確的，那我們將創(chuàng)造出非常有價(jià)值的東西。 它們會(huì)是正確的嗎？這就是我們?cè)谧鲅芯康脑颉?/p>

我們是一家徹頭徹尾處于研發(fā)時(shí)代的公司。

我們?cè)谶^(guò)去一年其實(shí)取得了相當(dāng)不錯(cuò)的進(jìn)展，但我們還需要更多進(jìn)展，做更多研究。我是這么看的：這是一種嘗試，我們想在這個(gè)領(lǐng)域發(fā)出聲音，并參與其中。

SSI 最大的不同是什么？

SSI 最大的不同在于技術(shù)路線。我們有一種不同的技術(shù)方法，我認(rèn)為它很有價(jià)值，我們正在全力以赴。 但我堅(jiān)持認(rèn)為，最終大家的技術(shù)路線都會(huì)發(fā)生收斂。 隨著 AI 變得越來(lái)越強(qiáng)大，每個(gè)人都會(huì)大概看清該采取什么策略。這會(huì)是一種共識(shí)：你需要找到某種方式讓 AI 之間能夠交流，你需要確保你的第一個(gè)真正的超級(jí)智能是對(duì)齊的，是關(guān)心感知生命的，是關(guān)心人類的，是民主的，或者是這些特質(zhì)的某種組合。 我認(rèn)為這是每個(gè)人都應(yīng)該追求的狀態(tài)。這也是 SSI 正在追求的。我想，如果不算現(xiàn)在的話，在這個(gè)時(shí)刻到來(lái)時(shí)，所有其他公司也會(huì)意識(shí)到這也是他們的目標(biāo)。 我認(rèn)為隨著 AI 變強(qiáng)，世界將發(fā)生真正的巨變。事情會(huì)變得非常不同，人們的行為模式也會(huì)完全改變。

本文首發(fā)于公眾號(hào)：Founder Park，如需轉(zhuǎn)載請(qǐng)聯(lián)系微信：geekparker