Ilya 離開 OpenAI 后的首期播客，久違地被人類智慧安慰到了 | 42章經(jīng)

過年了！早起發(fā)現(xiàn) Dwarkesh Patel 新一期播客采到了 Ilya。

很久沒有在一期內(nèi)容里感受到這種 “被人類智慧安慰” 的體驗(yàn)了。

全程非常 insightful，而且更重要的是，Ilya 對談的感覺，真的讓觀看采訪的過程無比享受。像一個(gè)古希臘哲學(xué)家，對世界的本質(zhì)有天生的好奇，對人又有一種特別真誠的關(guān)照。

這里給大家快速摘錄一些要點(diǎn)：

1. 關(guān)于時(shí)代的轉(zhuǎn)向

Ilya 給出了一個(gè)非常清晰的時(shí)間線劃分：

• 2012 - 2020 年是研究時(shí)代：大家都在嘗試不同的 AI 想法。

• 2020 - 2025 年是 Scaling 時(shí)代： 自從 GPT-3 出現(xiàn)后，Scaling 成了共識(shí)，并吸走了所有的注意力和資源。

• 2025 開始，Pre-training 的 scaling law 已經(jīng)失效了 (核心因?yàn)閿?shù)據(jù)有限），所以，我們正在重新回到 “研究時(shí)代”。之后不會(huì)再比誰的 GPU 多，而是看誰能找到新的算法。

2. SSI 的規(guī)劃

Ilya 創(chuàng)辦的 SSI (Safe Superintelligence) 目前的計(jì)劃是 Straight shot——不發(fā)中間產(chǎn)品，直接憋大招做超級智能。

因?yàn)樗杏X現(xiàn)在的 AI 公司為了市場份額，不得不陷入激烈的競爭，這迫使他們在這個(gè)過程中做了很多妥協(xié)。所以他不希望在中間過程受到市場干擾。

不過，這不意味著他會(huì)憋好幾年，然后突然扔出一個(gè)神一樣的 AI。

他對超級智能的定義更類似一個(gè) “超級學(xué)習(xí)者”，也就是，在發(fā)布的那一刻，它可能更像是一個(gè) “天才少年”。它會(huì)被投放到社會(huì)中，然后在各個(gè)崗位上快速實(shí)習(xí)、犯錯(cuò)、進(jìn)步。

Dwarkesh 問他 “這種能像人類一樣學(xué)習(xí)、進(jìn)而變成超級智能的系統(tǒng)什么時(shí)候會(huì)出現(xiàn)？”，Ilya 一向很少給出具體的時(shí)間預(yù)測，不過這次，他出乎意料地給了一個(gè)窗口期 —— 5 到 20 年。

此外，外界對他一個(gè)常見的 challenge 是 SSI 只融了 30 億美金，可能比不過大廠。但 Ilya 算了一筆賬：大廠融的錢雖多，但大部分要用來服務(wù)用戶做推理、養(yǎng)龐大的工程和銷售團(tuán)隊(duì)。SSI 的錢是實(shí)打?qū)嵢客度氲郊兇獾难芯繉?shí)驗(yàn)中的，這在 Research 層面上其實(shí)非常能打。

3. 關(guān)于 Taste

Ilya 是公認(rèn)的 Research Taste 最好的科學(xué)家，Dwarkesh 問他到底是怎么做判斷的。

他分享了三個(gè)黃金標(biāo)準(zhǔn)：

• 生物學(xué)上的合理性：比如神經(jīng)元這個(gè)概念，雖然大腦很復(fù)雜，但 “大量神經(jīng)元連接” 這個(gè)結(jié)構(gòu)看起來是根本性的。

• 簡潔的美感：如果一個(gè)方案不夠簡潔、優(yōu)雅，那它大概率是錯(cuò)的。

• Top-down 的信念：當(dāng)實(shí)驗(yàn)數(shù)據(jù)和你預(yù)期不符時(shí)，如果你對自己的理論有基于第一性原理的信念感，你會(huì)繼續(xù)堅(jiān)持堅(jiān)持，相信只是代碼有 Bug。這是平庸研究者和頂級研究者的關(guān)鍵區(qū)別，因?yàn)檫@種信念支撐他度過了無數(shù)次失敗的實(shí)驗(yàn)。

4. 關(guān)于 Value Function

Pre-training 的紅利吃完了，Ilya 認(rèn)為下一步的重點(diǎn)該是 Value Function (價(jià)值函數(shù))。

現(xiàn)在的 RL 還是很笨的。比如做一道長推理題，模型要等到最后一步做完了，才知道自己是對是錯(cuò)。 但我們在下棋時(shí)丟了一個(gè)子，立刻就知道這局完了，而不需要等到整盤棋下完。

人類的學(xué)習(xí)過程一向主要來自與環(huán)境的互動(dòng)和內(nèi)心的感覺，這是一種很高效的無監(jiān)督學(xué)習(xí)形式。

Ilya 認(rèn)為，未來的突破點(diǎn)在于讓模型也具備這種直覺性的中途判斷能力。如果攻克了這個(gè)學(xué)習(xí)機(jī)制，AI 的效率就會(huì)有質(zhì)的飛躍。

對此，Dwarkesh 質(zhì)疑說 “Value Function 可能很難學(xué)，因?yàn)橥评淼穆窂教珡?fù)雜、太寬廣”.

此時(shí)，Ilya 給出了一個(gè)非常 Ilya 式的回應(yīng):

“你聽起來像是對深度學(xué)習(xí)缺乏信仰”。

Ilya 自己非常篤信，只要信號存在，深度學(xué)習(xí)就能學(xué)到。雖然很難，但沒有什么是深度學(xué)習(xí)做不到的 (echo 前面頂尖 researcher 的信念感)。

但他也有半開玩笑地說：

“Unfortunately, we live in a world where not all ML ideas are discussed freely.”（好像在暗示他有想法但不能公開）

5. 關(guān)于 RL

1）Ilya 有一個(gè)非常反直覺的觀點(diǎn)：RL 可能是在弄傻模型。

他用了一個(gè)非常有美感的形容：預(yù)訓(xùn)練數(shù)據(jù)不僅僅是文字，它是“整個(gè)世界被人類投射到文本上的樣子”。預(yù)訓(xùn)練之所以強(qiáng)，是因?yàn)樗噲D捕捉這個(gè)龐大的 “人類思想投影”。而目前的 RL 方法可能實(shí)際上是在 “Undoing the conceptual imprint of pre-training” (撤銷預(yù)訓(xùn)練的概念印記)。

這是為什么經(jīng)過重度 RL 對齊的模型往往顯得更笨或更缺乏創(chuàng)造力。RL 強(qiáng)行讓 AI 去討好人類的某個(gè)單一指標(biāo)，卻可能犧牲了它原本寬廣的通用智力。（這聽起來像極了應(yīng)試教育...）

2）RL 已經(jīng)比 Pre-training 更燒錢了

我們現(xiàn)在正處于一個(gè)很重要的轉(zhuǎn)向。過去幾年，大家以為最燒錢的是 Pre-training（預(yù)訓(xùn)練）。但 Ilya 透露，根據(jù)行業(yè)傳聞，現(xiàn)在花在 RL 上的算力已經(jīng)超過了預(yù)訓(xùn)練。

背后的原因是：RL 需要做非常長的 Rollouts，也就是不同的推演，這極其消耗算力，而每做一次推演獲得的有效學(xué)習(xí)信號卻很少。

(不過這種低效恰恰說明了 RL 還有巨大的優(yōu)化空間，下一步要想辦法設(shè)計(jì)出一種更高效的 Post-training 方法，比如更好的 Value Function）

6. 情緒 = 終極的 Value Function

為什么人類能在信息不全的情況下做出正確的常識(shí)性決策，而 AI 經(jīng)常一本正經(jīng)地胡說八道？

Ilya 提到了一個(gè)有趣的神經(jīng)科學(xué)案例：一個(gè)因腦損傷失去 “情緒” 的人，雖然智商沒變，但卻連 “今天穿什么襪子” 都要糾結(jié)幾個(gè)小時(shí)，完全無法做決策。

他認(rèn)為情緒就是人類進(jìn)化出的最有效的 “壓縮算法”，幫我們快速剪枝，知道什么是重要的，什么無關(guān)緊要。

而現(xiàn)在的 AI 就像那個(gè)失去情緒的病人，它有邏輯，但缺乏那個(gè)指引它 “什么是對的” 的內(nèi)在羅盤。

這也許是通往 AGI 的最后一塊拼圖。

7. 同理心是理解世界的最佳捷徑

說回來，Ilya 最關(guān)心的還是安全和對齊。

而他目前想到的解法是：找到一種編碼機(jī)制，讓 AI 真正關(guān)愛有感知力的生命 (sentient Life)。

就像進(jìn)化論在人類大腦中硬編碼了同理心一樣，我們需要找到一種方法，把這種對生命的關(guān)愛硬編碼進(jìn)超級智能里，這比通過各種規(guī)則約束，強(qiáng)行讓 AI 聽人類的話更靠譜。

而且他真的相信我們有可能實(shí)現(xiàn)這一點(diǎn)。

他提到了兩點(diǎn)原因：

首先是一個(gè)極其硬核的、基于計(jì)算效率的理由。

我們之所以能理解別人的痛苦，是因?yàn)槲覀儠?huì)用 “模擬自己” 的同一套神經(jīng)回路去 “模擬別人”。

對于大腦（或者未來的 AI）來說，這是一種最高效的建模方式。既然我已經(jīng)有一套代碼來理解 “我的痛苦”，直接復(fù)用這套代碼去理解 “你的痛苦” 是最省資源的。

也就是說，同理心可能是智能提升過程中的一種涌現(xiàn)屬性，因?yàn)樗抢斫馐澜绲淖罴呀輳健?/p>

那這就意味著，如果 AI 追求極致的預(yù)測效率和世界模型構(gòu)建，它可能會(huì)涌現(xiàn)出類似的 “移情” 機(jī)制。

第二個(gè)理由是，人類進(jìn)化過程中有一個(gè)非常神奇的特質(zhì)，那就是我們進(jìn)化出了一些很高級的獎(jiǎng)勵(lì)函數(shù)，比如 “社會(huì)地位”。

可是，要知道，“食物好不好吃” 非常簡單，只要給大腦接一個(gè)味覺傳感器，設(shè)定化學(xué)反應(yīng)獎(jiǎng)勵(lì)就行。但 “社會(huì)地位” 是一個(gè)極其抽象的概念，大腦需要處理無數(shù)信息才能理解。基因本身不智能，它怎么知道如何連線神經(jīng)元，才能讓人類產(chǎn)生這種高級情感呢？

既然盲目的進(jìn)化都能成功地把 “高級價(jià)值觀” 對齊給人類，那么我們設(shè)計(jì)超級智能時(shí)，一定也存在某種方法，能把 “關(guān)愛生命” 這種高級目標(biāo)硬編碼進(jìn) AI 的底層——即使我們現(xiàn)在還不知道具體原理。

8. 關(guān)于語言對思維的影響

Ilya 提出了一個(gè)很有趣的觀察：我們使用的語言，會(huì)反向塑造行業(yè)的研究方向。

比如，AGI 這個(gè)詞是為了反駁 Narrow AI（弱人工智能）而誕生的。但這導(dǎo)致大家有點(diǎn)過度追求一個(gè)全能的基礎(chǔ)模型，而忽略了真正的智能其實(shí)是動(dòng)態(tài)的學(xué)習(xí)能力。

又比如，當(dāng) Scaling 這個(gè)詞出現(xiàn)后，它太有力了，以至于所有人都覺得 “只要把模型做大就好”，而很大程度上停止探索了其他的可能性。

(所以，警惕流行詞！）

9. 未來的市場格局

關(guān)于未來是不是只有一家公司壟斷 Superintelligence，Ilya 又給出了一個(gè)基于生物進(jìn)化的判斷：不會(huì)，競爭喜歡專精（Competition loves specialization）。

即便 AI 再強(qiáng)，未來大概率也會(huì)出現(xiàn)分工。比如會(huì)有一家公司，不做別的，就專門做 “訴訟”。

很多公司在某個(gè)領(lǐng)域投入了巨大的算力和學(xué)習(xí)成本，形成了極高的壁壘，別的 AI 即使能去搶它的份額，從頭學(xué)一遍也不劃算。這會(huì)形成一種類似自然界的生態(tài)平衡。

(這對垂直行業(yè)創(chuàng)業(yè)者是很好的鼓勵(lì)，只要做得夠窄夠深，通用大模型就很難降維打擊。）

P.S. 采訪還有很多精彩內(nèi)容，推薦大家完整看一遍 Youtube 視頻采訪，可以點(diǎn)擊 “閱讀原文” 直接跳轉(zhuǎn) (友情提示，打開需要一點(diǎn)魔法)

42章經(jīng)

思考事物本質(zhì)