OpenAI炒作要熄火？Andrej Karpathy回應AGI還需10年觀點：已經(jīng)是最樂觀最激進預測

卡神Andrej Karpathy昨天與Dwarkesh Patel兩小時的播客引發(fā)了AI圈的廣泛關(guān)注，還沒看的可以看我昨天的文章

節(jié)目播出后，Karpathy本人也重新觀看了一遍，并發(fā)布了一篇長文作為補充說明。他首先為自己語速太快道歉，認為這有時會導致說話線程超越思考線程，沒能把一些問題解釋清楚，

卡神的確語速特別快，每次看他演講都有這個感覺，哈哈

以下是Karpathy對自己核心觀點的梳理與重申，涵蓋了AGI時間線、LLM的本質(zhì)、強化學習的未來、智能體的發(fā)展方向等多個熱門話題

關(guān)于AGI時間線：10年已是非常激進的預測

Karpathy表示，關(guān)于AGI時間線的評論似乎是各路人馬反響中最受關(guān)注的部分

他重申了“智能體十年”（decade of agents）的說法。他認為自己的AI時間線比你在舊金山AI派對或推特上看到的要悲觀5到10倍，但相對于日益增多的AI懷疑論者來說，又仍然相當樂觀

他解釋了這種看似矛盾的觀點：我們同時見證了1）近年來LLM帶來的巨大進步，以及2）在擁有一個你寧愿雇傭它而非人類來完成世界上任意工作的實體之前，仍有大量工作要做

這些工作包括：繁重的體力活、集成工作、連接物理世界的傳感器和執(zhí)行器、社會層面的工作，以及安全保障工作，此外還有許多研究尚待完成。

因此，Karpathy總結(jié)道：“總的來說，10年應該算是AGI一個非常激進的時間線，只是在當前炒作的對比下才不那么覺得

動物 vs 幽靈：LLM是另一種智能實體

Karpathy對“存在一個單一的、簡單的算法，把它放到世界上就能從頭學會一切”的觀點表示懷疑。如果有人能做出這樣的東西，那將是AI領(lǐng)域最不可思議的突破，而他本人也將承認錯誤

在他看來，動物完全不是這種算法的例子——它們通過進化預裝了大量智能，其后天學習的部分總體上相當有限（例如剛出生的斑馬）

從工程角度出發(fā)，我們不會去重現(xiàn)進化。但通過LLM，我們偶然發(fā)現(xiàn)了一種替代方案來“預裝”大量智能到神經(jīng)網(wǎng)絡中——不是通過進化，而是通過在互聯(lián)網(wǎng)上進行“下一個詞元預測”

這種方法在智能空間中催生了一種不同的實體，與動物截然不同，更像是“幽靈”或“靈魂”（ghosts or spirits）。但他認為，我們能夠（也應該）隨著時間的推移讓它們更像動物，這也是許多前沿工作的方向

關(guān)于強化學習（RL）：短期看空

Karpathy對強化學習（RL）提出了幾點批評

首先，他認為RL獲取監(jiān)督信號的方式就像“通過一根吸管吮吸”（sucking supervision through a straw），信噪比非常差。

其次，RL的噪聲很大。一個補全中可能有很多錯誤，但只要碰巧得到正確答案，這些錯誤就可能被鼓勵；反之，一些充滿洞見的詞元也可能因為后續(xù)的失誤而被抑制

雖然過程監(jiān)督和LLM裁判（LLM judges）等方法也有各自的問題，但Karpathy相信我們會看到替代性的學習范式出現(xiàn)

他明確表示：長期看好“智能體交互”（agentic interaction），但短期看空“強化學習”

他認為近期一些論文已經(jīng)走在正確的方向上，例如他稱之為“系統(tǒng)提示學習”（system prompt learning）的思路，但從ArXiv上的想法到前沿LLM實驗室能大規(guī)模通用部署的實現(xiàn)之間，還存在差距。不過他總體樂觀，認為很快會有進展，并指出ChatGPT的記憶功能等就是新學習范式在部署上的早期雛形

認知核心：剝離記憶以提升泛化

Karpathy提到了他早先關(guān)于“認知核心”（cognitive core）的想法：即精簡LLM，讓它們更難記憶，甚至主動剝離它們的記憶，以使其更擅長泛化。

否則，模型會過度依賴它們已經(jīng)記住的內(nèi)容。相比之下，人類不那么容易記住東西，這現(xiàn)在看來更像是一個特性而非缺陷。這種記憶能力上的欠缺，或許本身就是一種正則化手段

這也與他之前關(guān)于“模型規(guī)模趨勢是‘反向的’”，以及“模型必須先變大才能再變小”的觀點相呼應。

關(guān)于LLM智能體：應與人協(xié)作，而非完全自主

Karpathy對當前行業(yè)的批評更多在于，工具的超前程度超過了模型當下的實際能力

他理想的中間世界是與LLM協(xié)作，讓雙方的優(yōu)缺點互補。而業(yè)界似乎活在一個未來世界里：完全自主的實體并行協(xié)作編寫所有代碼，人類變得毫無用處

他舉例說，他不需要一個智能體花20分鐘帶回1000行代碼，更沒準備好去監(jiān)督一個由10個這種智能體組成的團隊。他希望的是：

分塊進行：每個代碼塊的大小能在他腦海中容納

過程可解釋：LLM能解釋它正在寫的代碼

自我證明：LLM能向他證明自己所做的是正確的，比如拉取API文檔來證明其用法無誤

減少假設：在不確定時，能主動詢問并與他協(xié)作

共同成長：他希望在協(xié)作中學習并成為更好的程序員，而不僅僅是接收一堆被告知能用的代碼

他擔心，如果工具不切實際，最終會導致軟件行業(yè)中劣質(zhì)代碼堆積如山，漏洞、安全事件等也會隨之增加

其他觀點摘要

穿越到1989年的Yann LeCun：一個思想實驗，探討如果擁有33年后的算法知識，Yann LeCun當年的成果能提升多少，以此分析算法、數(shù)據(jù)和算力各自的限制作用

nanochat：他個人端到端實現(xiàn)的ChatGPT訓練/推理流程的精簡版

工作自動化：以放射科醫(yī)生為例，他們現(xiàn)在做得很好。并探討了哪些工作更容易被自動化及其原因

物理學的重要性：兒童早期教育應該學習物理，不是為了讓他們成為物理學家，而是因為物理是最好地啟動大腦的學科。他稱物理學家為“知識領(lǐng)域的胚胎干細胞”（intellectual embryonic stem cell）

卡神的這些預測簡直是在砸OpenAI的盤子啊，更是直接對Anthropic ceo Dario Amodei 貼臉開大，馬斯克剛剛還在畫餅grok 5有10%機會實現(xiàn)AGI

接下來就看Gemini 3 pro，看一些拿到內(nèi)測資格網(wǎng)友前端測試非常強