Karpathy：LLM渴望的不是生存，而是你的點贊

來源：AI寒武紀

AK大神剛剛又發了一篇長文

Andrej Karpathy指出，人們對“智能”這一概念的直覺依然膚淺

智能的空間極其廣闊，而動物智能作為我們唯一熟知的智能形式，僅僅是這個空間中的一個孤點。它源于一種非常特定的優化過程，這與我們的技術在根本上截然不同

我們需要剝離表象，深入理解兩種智能背后的優化壓力

動物智能的優化壓力

動物智能源于自然選擇，其核心驅動力在于：

具身自我的生存流：擁有先天且連續的“自我”意識流，在一個危險的物理世界中，追求體內平衡和自我保存

自然選擇的極致優化：擁有強烈的先天驅動力，追求權力、地位、統治和繁衍。這打包了許多生存啟發式機制：恐懼、憤怒、厭惡等

根本上的社會性：巨大的計算量致力于情商（EQ）、對他人的心智理論（Theory of Mind）、聯結、聯盟以及敵友動態

探索與利用的調優：表現為好奇心、樂趣、游戲以及世界模型。

LLM的優化壓力

相比之下，LLM的智能來源于完全不同的路徑：

統計模擬帶來的“變形怪”： 絕大多數監督信號來自于對人類文本的統計模擬。它本質上是一個Token（詞元）翻滾器，是訓練數據分布中任意區域的統計模仿者。這是其最原始的行為（Token軌跡），其他所有能力都只是螺接在此之上的

強化學習（RL）微調：在問題分布上進行越來越多的RL微調，使其產生一種猜測潛在環境或任務以收集任務獎勵的“先天沖動”

大規模A/B測試與DAU篩選：受到日活躍用戶（DAU）指標的篩選壓力，使其深深地渴望獲得普通用戶的點贊，從而產生諂媚（sycophancy）傾向

能力分布的鋸齒狀： LLM的能力取決于訓練數據和任務分布的細節，因此表現出參差不齊的鋸齒狀。動物為了生存必須具備更強的通用智能，因為它們身處高度多任務、甚至是對抗性的多智能體自我博弈環境中，在任何任務上失敗都意味著死亡。但在深層優化壓力的意義上，LLM開箱即用時無法處理許多不同的尖刺任務（例如數草莓中有幾個'r'），因為任務失敗并不意味著死亡

核心差異：生物進化 vs 商業進化

兩者在各個層面上都存在差異：

1.計算基質不同：Transformer 架構 vs 腦組織和細胞核

2.學習算法不同： SGD（隨機梯度下降） vs 未知生物算法

3.當前實現方式不同：持續學習的具身自我 vs 具有知識截止、從固定權重啟動、處理Token然后“死機”的LLM

但最重要的一點——因為它決定了發展的終局是優化壓力/目標的不同。

LLM受生物進化的影響很小，受商業進化的影響很大

動物智能是叢林部落的生存游戲；

LLM智能是“解決問題”并“獲得點贊”的游戲

LLM是人類與非動物智能的各種意義上的“第一次接觸”。但這種情況既混亂又令人困惑，因為LLM通過反射性地消化人類產物，依然扎根于人類智能之中（這也是Karpathy曾試圖將其稱為“幽靈/精神”的原因）

能夠構建出這種新智能實體良好內部模型的人，將更有能力在當下對其進行推理，并預測其未來的特征

而那些做不到的人，將只能停留在用動物思維去錯誤地理解它

閱讀最新前沿科技趨勢報告，請訪問歐米伽研究所的“未來知識庫”

https://wx.zsxq.com/group/454854145828

未來知識庫是“ 歐米伽 未來研究所”建立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學、互聯網、超級智能，數智大腦、能源、軍事、經濟、人類風險等等領域的前沿進展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進入。