Redis 之父 Antirez 最新博客文章:《Reflections on AI at the end of 2025》,談?wù)摿怂麑?duì)人工智能的思考。
![]()
從“隨機(jī)鸚鵡”到現(xiàn)實(shí):多年以來(lái),盡管功能證據(jù)和科學(xué)線索不斷積累,某些 AI 研究人員仍堅(jiān)稱大語(yǔ)言模型(LLM)只是“隨機(jī)鸚鵡”:即一種僅憑概率運(yùn)作的機(jī)器,它們:1. 對(duì)提示詞(Prompt)的含義沒(méi)有任何表征。2. 對(duì)自己將要說(shuō)的話沒(méi)有任何表征。直到 2025 年,幾乎所有人終于都不再這么說(shuō)了。
思維鏈(CoT)的本質(zhì):思維鏈現(xiàn)已成為提升 LLM 輸出質(zhì)量的基礎(chǔ)手段。但 CoT 究竟是什么?為什么它能提升輸出?我認(rèn)為原因有二:1. 在模型表征中進(jìn)行采樣(即一種形式的內(nèi)部搜索)。當(dāng)與提示主題相關(guān)的空間信息和概念進(jìn)入上下文窗口后,模型能更好地做出回復(fù)。2. 結(jié)合強(qiáng)化學(xué)習(xí)(RL):模型學(xué)會(huì)了為了收斂到某個(gè)有用的回復(fù),而將一個(gè)個(gè) Token 依次排列(每個(gè) Token 都會(huì)改變模型狀態(tài))。
擴(kuò)展定律(Scaling)的新高度:“擴(kuò)展受限于現(xiàn)存 Token 數(shù)量”的觀點(diǎn)已不再成立,這歸功于帶有可驗(yàn)證獎(jiǎng)勵(lì)的強(qiáng)化學(xué)習(xí)。雖然我們尚未到達(dá) AlphaGo 的“第 37 手”時(shí)刻,但未來(lái)這真的不可能嗎?在某些任務(wù)中(例如優(yōu)化程序的運(yùn)行速度),理論上模型可以在清晰的獎(jiǎng)勵(lì)信號(hào)引導(dǎo)下,在極長(zhǎng)的時(shí)間內(nèi)持續(xù)取得進(jìn)步。我相信,應(yīng)用于 LLM 的強(qiáng)化學(xué)習(xí)改進(jìn)將是 AI 領(lǐng)域的下一個(gè)重大突破。
編程界的轉(zhuǎn)變:程序員對(duì) AI 輔助編程的抵觸情緒已顯著降低。即使 LLM 會(huì)犯錯(cuò),但其交付有用代碼和提示的能力已提升到讓大多數(shù)懷疑論者也開(kāi)始使用的程度:現(xiàn)在的投資回報(bào)率(ROI)對(duì)更多人來(lái)說(shuō)已是可接受的。編程界目前仍分為兩派:一派將 LLM 視為“同事”(例如,我所有的交互都是通過(guò) Gemini、Claude 的 Web 界面完成的),另一派則將 LLM 視為獨(dú)立的編程智能體(Agents)。
范式之爭(zhēng)與 AGI:少數(shù)知名 AI 科學(xué)家相信,Transformer 的奇跡可以循著不同路徑再次發(fā)生,甚至表現(xiàn)更好。他們已組建團(tuán)隊(duì)和公司,研究 Transformer 的替代方案,以及具有顯式符號(hào)表征或世界模型的模型。但我認(rèn)為,LLM 是在能夠逼近離散推理步驟的空間上訓(xùn)練的微分機(jī),即使沒(méi)有根本性的新范式出現(xiàn),它們也有可能帶我們走向通用人工智能(AGI)。AGI 很可能通過(guò)多種截然不同的架構(gòu)獨(dú)立實(shí)現(xiàn)。
關(guān)于 CoT 的“謊言”:有人聲稱思維鏈從根本上改變了 LLM 的本質(zhì),并以此為借口辯解:他們過(guò)去認(rèn)為 LLM 局限性很大,現(xiàn)在改口是因?yàn)?CoT 讓 LLM 變成了不同的東西。他們?cè)谌鲋e。架構(gòu)依然如故,目標(biāo)依然是預(yù)測(cè)下一個(gè) Token,思維鏈也正是這樣由一個(gè)個(gè) Token 堆疊而成的。
ARC 測(cè)試的轉(zhuǎn)型:如今,ARC 測(cè)試(抽象推理基準(zhǔn))看起來(lái)不再像最初認(rèn)為的那樣不可逾越。針對(duì)特定任務(wù)優(yōu)化的小型模型在 ARC-AGI-1 上表現(xiàn)尚可,而帶有大量思維鏈的超大型 LLM 在 ARC-AGI-2 上取得了令人印象深刻的成績(jī)——盡管許多人曾斷言這種架構(gòu)無(wú)法實(shí)現(xiàn)此類結(jié)果。在某種程度上,ARC 已從“反 LLM 測(cè)試”轉(zhuǎn)變?yōu)椤癓LM 驗(yàn)證測(cè)試”。
終極挑戰(zhàn):未來(lái) 20 年,人工智能面臨的根本挑戰(zhàn)是避免人類滅絕。
https://weibo.com/2194035935/QjrihBlme
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.