Transformer親爹痛斥：當(dāng)前AI陷死胡同，微調(diào)純屬浪費(fèi)時間！

新智元報道

編輯：KingHZ

【新智元導(dǎo)讀】Transformer曾是AI革命的巔峰之作，但其發(fā)明者Llion Jones警告：它并非終點。就像RNN被取代一樣，當(dāng)前無數(shù)微調(diào)研究可能只是局部優(yōu)化，而真正的AGI突破或藏在生物啟發(fā)的全新架構(gòu)中。

Transformer是AI的終點嗎？

不是，絕對不是。

那Scaling是唯一通向AGI的路徑嗎？

在Transformer架構(gòu)上研究最久的人，告訴你：不是。

Sakana AI的創(chuàng)始人、研究科學(xué)家Llion Jones，和其他7位合著者，一起發(fā)明了Transformer。

除了那七位共同作者，沒有人比他在Transformer上的研究更久。

盡管如此，去年，他做出了一個重要決定：大幅減少自己在Transformer上的研究投入。

不是因為這個領(lǐng)域沒有新鮮事，而是因為它已經(jīng)被擠得水泄不通。

他直言，他成了自己成功的受害者：

我不認(rèn)為Transformer就是終點，也不相信我們只需要繼續(xù)無限擴(kuò)大規(guī)模。

某一天，我們會再次迎來突破，然后回頭發(fā)現(xiàn)，現(xiàn)在很多研究其實在白白浪費(fèi)時間。

Transformer或重演RNN的悲劇

在Transformer出現(xiàn)之前，RNN是主流。

RNN的確是AI歷史上的重大突破。

突然間，所有人都開始致力于改進(jìn)RNN。

但結(jié)果總是對同一架構(gòu)做些微調(diào)，比如把門控單元換個位置，將語言建模的性能提升到 1.26、1.25 比特每字符。

在Transformer出現(xiàn)后，當(dāng)我們把非常深的僅解碼器Transformer應(yīng)用于同一任務(wù)時，立刻就達(dá)到了1.1 比特/字符。

于是，所有關(guān)于RNN的研究突然之間顯得白費(fèi)了。

而現(xiàn)在的論文，似乎又回到了老路子：在同一個架構(gòu)上，做無數(shù)微小的改動——比如調(diào)整normalization層的位置，或略微改良訓(xùn)練方式。

2020年，時任谷歌DeepMind的研究員Sarah Hooker提出了「硬件彩票」：

通往AGI的道路不止一條， 深度神經(jīng)網(wǎng)絡(luò)剛好碰上了GPU這樣的硬件彩票。

論文鏈接：https://hardwarelottery.github.io/

「硬件彩票」這一術(shù)語，描述了某種研究思路之所以勝出，是因為它恰好契合現(xiàn)有的軟件和硬件條件，而非因為該思路在所有備選研究方向中具有普遍優(yōu)越性。

而Llion Jones則認(rèn)為，Transformer是一種架構(gòu)彩票，而業(yè)界恐怕重蹈RNN的覆轍。

哪怕已經(jīng)有一些架構(gòu)在論文中表現(xiàn)得比Transformer還好。但問題在于，新架構(gòu)還不足夠好到讓整個行業(yè)放棄Transformer。

原因很現(xiàn)實：大家對Transformer的理解已經(jīng)非常成熟，訓(xùn)練方法、微調(diào)方式、配套軟件工具一應(yīng)俱全。

你要大家從頭換一套，除非新架構(gòu)好到「碾壓式勝出」，否則不可能。

Transformer取代RNN，是因為差距大到無法忽視。

深度學(xué)習(xí)的興起也是一樣。曾經(jīng)大家還相信符號主義更靠譜，直到神經(jīng)網(wǎng)絡(luò)在圖像識別上展現(xiàn)出壓倒性的優(yōu)勢。

Llion Jones認(rèn)為Transformer太成功了，反而讓大家陷入了「陷阱」：

這就像有個巨大的「重力井」，所有嘗試離開的新方法都會被拉回來。

哪怕你真的做出了一個效果更好的新架構(gòu)，只要OpenAI再把Transformer擴(kuò)大十倍，那你的成果就被比下去了。

現(xiàn)在的LLM并非通用智能

Llion Jones進(jìn)一步指出，目前的大語言模型并非通用智能，呈現(xiàn)出「鋸齒狀智能」（jagged intelligence）的特性。

也就是說，它們能在某些任務(wù)上表現(xiàn)得像天才一樣，但轉(zhuǎn)眼就能犯出低級錯誤，讓人出戲。

它剛才還解出了一個博士級的問題，下一秒?yún)s說出一個連小學(xué)生都不會錯的答案，這種反差非常刺眼。

他認(rèn)為，這其實揭示了當(dāng)前架構(gòu)中某種根本性的問題。

問題在于，它們太「萬金油」了。

你可以讓它們做任何事，只要訓(xùn)練足、調(diào)參準(zhǔn)。

但正因為這樣，我們反而忽視了關(guān)鍵問題──「有沒有更好的方式來表示知識、思考問題」。

現(xiàn)在，大家把所有東西都往Transformer里堆，把它當(dāng)成萬用工具來用，缺什么功能，就往上面硬加模塊。

我們明明知道要有不確定性建模、要有自適應(yīng)計算能力，但我們卻選擇把這些特性外掛上去，而不是從架構(gòu)本身去重新思考。

為了逃脫這個循環(huán)，Jones在2025年初大幅減少Transformer相關(guān)研究，轉(zhuǎn)向更具探索性的方向。

他和Sakana AI的同事Luke Darlow等人，借鑒生物學(xué)和自然啟發(fā)，設(shè)計了連續(xù)思維機(jī)（Continuous Thought Machines，CTM）。

傳送門：https://sakana.ai/ctm/

這不是天馬行空的發(fā)明，而是對大腦運(yùn)作的簡化模擬。

大腦里的神經(jīng)元不是靜態(tài)的開關(guān)，而是通過同步振蕩來傳遞信息。

CTM捕捉了這個精髓：它用神經(jīng)動態(tài)作為核心表示，讓模型在「內(nèi)部思考維度」上逐步展開計算。

他說，「我們并沒有追求完全生物學(xué)可行性，因為大腦并不是靠有線方式讓所有神經(jīng)元同步的。但這種思路帶來了全新的研究可能。」

重要的是，他們在做這項研究時，并沒有任何學(xué)術(shù)圈常見的「搶發(fā)壓力」。

因為沒人做這個方向。他們有充分的時間去打磨這篇論文，把研究做實，把對照實驗做足。

他希望這項研究能成為一個「示范案例」，鼓勵其他研究者去嘗試那些看似風(fēng)險高、但更可能通向下一個大突破的研究方向。

后人哀之而不鑒之

這是近期AI領(lǐng)域最坦誠的言論之一。

Llion Jones承認(rèn)，當(dāng)前多數(shù)研究可能只是在局部最優(yōu)解上修修補(bǔ)補(bǔ)，而真正的突破或許在完全不同的方向。

他對此深有體會——畢竟他曾親手讓上一代研究者的成果黯然失色。

令人不安的是：如果他是對的，那么所有埋頭改進(jìn)Transformer變體的人都在浪費(fèi)時間。

所有混合專家模型、所有架構(gòu)微調(diào)、所有注意力機(jī)制變體——都可能在新范式出現(xiàn)時瞬間過時。

但陷阱在于：除非有人真正突破，否則你永遠(yuǎn)無法確定自己是否困在局部最優(yōu)里。

身在局中時，一切看似都是進(jìn)步。直到Transformer出現(xiàn)前，RNN的改進(jìn)不也看起來勢不可擋嗎？

同樣， Ilya近期也評論道，僅靠Scaling當(dāng)前架構(gòu)并不足以實現(xiàn)AGI：

Scaling時代的一個后果是：Scaling吸走了房間里所有的氧氣。

正因如此，所有人開始做同樣的事。我們走到了今天這個局面——公司數(shù)量多于創(chuàng)新電子的世界。

那么該如何抉擇？

Llion Jones并未聲稱知道未來方向，只是坦言Transformer可能不是長期答案。這很誠實，卻缺乏可操作性。

這個難題在于：每次范式轉(zhuǎn)移，在事后看來都像是徒勞，但在當(dāng)時卻是必要的探索。我們無法跳過這個階段，只能祈禱有人能更快找到出口。

Transformer已死？DeepMind正在押注另一條AGI路線

谷歌祭出Transformer殺手，8年首次大突破！掌門人劃出AGI死線

終結(jié)Transformer統(tǒng)治！清華姚班校友出手，劍指AI「災(zāi)難性遺忘」

一封來自Transformer之父的分手信：8年了！世界需要新的AI架構(gòu)

參考資料：

https://www.youtube.com/watch?v=DtePicx_kFY&t=1s