北京
鷺羽 發自 凹非寺
量子位 | 公眾號 QbitAI
離職的LeCun，反手就給Meta一記重錘：差評如潮的Llama4真的作弊刷榜了！
- 結果的確被篡改了一點。
為了更好的結果，團隊對不同基準測試使用了不同的模型
都說別惹離職er，不止LeCun，田淵棟也在個人年終總結中透露了一點內幕。
- 明明是被拉來給Llama4救火的，事先預想了四種可能，結果小扎給了我第五種……
（扶額苦笑.jpg）
Anyway，至于離職后的打算，兩位大神都不約而同地表示：
創業！
Llama4刷榜引發的離職潮
DeepSeek還是給小扎壓力太大。
此前就有消息爆料，DeepSeek的橫空出世，讓Llama 4還沒發布就被甩在身后，逼得小扎瘋狂加碼AI投資。
這一點也得到了LeCun的證實。
小扎確實慌了，對內push上強度，要求GenAI部門加速AI開發和部署，還拉來原FAIR團隊的田淵棟救火。
結果就是，團隊之間溝通直接破裂。LeCun他們想要做些新東西，但小扎更想要已經被驗證過的、可以直接落地的技術。
真正的導火索則來自于Llama 4的慘敗。
不僅輸了，還因為排行榜造假名聲大跌，于是小扎徹底對團隊所有人失去了信心，并將他們全部邊緣化。
這也直接導致Meta開啟了團隊大換血：一邊天價從硅谷各個公司挖人，一邊又大刀闊斧裁掉老員工們。
田淵棟及其團隊則是被率先波及的一群人。
一月份被趕鴨子上架加入Llama 4，十月份Llama 4.5一訓完就被卸磨殺驢。
這波田淵棟都得喊冤……
因為上頭的壓力，全組被迫放下手頭正在做的工作，來Llama 4接爛攤子，距離發布ddl就剩2個月，還要處理所有dirty work。
為此，田淵棟那時還專門畫了個2x2的回報矩陣，計算了下干這事的四種結局：
但老板都發話了，不得不干啊，田淵棟想著那就但求盡力而為，問心無愧吧。
結果哼哧哼哧干了幾個月，小扎一個都沒選，給了Plan E：不問責負責人，轉頭把田淵棟和組員們一腳踢了出去。
難怪田淵棟復盤這段經歷時，也要來一句：
- 這也讓我對這社會的復雜性有了更為深刻的認識。
不過好在田淵棟自己也想得開，他說自己已經待在Meta十多年了，最近幾年更是抱著“公司快把我開了吧”的心態，所以也算是因禍得福吧，還給他接下來的小說創作提供了很多新素材（doge）。
（咳咳）言歸正傳，這幾個月對于田淵棟來說，也不算一無所獲，在強化學習訓練的核心問題上他也有了些新的探索。
首先是大模型推理，繼2024年底團隊公開的連續隱空間推理（coconut）引發廣泛關注后，團隊繼續通過理論工作Reasoning by Superposition進一步闡明了連續隱空間推理的優勢所在。
與此同時，也分別從不同角度嘗試提升模型推理效率：Token Assorted通過隱空間的離散token減少計算開銷、DeepConf基于置信度提前終止推理、ThreadWeaver制造并行思維鏈加速推理，以及在不同規模模型中用RL學習推理能力。
在可解釋性方面，研究聚焦于Grokking（頓悟） 這一特征涌現現象，從記憶到泛化的突變過程入手，試圖解釋模型究竟學到了什么、和輸入數據的關系、能達到怎樣的泛化，也就是打開模型的黑箱。
簡而言之，對于被拉來“背黑鍋”這事，田淵棟對老東家還是手下留情了，雖然你不地道，但我已經Let it go～
不過緊隨其后離職的LeCun就沒那么心軟了，直接痛批Meta內部對LLM上癮過甚，尤其是那些新挖來的超級智能實驗室成員。
他點名批評亞歷山大王：年輕且缺乏經驗。
雖然學得快，但壓根不懂研究，不知道怎么做、也不知道如何和研究員們共處。
在LeCun面前，這個27歲的年輕人，簡直像個little baby。
但大語言模型并非他們所想象的那樣美好，LeCun直言，LLM有用但本質受限于語言，夸張一點說：
- LLM是死胡同。
要實現人類水平智能，就必須了解物理世界的運作規律，也就是LeCun長期專注的世界模型，但Meta對此已經喪失了興趣。
在研究路線上的分歧，也讓LeCun不得不離開公司，開啟自己人生的下一章——創業。
離開Meta做點啥？創業
LeCun的新公司名為Advanced Machine Intelligence（AMI），做的還是他心心念念的世界模型，而且all in開源。
不過據他自己透露，他只會擔任新公司的執行主席而不是CEO。
- 我是一名科學家，我能激勵人們從事工作，以及猜測哪項技術會成功，但我不擅長組織管理，也實在太老了。
LeCun將擁有和之前在Meta相同的研究自由度，而負責帶領AMI的將交給法國醫療AI初創公司Nabla的聯合創始人兼CEO Alex LeBrun。
他們將目光聚焦在V-JEPA架構上，試圖通過學習視頻和空間數據來理解物理世界，讓AI完成規劃、推理并擁有長期記憶，也就是他常說的高級機器智能。
LeCun預計將在12個月內，見證該項技術的初始版本誕生，并在最近幾年內實現大規模進展，雖然它顯然還遠遠稱不上超級智能，但至少在通往AGI的道路上，它存在希望。
而作為LeCun的老下屬，田淵棟也拒絕了大廠們紛紛為他拋來的橄欖枝，剛剛正式宣布創業！
具體細節暫時未表，但他表示：
- 乘著自己還年輕，去當一家新初創公司的聯合創始人。
不管怎樣，先安靜地忙活一陣。
參考鏈接：
[1]https://www.ft.com/content/e3c4c2f6-4ea7-4adf-b945-e58495f836c2
[2]https://zhuanlan.zhihu.com/p/1990809161458540818
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
