![]()
作者 | 貓貓頭
郵箱 | cathy@pingwest.com
在Llama徹底“崩盤”后,Meta創(chuàng)始人兼CEO扎克伯格親手拆除過去的團(tuán)隊(duì)、架構(gòu)并徹底走向“反Llama”路線,砸百億建起華人科學(xué)家為主的AI研發(fā)天團(tuán)。今天,在9個月后,在整個硅谷關(guān)注以及不少的冷嘲熱諷下,他和這個全新團(tuán)隊(duì)終于交出了首個模型作品,試圖證明一整套從零搭建的AI棧跑通了。
4月8日,Meta正式發(fā)布了MSL(Meta Superintelligence Labs)成立以來的第一個模型Muse Spark。九個月前Alexandr Wang加入Meta擔(dān)任首席AI官,帶著從OpenAI挖來的一眾華人核心研究員,推翻了整個Llama時代的技術(shù)棧——新基礎(chǔ)設(shè)施、新架構(gòu)、新數(shù)據(jù)管道,全部從零開始。Muse Spark就是這套新棧的第一個產(chǎn)出,現(xiàn)在它已經(jīng)直接上線驅(qū)動Meta AI。
![]()
在Llama 4因benchmark造假風(fēng)波陷入被動的背景下,這是Meta的一次全面重啟。
1
Muse Spark是什么
它是個處處和Llama反著來的模型:
一個被刻意設(shè)計得小巧、輕量、高響應(yīng)速度的原生多模態(tài)推理閉源模型。
先看它的核心能力:
原生多模態(tài):不是把視覺編碼器硬縫到文本模型上的"拼接式"架構(gòu)。從預(yù)訓(xùn)練階段起,文本、圖像、語音就在同一個高維特征空間里訓(xùn)練。這意味著它處理圖片不需要先翻譯成文字描述,而是直接從像素級別提取信息。
Visual Chain of Thought(VCoT,視覺思維鏈):傳統(tǒng)的思維鏈推理是純文本的,模型在文字里逐步拆解問題。Muse Spark把這個機(jī)制引入了視覺空間——它能在圖像中"思考",自主構(gòu)建視覺元素之間的空間和邏輯關(guān)系。
Contemplating Mode(沉思模式):對標(biāo)Gemini Deep Think和GPT Pro的極限推理模式。區(qū)別在于它不是單線串行推理,而是在后臺同時拉起多個并行運(yùn)算的子agent,各自處理任務(wù)的不同維度,最后由主控系統(tǒng)融合結(jié)果。沉思模式下Humanity's Last Exam達(dá)到58%,F(xiàn)rontierScience Research達(dá)到38%。
工具調(diào)用和多agent編排:原生支持,不是后期拼上去的。
目前Muse Spark已在meta.ai和Meta AI app上線,Contemplating Mode逐步灰度中,同時向少量合作伙伴開放私有API預(yù)覽。
![]()
1
技術(shù)亮點(diǎn):華人天團(tuán)都是怎么說的
今天MSL團(tuán)隊(duì)幾乎集體在X上發(fā)帖,幾個關(guān)鍵信息值得注意:
Meta官方博客放出了一個極其重要的數(shù)據(jù):在預(yù)訓(xùn)練階段,新棧達(dá)到同等能力水平所需的算力比上一代Llama 4 Maverick減少了超過一個數(shù)量級。不是百分之幾十的優(yōu)化,是10倍以上的效率提升。博客原文稱"over an order of magnitude less compute",并且"significantly more efficient than the leading base models available for comparison"——甚至比其他家的基座模型都高效。
Alexandr Wang的九條thread里最重要的一句話:"we saw predictable scaling across pretraining, RL, & test-time reasoning." 預(yù)訓(xùn)練、強(qiáng)化學(xué)習(xí)、測試時推理,三條線都看到了可預(yù)測的scaling——這可能比任何benchmark數(shù)字都重要。它意味著這套棧不是調(diào)出來的一個lucky shot,而是一個scaling曲線平滑的系統(tǒng)。
![]()
首席科學(xué)家趙晟佳(@shengjia_zhao)的描述更具體:這個模型的訓(xùn)練路徑是"端到端的教育"——school(預(yù)訓(xùn)練)、homework(RL)、on-the-job training(產(chǎn)品部署后的持續(xù)學(xué)習(xí))。他強(qiáng)調(diào)"we just got started"。
RL部分有個很有意思的技術(shù)細(xì)節(jié)。畢樹超(@shuchaobi)提到了訓(xùn)練中最痛苦的部分:大規(guī)模RL的不穩(wěn)定性,以及"fighting reward hacking"——對抗獎勵機(jī)制作弊。但官方博客顯示他們最終把RL跑到了"smooth, predictable gains"的狀態(tài),pass@1和pass@16都呈log-linear增長,而且在未見過的評測集上也能平滑泛化。
![]()
更有意思的是RL訓(xùn)練中出現(xiàn)的"相變"現(xiàn)象:團(tuán)隊(duì)在訓(xùn)練時引入了thinking time penalty(思考時間懲罰),模型先是通過更長的思考來提升表現(xiàn),然后在懲罰壓力下學(xué)會了"思想壓縮"——用更少的token解決同樣的問題,之后又再次延伸推理以達(dá)到更高性能。Ananya Kumar(@ananyaku)在帖中稱這個過程"pretty neat"。
Ananya放出的另一組圖表顯示了多agent推理的關(guān)鍵insight:多個agent并行推理,在相同延遲下能達(dá)到比單agent更高的性能。換句話說,Contemplating Mode不只是"讓模型想得更久",而是"讓多個模型同時想不同的事"。
![]()
余家輝(@jhyuxm)作為多模態(tài)底座的總架構(gòu)師,說了一句很有意思的話:"It's been a fulfilling journey not just building the model, but the team and culture behind it." 建模型是一回事,建團(tuán)隊(duì)和文化是另一回事——他們在九個月里兩件事同時干了。
![]()
Jason Wei(@_jasonwei)的回憶最有畫面感:"第一周我們在食堂吃了一頓漫長的晚餐,暢想研究方向,然后回到桌前寫了一個基本的inference llama腳本。現(xiàn)在我們有了一套相當(dāng)完整的技術(shù)棧,第一個模型已經(jīng)發(fā)布。"
![]()
1
Benchmark:什么領(lǐng)先不領(lǐng)先,回到牌桌先
再來看看benchmark數(shù)據(jù):
HealthBench Hard(極高難度醫(yī)學(xué)問答):Muse Spark 42.8,GPT-5.4是40.1,Gemini 3.1 Pro只有20.6,Claude Opus 4.6只有14.8。絕對領(lǐng)先,接近其他模型的兩到三倍。
CharXiv Reasoning(科研論文圖表深度理解):86.4,全行業(yè)最高。
SWE-bench Pro(真實(shí)軟件工程任務(wù)):55.0%,超過Claude Opus 4.6的51.9%。
Artificial Analysis綜合智能指數(shù):52分,而GPT-5.4和Gemini 3.1 Pro都是57分。
Meta想借此說明:Muse Spark在醫(yī)療多模態(tài)和科研圖表理解這兩個需要"真正看懂圖"的領(lǐng)域,已經(jīng)是毫無爭議的第一。在代碼工程上也進(jìn)入了第一梯隊(duì)。
不過,目前它綜合能力距離GPT-5.4和Gemini 3.1 Pro還有5分的差距,純文本高級推理方面也還沒撼動Anthropic和Google的積累。
這樣的表現(xiàn)繼續(xù)引來一些批評,Ndea的cofounder Fran?ois Chollet直接稱Muse Spark"已經(jīng)看起來是個令人失望的模型",他認(rèn)為模型過度優(yōu)化了公開benchmark,犧牲了實(shí)際可用性——而Alexandr Wang的回應(yīng)很克制:承認(rèn)模型在ARC AGI 2等評測上表現(xiàn)不佳,并強(qiáng)調(diào)這些數(shù)據(jù)已主動公開。
Chollet的質(zhì)疑不是沒有道理。Llama 4時代Meta就因benchmark造假風(fēng)波傷過一次信譽(yù)。這次Muse Spark在Artificial Analysis綜合指數(shù)上仍落后GPT-5.4和Gemini 3.1 Pro五分,醫(yī)療和科研圖表上的斷檔領(lǐng)先,是否來自對特定benchmark的定向優(yōu)化,還是原生多模態(tài)架構(gòu)帶來的真實(shí)能力?這個問題需要更多第三方獨(dú)立測試來回答。
Muse Spark當(dāng)然重要,但它最重要的意義不在于今天的benchmark分?jǐn)?shù)。
從這個模型的設(shè)計,到這些研究員此次重點(diǎn)介紹的技術(shù)亮點(diǎn),一切都指向?qū)lama的反對:Llama 4的大潰敗在扎克伯格眼里是個要徹底翻篇的事情,所以不只是它的開源路線,它的模型架構(gòu)要改,更重要的是它整個訓(xùn)練基礎(chǔ)設(shè)施都得給它掀翻了。此次這幾位核心作者的x發(fā)文,看起來都在圍繞底層技術(shù)棧的重構(gòu)來介紹。Muse Spark這次發(fā)布也讓人更明白扎克伯格挖來Alexander Wang的目的。
最恨Llama的還得是扎克伯格自己,他必須得全盤給它推翻,在廢墟里重建。
![]()
此次的發(fā)布也是Meta招兵買馬后那支華人天團(tuán)交出的第一個模型。余家輝(前OpenAI感知團(tuán)隊(duì)負(fù)責(zé)人、GPT-4o核心開發(fā)者)、趙晟佳(前OpenAI合成數(shù)據(jù)研發(fā)領(lǐng)頭人、ChatGPT聯(lián)合創(chuàng)作者)、任泓宇(前OpenAI o1/o3推理核心貢獻(xiàn)者)、畢樹超(前OpenAI多模態(tài)后訓(xùn)練負(fù)責(zé)人)、林紀(jì)(前OpenAI核心優(yōu)化專家)——這些被Meta用上億美元的簽字費(fèi)挖過來的AI科學(xué)家,在紙面上自然是一個明星團(tuán)隊(duì),他們必須先用一個模型讓Meta回到牌桌上。這是扎克伯格的當(dāng)務(wù)之急。
扎克伯格在九個月前交給他們的是一張白紙。今天他們交出的答案其實(shí)更多是一整套預(yù)訓(xùn)練、RL、測試時推理的完整棧,并且——關(guān)鍵在這——scaling曲線是平滑的、可預(yù)測的。
更大的模型已經(jīng)在路上了。
![]()
點(diǎn)個“愛心”,再走 吧
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.