萬(wàn)億思考模型新速度！螞蟻開(kāi)源Ring-2.5-1T

• 克雷西 發(fā)自 凹非寺
  量子位 | 公眾號(hào) QbitAI

來(lái)來(lái)來(lái)，狠角色來(lái)給春節(jié)AI大模型大戰(zhàn)升級(jí)了。

剛剛，螞蟻集團(tuán)正式發(fā)布了全球首個(gè)開(kāi)源混合線性架構(gòu)萬(wàn)億參數(shù)模型Ring-2.5-1T。

這次它在數(shù)學(xué)邏輯推理和長(zhǎng)程自主執(zhí)行能力上都練就了一身本領(lǐng)。

具體來(lái)說(shuō)，它在IMO拿到了35分的金牌水平，CMO更是轟出105分遠(yuǎn)超國(guó)家集訓(xùn)隊(duì)線；任務(wù)執(zhí)行方面，則在搜索、編碼這些復(fù)雜任務(wù)上都能獨(dú)當(dāng)一面。

而且這次發(fā)布，打破了業(yè)界長(zhǎng)期以來(lái)關(guān)于深度思考必然要犧牲推理速度和顯存的“不可能三角”。

以前大家默認(rèn)模型要想邏輯嚴(yán)密、想得深，推理解碼就得慢成龜速，顯存開(kāi)銷還得爆炸。

但Ring-2.5-1T靠架構(gòu)創(chuàng)新，成功實(shí)現(xiàn)在生成長(zhǎng)度拉到32K以上時(shí)，讓訪存規(guī)模直接降到了1/10以下，同時(shí)生成吞吐量暴漲了3倍多。

所以它現(xiàn)在身上掛著兩個(gè)極具反差感的標(biāo)簽，既是“開(kāi)源界最聰明”的奧數(shù)大神，又是“跑得最快”的萬(wàn)億參數(shù)思考者。

目前它已適配Claude Code、OpenClaw這些主流智能體框架，模型權(quán)重和推理代碼也已經(jīng)在Hugging Face、ModelScope等平臺(tái)同步開(kāi)放了。

混合架構(gòu)讓效率大幅提升

Ring-2.5-1T之所以能打破深度思考必然犧牲推理速度這一行業(yè)魔咒，主要是因?yàn)槠涞讓硬捎昧嘶旌暇€性注意力架構(gòu)。

這種架構(gòu)基于Ring-flash-linear-2.0技術(shù)路線演進(jìn)而來(lái)。具體來(lái)說(shuō)，其采用了1:7的MLA（Multi-Head Latent Attention）配Lightning Linear Attention的混搭設(shè)計(jì)。

為了讓模型在保持強(qiáng)大推理能力的同時(shí)實(shí)現(xiàn)線性級(jí)的推理速度，團(tuán)隊(duì)在訓(xùn)練上采用了增量訓(xùn)練的方式。

他們先把一部分原本的GQA（分組查詢注意力）層直接轉(zhuǎn)化為L(zhǎng)ightning Linear Attention，這部分專門負(fù)責(zé)在長(zhǎng)程推理場(chǎng)景下把吞吐量拉滿；然后為了極致壓縮KV Cache，再把剩下的GQA層近似轉(zhuǎn)換為MLA。

但這還不夠，為了防止模型表達(dá)能力受損，研究團(tuán)隊(duì)又專門適配了QK Norm和Partial RoPE這些特性，確保模型性能不降級(jí)。

經(jīng)過(guò)這一番底層架構(gòu)的重構(gòu)，Ring-2.5-1T直接利用線性時(shí)間復(fù)雜度的特性，完美解決了長(zhǎng)窗口下顯存爆炸的難題。

改造后，Ring-2.5-1T的激活參數(shù)量從51B提升至63B，但其推理效率相比Ling 2.0仍實(shí)現(xiàn)了大幅提升。

這意味著長(zhǎng)程推理不再是那種“燒錢又燒顯卡”的重資產(chǎn)操作，而是變得相當(dāng)輕量化，徹底解決了深度思考模型通常推理慢、成本高的痛點(diǎn)。

當(dāng)然，光跑得快沒(méi)用，邏輯還得嚴(yán)密。在思維訓(xùn)練上，Ring-2.5-1T引入了密集獎(jiǎng)勵(lì)機(jī)制。

這就像老師改卷子時(shí)不能只看最后的得數(shù)，還得死摳解題步驟里的每一個(gè)推導(dǎo)環(huán)節(jié)，會(huì)重點(diǎn)考察思考過(guò)程的嚴(yán)謹(jǐn)性，這讓模型大幅減少了邏輯漏洞，高階證明技巧也顯著提升。

在此基礎(chǔ)上，螞蟻團(tuán)隊(duì)又給它上了大規(guī)模全異步Agentic RL訓(xùn)練，顯著提升了它在搜索、編碼這些長(zhǎng)鏈條任務(wù)上的自主執(zhí)行能力，讓它從單純的“做題家”變成了能真正下場(chǎng)干活的實(shí)戰(zhàn)派。

Ring-2.5-1T實(shí)戰(zhàn)演練

接下來(lái)把Ring拉出來(lái)遛遛，我讓Gemini專門設(shè)計(jì)了一道能把人腦干燒的抽象代數(shù)證明題。

這道題目考察的是群論，要求模型在一個(gè)有限群里證明非交換群的階≥27，還得把中心階和正規(guī)子群的底細(xì)給摸清。

Ring-2.5-1T接招的姿勢(shì)也是相當(dāng)專業(yè)。它先是反手掏出Cauchy定理，接著就開(kāi)始有條不紊地排雷，把階為1、3、9這些只能是交換群的坑全給避開(kāi)了。

而且它在證明非交換性的時(shí)候，不僅沒(méi)被那種“3^k階群肯定交換”的直覺(jué)給帶偏，還直接把Heisenberg群甩出來(lái)當(dāng)反例，可以說(shuō)很有邏輯敏感度了。

整個(gè)實(shí)測(cè)看下來(lái)，它的邏輯推導(dǎo)嚴(yán)絲合縫。模型不僅把高深定理給吃透了，在處理這種長(zhǎng)達(dá)好幾步的邏輯鏈條時(shí)還沒(méi)出半點(diǎn)紕漏，特別是對(duì)反例的運(yùn)用直接把它的邏輯深度拉滿。

這足以證明密集獎(jiǎng)勵(lì)訓(xùn)練確實(shí)讓模型長(zhǎng)了腦子，它處理這類硬核邏輯任務(wù)時(shí)的表現(xiàn)，完全是實(shí)戰(zhàn)派的水準(zhǔn)。

測(cè)完了硬核的數(shù)學(xué)難題，咱們?cè)賮?lái)看看這個(gè)實(shí)戰(zhàn)派選手在系統(tǒng)級(jí)編程上，到底穩(wěn)不穩(wěn)。

這道代碼實(shí)測(cè)題要求模型用Rust語(yǔ)言從零開(kāi)始手寫(xiě)一個(gè)高并發(fā)線程池，模型得在不用任何現(xiàn)成庫(kù)的情況下，靠Arc、Mutex和Condvar把任務(wù)分發(fā)邏輯給硬生生地搭出來(lái)。

不光得能跑，還得支持“優(yōu)雅關(guān)機(jī)”，意思就是主線程在退出的時(shí)侯，必須確保所有派發(fā)出去的活兒全干完，而且堅(jiān)決不能出現(xiàn)死鎖這種低級(jí)錯(cuò)誤。

另外還得加個(gè)監(jiān)控模塊，萬(wàn)一哪天某個(gè)Worker線程直接崩潰了，模型得能自動(dòng)發(fā)現(xiàn)并把線程重啟，而且還沒(méi)處理完的任務(wù)隊(duì)列一個(gè)都不能丟，這非常考驗(yàn)?zāi)Ｐ蛯?duì)內(nèi)存安全和并發(fā)底層的理解。

來(lái)看Ring-2.5-1T給出的這份代碼，它的處理方式確實(shí)非常老練。它通過(guò)panic::catch_unwind精準(zhǔn)捕獲崩潰并配合一個(gè)獨(dú)立的監(jiān)控線程實(shí)現(xiàn)自動(dòng)重啟，這種設(shè)計(jì)巧妙避開(kāi)了初學(xué)者最容易掉進(jìn)去的死鎖陷阱。

代碼在所有權(quán)管理與異步通知上的邏輯清晰且老練，優(yōu)雅關(guān)機(jī)部分通過(guò)活動(dòng)線程計(jì)數(shù)與信號(hào)量喚醒機(jī)制配合，完美達(dá)成了任務(wù)全部清空的目標(biāo)。

把統(tǒng)一模態(tài)做成可復(fù)用底座

除了在架構(gòu)和推理上的大動(dòng)作，螞蟻集團(tuán)在通用人工智能基模領(lǐng)域保持多線并進(jìn)，同期發(fā)布了擴(kuò)散語(yǔ)言模型LLaDA2.1和全模態(tài)大模型Ming-flash-omni-2.0。

LLaDA2.1采用了非自回歸并行解碼技術(shù)，徹底改變了傳統(tǒng)模型逐詞預(yù)測(cè)的生成范式，推理速度達(dá)到了535tokens/s，在特定任務(wù)（如 HumanEval+編程任務(wù)）上的吞吐量甚至達(dá)到了更驚人的892tokens/s。

這種架構(gòu)不僅大幅提升了吞吐效率，也讓模型具備了獨(dú)特的Token編輯與逆向推理能力。它可以直接在推理過(guò)程中對(duì)文本中間的特定Token進(jìn)行精準(zhǔn)修正，或者基于預(yù)設(shè)的邊界條件進(jìn)行反向邏輯追溯。

這種靈活性在處理需要高頻改寫(xiě)或復(fù)雜邏輯回溯的任務(wù)時(shí)，展現(xiàn)出了比傳統(tǒng)自回歸模型更強(qiáng)的適配性。

全模態(tài)大模型Ming-flash-omni-2.0則是在視覺(jué)、音頻、文本的統(tǒng)一表征與生成上實(shí)現(xiàn)了重大突破。

它在技術(shù)底層打通了視覺(jué)、音頻與文本的邊界，通過(guò)全模態(tài)感知的強(qiáng)化與泛音頻統(tǒng)一生成框架，讓模型既具備博學(xué)的專家級(jí)知識(shí)儲(chǔ)備，又擁有沉浸式的音畫(huà)同步創(chuàng)作能力。

這種全能型架構(gòu)，實(shí)現(xiàn)了極高響應(yīng)頻率下的實(shí)時(shí)感官交互。

這一大波技術(shù)更新背后的算盤很清楚，螞蟻inclusionAI是想把這些能力做成可復(fù)用底座。

這就是要給行業(yè)打個(gè)樣，給開(kāi)發(fā)者提供一個(gè)統(tǒng)一的能力入口，以后想做多模態(tài)應(yīng)用不用再到處找模型拼湊了，直接調(diào)這個(gè)現(xiàn)成的底座就行。

據(jù)稱已經(jīng)明牌的是，接下來(lái)團(tuán)隊(duì)還會(huì)繼續(xù)死磕視頻時(shí)序理解、復(fù)雜圖像編輯和長(zhǎng)音頻實(shí)時(shí)生成這幾個(gè)硬骨頭。

這些其實(shí)都是全模態(tài)技術(shù)規(guī)模化落地的最后幾道關(guān)卡，只要把長(zhǎng)視頻邏輯看懂、把復(fù)雜修圖搞精、把音頻生成弄得更絲滑，全模態(tài)AI就能在各種干活場(chǎng)景里真正爆發(fā)了。

螞蟻這一套組合拳打下來(lái)，能感覺(jué)到他們?cè)诖汗?jié)檔這波華山論劍里真不是來(lái)湊熱鬧的，這一本本厚實(shí)的成績(jī)單交出來(lái)，直接就把技術(shù)底蘊(yùn)給亮透了。

這種從底層邏輯到實(shí)戰(zhàn)執(zhí)行的全面爆發(fā)，穩(wěn)穩(wěn)地證明了他們就是全球AI圈子里最頂尖的那一撥選手，展現(xiàn)出了第一梯隊(duì)的水平。

螞蟻現(xiàn)在的路數(shù)，已經(jīng)跳出了單純炫技的層面，他們正把這些壓箱底的本事，變成大家能直接上手的底座方案。

大模型的華山論劍，門檻被螞蟻卷得更高了。

開(kāi)源地址
GitHub：https://github.com/inclusionAI/Ring-V2.5
Huggingface：https://huggingface.co/inclusionAI/Ring-2.5-1T
ModelScope：https://www.modelscope.cn/models/inclusionAI/Ring-2.5-1T