螞蟻集團新突破：100B參數擴散語言模型重塑AI文本生成

這項由螞蟻集團聯合人民大學、浙江大學、西湖大學和香港科技大學的國際研究團隊于2025年12月發表在arXiv預印本平臺上的研究（論文編號：2512.15745v1），成功開發出了名為LLaDA2.0的全新AI語言模型系列。這個系列的"旗艦"版本LLaDA2.0-flash擁有驚人的1000億參數規模，在AI語言生成領域開創了一個全新的技術路徑。

在當今的AI世界里，絕大多數語言模型就像是一個只能從左到右閱讀的學生。當你讓它寫一段文字時，它必須按照固定順序，一個字一個字地思考和生成，就像我們平時說話一樣——必須先說第一個字，再說第二個字。雖然這種方式很自然，但也帶來了一個明顯的限制：速度慢，特別是在生成長文本時，就像排隊買票一樣，每個人都得等前面的人辦完才能輪到自己。

螞蟻集團的研究團隊采用了一種完全不同的思路，他們讓AI模型學會了"并行思考"的能力。這就好比原來的AI是單線程處理器，只能一個任務接一個任務地完成，而新的LLaDA2.0則像是多核處理器，可以同時處理多個任務。具體來說，傳統模型在生成文本時，就像一個人在黑暗中摸索著前進，只能看到已經寫過的部分；而擴散語言模型則像是在明亮的房間里工作，可以看到整個上下文，從而做出更好的決策。

更令人驚喜的是，研究團隊并沒有選擇從零開始訓練這個龐大的模型，那樣做就像是要重新發明輪子一樣費時費力。相反，他們采用了一種巧妙的"改裝"策略，將現有的優秀自回歸語言模型作為起點，通過精心設計的三階段訓練流程，逐步將其轉化為擴散模型。這種方法不僅大大節省了訓練成本，還充分保留了原模型已經學到的豐富知識。

從實驗結果來看，LLaDA2.0系列模型在多項任務上都表現出色，特別是在代碼生成和數學推理等需要結構化思維的任務中，甚至超越了同規模的傳統模型。更重要的是，得益于并行生成的特性，這些模型在保持高質量輸出的同時，還能提供更快的推理速度，在某些場景下比傳統模型快了2倍多。

一、化腐朽為神奇：從傳統模型到擴散模型的華麗轉身

傳統的自回歸語言模型就像是一個嚴格按照劇本演出的演員，它們必須嚴格按照從左到右的順序生成每一個詞。當模型需要生成"我喜歡在陽光明媚的下午讀書"這樣一個句子時，它必須先確定"我"，然后是"喜歡"，接著是"在"，以此類推。每個詞的選擇都只能基于前面已經生成的詞，就像多米諾骨牌一樣，一個接一個倒下。

這種方式雖然符合人類的說話習慣，但也帶來了顯而易見的問題。當需要生成長篇文章時，模型就像一個跑馬拉松的選手，必須一步一步地跑完全程，無法跳躍或并行處理。更糟糕的是，如果在生成過程中出現錯誤，就像打字時按錯了一個鍵，后續的所有內容都可能受到影響，而模型卻無法回頭修正。

螞蟻集團的研究團隊提出的擴散語言模型則完全打破了這種限制。擴散模型的工作原理就像是一個拼圖游戲的高手，它首先看到整個畫面的輪廓，然后同時在多個位置放置拼圖塊。在文本生成中，這意味著模型可以同時考慮句子的開頭、中間和結尾，從而做出更加連貫和合理的決策。

具體來說，擴散模型的訓練過程就像是教一個學生學會"完形填空"的超級版本。研究團隊會隨機遮蓋句子中的一些詞，然后讓模型學習如何根據剩余的詞來推斷被遮蓋的內容。與傳統的完形填空不同，這里的"空白"可能出現在句子的任何位置，而且可能有多個空白需要同時填補。通過大量這樣的練習，模型逐漸學會了理解整個句子的語境和邏輯結構。

然而，將一個已經訓練好的自回歸模型直接轉換為擴散模型，就像是要讓一個習慣了按部就班工作的員工突然適應多線程工作模式，這個過程充滿了挑戰。兩種模型的"思維方式"截然不同：自回歸模型習慣了線性思考，而擴散模型需要全局思考。如果轉換過程處理不當，模型可能會"忘記"之前學到的知識，就像一個失憶癥患者一樣。

為了解決這個問題，研究團隊設計了一個漸進式的轉換策略。他們沒有讓模型一下子就適應全新的工作模式，而是采用了類似于"溫水煮青蛙"的方法，讓模型逐漸適應新的訓練方式。這個過程被稱為"熱身-穩定-衰減"（Warmup-Stable-Decay，簡稱WSD）策略，就像是為模型設計了一個完整的"適應訓練計劃"。

在熱身階段，研究團隊首先讓模型練習處理小塊的文本，就像是讓一個新手司機先在停車場里練習，而不是直接上高速公路。模型從處理單個詞開始，逐漸擴展到處理更長的文本片段，直到能夠處理完整的句子。在穩定階段，模型已經適應了新的工作模式，研究團隊會用大量的數據對其進行強化訓練，就像是讓一個已經掌握基本技能的運動員進行大量的實戰練習。最后在衰減階段，研究團隊會將模型調整到最適合實際應用的配置，就像是為賽車進行最后的調校。

這種漸進式的轉換策略取得了令人驚喜的效果。實驗結果顯示，經過WSD策略訓練的模型不僅成功地掌握了擴散生成的能力，還完整地保留了原始模型的知識和能力。這就像是一個人學會了新技能的同時，還沒有忘記原來的本領，實現了真正的"技能升級"。

二、并行思維的藝術：讓AI同時處理多個任務

傳統語言模型的工作方式就像一個古老的打字機，每次只能敲擊一個字母，必須等前一個字母完全確定后才能繼續下一個。即使是最先進的自回歸模型，在生成長文本時也必須遵循這種嚴格的順序約束。當你要求模型寫一篇文章時，它就像一個只能一筆一筆繪畫的藝術家，無法跳躍到畫面的其他部分進行創作。

擴散語言模型徹底改變了這種工作方式。它們就像是一群協同工作的畫家，可以同時在畫布的不同位置作畫，相互參考，互相協調，最終創作出一幅和諧統一的作品。在文本生成中，這意味著模型可以同時思考一個句子的主語、謂語和賓語，從而確保語法的正確性和語義的連貫性。

為了實現這種并行處理能力，研究團隊設計了一種名為"塊擴散"（Block Diffusion）的創新機制。這個機制就像是將一長段文字分割成若干個小段落，然后讓模型可以同時處理多個段落。與傳統方法相比，這不僅提高了處理速度，還讓模型能夠更好地理解文本的整體結構。

在具體實現上，塊擴散機制采用了一種巧妙的注意力掩碼設計。傳統的自回歸模型使用單向注意力機制，就像一個只能向前看的司機，只能根據已經走過的路來決定下一步怎么走。而擴散模型使用雙向注意力機制，就像一個可以360度觀察周圍環境的司機，能夠同時考慮前方、后方和側面的信息來做出最優決策。

研究團隊特別注意到，在訓練過程中，模型可能會形成一些"錯誤的聯想"。由于訓練數據通常是將多個不同的文檔拼接在一起的，模型可能會錯誤地認為來自不同文檔的內容之間存在某種關聯。這就像是一個學生在閱讀時錯誤地將兩個不相關的故事聯系在一起，從而產生混淆。

為了解決這個問題，研究團隊開發了一種"文檔級注意力掩碼"機制。這個機制就像是在模型的"視野"中安裝了隔板，確保模型在處理某個文檔的內容時，不會被其他不相關文檔的內容所干擾。這樣一來，模型就能夠更加專注地理解單個文檔的內容，避免產生語義混淆。

在推理階段，LLaDA2.0采用了一種創新的"置信度閾值"生成策略。這個策略就像是一個經驗豐富的廚師品嘗菜肴，只有當確信某道菜已經達到標準時才會端給客人。模型在生成每個詞時，會同時評估自己的置信度。只有當置信度超過預設閾值時，這個詞才會被最終確定。這種機制既保證了生成質量，又充分利用了并行生成的優勢。

實驗結果表明，這種并行生成策略在保持高質量輸出的同時，顯著提升了推理速度。在某些任務中，LLaDA2.0的生成速度比同規模的傳統自回歸模型快了2倍以上。更重要的是，由于模型能夠同時考慮整個上下文，生成的文本在邏輯連貫性和語言流暢性方面都有明顯改善。

三、精心設計的訓練菜譜：三階段轉換策略

將一個訓練好的自回歸語言模型轉換為擴散模型，就像是要將一個擅長獨奏的音樂家培養成優秀的指揮家——不僅要保持原有的音樂才華，還要學會協調整個樂團的演奏。這個過程需要極其精細的規劃和循序漸進的訓練。

研究團隊設計的三階段轉換策略就像是一份精心調配的訓練菜譜。在第一階段，也就是"熱身"階段，他們從最小的文本塊開始訓練。最初，模型只需要處理單個詞的預測，這與原來的自回歸訓練方式非常相似，就像是讓一個習慣了獨奏的鋼琴家先熟悉指揮棒的使用。然后，他們逐漸增加文本塊的大小，從4個詞擴展到32個詞，再到64個詞，最終達到4096個詞。

這個漸進擴展的過程就像是教一個孩子學游泳，不會一開始就把他們扔進深水區，而是從淺水區開始，讓他們逐漸適應水的環境。每當塊大小發生變化時，模型都需要一段時間來適應新的訓練模式。研究團隊發現，這種漸進式擴展不僅避免了訓練不穩定的問題，還幫助模型更好地理解了不同尺度上的語言結構。

當塊大小達到4096個詞時，模型實際上已經能夠處理完整的長文本了。這時候就進入了第二階段——"穩定"階段。在這個階段，模型就像一個已經掌握了指揮技巧的音樂家，需要通過大量的實戰演出來提升自己的水平。研究團隊使用海量的訓練數據對模型進行強化訓練，讓它在處理各種類型的文本時都能游刃有余。

穩定階段的訓練特別重要，因為此時模型的計算效率得到了顯著提升。由于不再需要維護傳統的因果注意力結構，模型可以更高效地利用計算資源。這就像是從單線程處理升級到多線程處理，同樣的硬件配置可以處理更多的數據，訓練效率得到了大幅提升。

第三階段是"衰減"階段，這個階段的目標是將模型調整到最適合實際應用的狀態。研究團隊會將塊大小逐漸減小，最終穩定在32個詞左右。這個過程就像是將一輛經過賽道測試的賽車調整為適合日常駕駛的配置，既要保持優秀的性能，又要確保實用性和穩定性。

在整個轉換過程中，研究團隊還采用了一種被稱為"互補掩碼"的訓練技巧。這種技巧就像是讓學生做兩份互補的練習題，如果第一份題目遮蓋了句子中的奇數位置的詞，那么第二份題目就遮蓋偶數位置的詞。這樣一來，同一個句子中的每個詞都有機會被模型學習和預測，大大提高了訓練數據的利用效率。

為了確保轉換后的模型具有足夠的魯棒性，研究團隊還開發了一種"top-k檢查點融合"策略。他們會保存訓練過程中表現最好的幾個模型版本，然后將這些版本的參數進行平均融合，得到最終的模型。這種做法就像是讓幾個優秀的專家共同做決策，能夠有效地減少單個模型可能存在的偏差和不穩定性。

實驗結果證明了這種三階段轉換策略的有效性。經過完整訓練的LLaDA2.0模型不僅成功地掌握了擴散生成的能力，還完美地保留了原始模型的知識儲備。在各種評測任務中，新模型的表現不僅沒有下降，在某些需要全局理解的任務中甚至有所提升。

四、讓AI變得更聰明：后訓練優化的魔法

當一個基礎的擴散語言模型訓練完成后，它就像是一個剛剛學會說話的孩子——雖然具備了語言能力，但還需要進一步的教育和引導才能成為一個有用的助手。這個過程被稱為"后訓練"，包括了讓模型學會遵循指令、理解人類偏好，以及優化推理效率等多個方面。

在指令微調階段，研究團隊就像是給模型聘請了一個專業的禮儀老師。他們精心準備了大量的對話示例，教會模型如何正確地理解和回應人類的各種請求。這個過程需要特別注意擴散模型的特殊性質——由于模型采用的是隨機掩碼訓練方式，每個訓練樣本只能提供部分的學習信號。

為了解決這個問題，研究團隊開發了一種"互補掩碼"策略。這種策略就像是讓學生從不同角度反復學習同一個知識點。對于同一個對話示例，他們會創建兩個互補的訓練樣本：第一個樣本掩蓋一部分詞，第二個樣本掩蓋剩余的詞。這樣一來，模型就能從完整的對話中學習到所有必要的信息，大大提高了訓練效率。

在訓練數據的準備上，研究團隊采用了一種均衡的配方。他們將訓練數據分為三大類別：推理類數據用于提升模型的邏輯思維能力，包括數學題解和代碼生成；通用類數據用于增強模型的語言表達能力，包括創意寫作和日常對話；行業類數據用于培養模型的專業技能，包括各種專業領域的知識和工作流程。這種均衡的配方確保了模型能夠全面發展，而不會偏向某個特定領域。

為了進一步提升模型的推理效率，研究團隊還開發了一種"置信度感知并行訓練"方法。這種方法的核心思想是讓模型不僅要學會給出正確答案，還要學會評估自己答案的可靠性。這就像是訓練一個學生不僅要會做題，還要能夠判斷自己的答案是否正確。

在這種訓練方法中，模型需要同時優化兩個目標：一個是傳統的生成目標，確保輸出的文本質量；另一個是置信度目標，讓模型學會準確評估自己的預測置信度。通過這種訓練，模型在生成文本時能夠更加"自信"地做出決策，從而支持更加高效的并行生成策略。

研究團隊還將先進的偏好對齊技術應用到了擴散模型上。他們采用了直接偏好優化（DPO）方法，這種方法就像是通過對比學習讓模型明白什么樣的回答更受人類歡迎。由于擴散模型的特殊性質，研究團隊對傳統的DPO算法進行了巧妙的改進，使其能夠適應擴散模型的訓練機制。

在偏好數據的構建上，研究團隊收集了150萬對高質量的偏好樣本，涵蓋了常識問答、數學推理、指令遵循等多個維度。這些數據就像是一本詳細的"行為準則手冊"，告訴模型在不同情況下應該如何表現才能更好地滿足人類的期望。

最終訓練出來的LLaDA2.0-mini（160億參數）和LLaDA2.0-flash（1000億參數）模型不僅在各種標準評測中表現出色，更重要的是它們展現出了擴散模型獨特的優勢。在需要全局理解和結構化思維的任務中，比如代碼生成和數學推理，這些模型的表現甚至超越了同規模的傳統自回歸模型。

五、實戰檢驗：在真實任務中展現實力

為了全面評估LLaDA2.0系列模型的能力，研究團隊設計了一套包含47個不同評測任務的綜合測試套件。這就像是為一個全能型運動員準備的奧運會項目，需要在各種不同的"賽道"上證明自己的實力。

在知識類任務中，模型需要展現其對各種領域知識的掌握程度。這包括了從基礎的常識問答到高難度的科學問題，從中文理解到英文表達，就像是讓模型參加一場跨越多個學科的知識競賽。LLaDA2.0-flash在MMLU（大規模多任務語言理解）測試中獲得了87.69分，在MMLU-Pro這個更加困難的版本中也達到了73.36分，充分展現了其廣博的知識儲備。

在推理類任務中，模型需要展現其邏輯思維和分析能力。這些任務就像是各種腦筋急轉彎和邏輯推理題，需要模型能夠理解復雜的因果關系，進行多步推理。特別是在HellaSwag這個常識推理任務中，LLaDA2.0-flash取得了84.97分，表明其在理解日常情況下的因果邏輯方面表現出色。

代碼生成任務是擴散模型特別擅長的領域。由于編程本身就具有很強的結構性特征，需要同時考慮語法正確性、邏輯合理性和功能完整性，這正好發揮了擴散模型能夠全局理解的優勢。在HumanEval這個經典的代碼生成測試中，LLaDA2.0-flash取得了94.51分，超越了同規模的傳統模型。在更加復雜的MBPP測試中，也達到了88.29分的優異成績。

數學推理是另一個展現擴散模型優勢的領域。數學問題往往需要多步推理和結構化思考，傳統的從左到右生成方式可能會在復雜推理過程中迷失方向，而擴散模型能夠更好地把握整體的解題思路。在GSM8K這個小學數學應用題測試中，LLaDA2.0-flash獲得了96.06分的近乎完美的成績。在更加困難的MATH高中數學競賽題目中，也取得了95.44分的優異表現。

在智能代理和工具使用任務中，模型需要展現其理解復雜指令并正確調用各種工具的能力。這類任務就像是測試一個助手是否能夠準確理解老板的意圖并使用適當的工具完成任務。在BFCL（伯克利函數調用排行榜）測試中，LLaDA2.0-flash取得了75.43分，展現了其出色的工具使用能力。

研究團隊還特別測試了模型在不同上下文長度下的表現。他們使用RULER基準測試了模型處理4k到32k不同長度文本的能力。結果顯示，LLaDA2.0-flash在處理長文本時表現穩定，在32k長度下仍能保持90分以上的成績。當使用動態位置編碼擴展技術將上下文長度擴展到64k時，雖然性能有所下降，但仍能正常工作，為處理超長文檔提供了可能。

在推理速度測試中，LLaDA2.0系列模型展現出了擴散架構的獨特優勢。在配備了置信度感知并行訓練的LLaDA2.0-flash-CAP版本中，平均推理速度達到了535個詞每秒，比標準版本的383個詞每秒有顯著提升，更是比同規模的傳統自回歸模型快了2倍以上。這種速度優勢在實際應用中具有重要意義，特別是在需要快速響應的交互場景中。

值得注意的是，LLaDA2.0模型在某些特定任務上表現出了明顯的優勢。特別是在需要結構化思維的任務中，如代碼生成、數學推理和工具使用，擴散模型的全局理解能力得到了充分體現。這表明，隨著模型規模的擴大和訓練技術的改進，擴散語言模型有望在這些重要應用領域超越傳統的自回歸模型。

六、技術創新的幕后故事：工程實現的巧思

開發一個1000億參數規模的擴散語言模型，就像是指揮一場包含數萬名演奏者的超大型交響樂演出。每個"演奏者"（計算節點）都必須在正確的時間演奏正確的"音符"（計算操作），任何一個環節出錯都可能影響整體效果。研究團隊在工程實現上展現出了remarkable的技術智慧。

在訓練基礎設施方面，研究團隊采用了Megatron-LM作為基礎框架，這是一個專門為超大規模語言模型訓練設計的分布式系統。他們巧妙地結合了多種并行策略：數據并行就像是讓多個廚師同時準備不同的菜品，管道并行就像是將一個復雜的制造過程分解為多個流水線環節，張量并行就像是將一個巨大的拼圖分給多個人同時拼裝，專家并行則專門針對模型中的專家網絡結構進行優化。

為了處理擴散模型特有的注意力機制，研究團隊選擇了cuDNN作為注意力計算的后端。這個選擇帶來了顯著的性能提升——相比傳統的注意力實現，端到端訓練速度提升了1.3倍，注意力層的內存使用量減少了90%以上。這就像是將原來需要很多工人手工完成的工作交給了一臺高效的自動化機器。

訓練過程中的數值穩定性是另一個關鍵挑戰。當將自回歸模型轉換為擴散模型時，由于訓練目標的變化，模型可能會出現梯度爆炸的問題，就像是一個習慣了平穩駕駛的司機突然要適應山路駕駛，可能會出現操控不穩的情況。研究團隊通過在訓練初期為被掩碼的詞添加獨立的高斯噪聲，巧妙地解決了這個問題，確保了訓練過程的穩定性。

在推理階段，研究團隊開發了專門的推理引擎dInfer，并將其功能集成到了知名的SGLang推理框架中。這個推理引擎充分利用了擴散模型的特性，實現了高效的KV緩存復用和并行解碼。推理過程采用了"混合接受策略"：對于置信度高的詞，模型會直接接受；對于置信度較低的情況，則會接受概率最高的若干個詞。這種策略既保證了生成質量，又充分發揮了并行生成的優勢。

負載均衡是分布式訓練中的一個重要考慮因素。由于擴散模型的注意力掩碼具有不規則的結構，可能會導致不同計算節點的工作量不均勻。研究團隊采用了"之字形分區策略"來解決這個問題，就像是將不規則形狀的拼圖碎片重新分組，確保每組的總面積大致相等，從而實現了良好的負載均衡。

在后訓練階段，研究團隊使用了自主開發的dFactory框架，這是一個專門為擴散語言模型設計的高效訓練工具包。該框架基于VeOmni分布式訓練系統構建，能夠有效地處理復雜的并行化配置。通過數據打包策略，多個短序列被拼接成更長的序列，提高了硬件利用率和訓練效率。

為了確保擴散模型特有的掩碼一致性，研究團隊設計了一個特殊的同步機制。在分布式訓練環境中，被掩碼的詞位需要在所有模型并行的rank中保持一致。他們的解決方案是在單個模型并行rank中生成掩碼，然后廣播到其他rank，就像是由一個指揮家統一發出節拍，確保所有演奏者保持同步。

這些工程創新的集合使得LLaDA2.0項目能夠在合理的時間和成本內完成訓練。更重要的是，這些技術創新為未來更大規模的擴散語言模型訓練奠定了堅實的技術基礎，就像是為后續的探索建造了一條寬闊的高速公路。

說到底，LLaDA2.0項目不僅僅是一個新模型的誕生，更是AI語言生成技術的一次重要范式轉變。這項由螞蟻集團領導的國際合作研究成功證明了擴散模型在語言生成任務中的巨大潛力。通過巧妙的轉換策略和精心設計的訓練流程，研究團隊不僅避免了從零開始訓練的巨大成本，還充分保留和發揚了現有模型的知識積累。

最令人興奮的是，LLaDA2.0展現出的并行生成能力預示著AI交互體驗的重大變革。在不久的將來，我們可能會看到響應速度更快、理解能力更強的AI助手，它們能夠更好地理解我們的需求，并以更自然、更高效的方式與我們協作。特別是在代碼生成、數學推理和復雜任務規劃等需要結構化思維的領域，擴散模型有望帶來突破性的改進。

這項研究的開源發布也為整個AI社區提供了寶貴的資源和經驗。其他研究團隊可以基于這些成果繼續探索擴散語言模型的更多可能性，推動整個領域向前發展。對于有興趣深入了解技術細節的讀者，可以通過論文編號arXiv:2512.15745v1在arXiv平臺上查閱完整的研究報告。

Q&A

Q1：LLaDA2.0擴散語言模型和傳統語言模型有什么區別？

A：最大的區別在于工作方式。傳統模型就像打字機一樣必須一個字一個字地生成，而LLaDA2.0可以同時處理多個位置的詞，就像多個畫家同時在畫布不同位置作畫。這種并行方式不僅速度更快，還能更好地保持整體邏輯的一致性。

Q2：為什么LLaDA2.0在代碼生成和數學推理方面表現特別好？

A：因為編程和數學問題都需要嚴格的結構性思維，需要同時考慮語法、邏輯和功能的完整性。擴散模型能夠"看到"整個問題的全貌，而不是像傳統模型那樣只能從左到右一步步推理，所以在這類需要全局理解的任務中表現更加出色。

Q3：普通用戶能使用LLaDA2.0模型嗎？

A：目前LLaDA2.0已經開源發布，技術團隊和開發者可以通過Huggingface平臺獲取模型代碼和權重。但由于模型規模龐大，普通用戶直接使用還需要相當的技術門檻和計算資源。未來可能會有基于這項技術的商業化產品面向普通用戶。