南洋理工大學(xué)等突破：AI語言模型實現(xiàn)多字并行預(yù)測速度提升1.7倍

這項由南洋理工大學(xué)、新加坡管理大學(xué)和烏普薩拉大學(xué)聯(lián)合開展的研究，以預(yù)印本形式發(fā)布于2026年4月8日，論文編號為arXiv:2604.07023，有興趣深入了解的讀者可通過該編號查詢完整論文。

**每個字都要單獨"想一下"，這是一種浪費**

當你使用ChatGPT、文心一言或任何大語言模型時，你可能注意到它生成文字的方式很特別——一個字、一個字地往外蹦，像打字員在慢慢敲鍵盤。這背后有一個根深蒂固的設(shè)計邏輯：每生成一個字，模型都需要完整地"思考"一次，無論那個字有多顯而易見。

以一道簡單的數(shù)學(xué)題為例："2加2等于幾？"答案顯然是"4"，但模型在生成這個字之前，依然會老老實實地走完一整套思考流程。更極端的例子是，當模型輸出"綜上所述，答案是"這樣的套話時，后面跟著什么答案幾乎是被前文決定了的，但模型還是要為這幾個毫無懸念的字分別花費相同的計算資源。這就好比一個廚師，不管是切一根大蔥還是處理一道復(fù)雜的法式料理，都要把整套刀具和砧板重新擺一遍——顯然有點大費周章。

研究團隊把這種浪費看在眼里，于是提出了一個問題：能不能讓模型在"顯而易見"的時候，一口氣預(yù)測出好幾個字，而不是每次只能出一個？他們給出的答案，就是這篇論文的主角——**MARS**，全稱Mask AutoRegreSsion，直譯過來叫"掩碼自回歸"。

一、老方法有哪些痛點，MARS又是什么思路

在MARS出現(xiàn)之前，研究人員并非沒有想過讓模型多生成幾個字。主流的解決方案大致走了兩條路。第一條路是"找個助手來幫忙"，也就是所謂的推測解碼：先用一個小的、速度快的模型猜幾個字，再讓大模型來驗證這些猜測對不對。這個辦法有效，但代價是你需要同時養(yǎng)著兩個模型，內(nèi)存占用加倍，系統(tǒng)復(fù)雜度也大幅提升，就好比你雇了一個助手，但助手和你都需要一張完整的辦公桌。第二條路是"給模型裝上額外的腦子"，比如Medusa和EAGLE這類方法，在原有模型的基礎(chǔ)上附加多個預(yù)測頭，每個頭負責預(yù)測未來的某個位置。這個思路需要額外的參數(shù)和專門的訓(xùn)練，改變了模型的結(jié)構(gòu)，部署起來頗為麻煩。

MARS走的是一條截然不同的路線：不增加任何結(jié)構(gòu)，不添加任何參數(shù)，只通過繼續(xù)訓(xùn)練，讓原本的模型"學(xué)會"在一次思考中同時預(yù)測多個字。更關(guān)鍵的是，訓(xùn)練完成后的模型和原來的模型在外觀上完全一樣——你可以把它當作普通模型來用，一次只出一個字；也可以開啟"加速模式"，讓它在有把握的時候一次吐出好幾個字。用餐廳來類比，這就像是把同一位廚師訓(xùn)練成既能做精細的單人套餐，也能在熟悉菜品的情況下同時備好幾道菜，而不是新招一個幫廚或者給廚房加一臺新設(shè)備。

二、為什么之前的"多字預(yù)測"方法總是搞砸，MARS找到了什么關(guān)鍵

在設(shè)計MARS之前，研究團隊做了一件重要的功課：分析為什么以往的方法總是在"多字預(yù)測"上表現(xiàn)變差，尤其是在數(shù)學(xué)推理和代碼生成這類需要嚴謹思考的任務(wù)上。

他們把問題歸結(jié)為四個"裂縫"——也就是多字預(yù)測方案和原始模型之間存在的四處差異。第一處裂縫是不可避免的：要同時預(yù)測多個未知的字，你就必須在那些位置放上"占位符"，就像在填空題里先畫幾個橫線。這是多字預(yù)測的本質(zhì)代價，沒有辦法繞開。

然而，其余三處裂縫都是"自找麻煩"——它們源于研究者在設(shè)計方案時不必要地偏離了原始模型的工作方式。第二處裂縫是注意力方向的問題。原始的語言模型只向左看——它只能參考已經(jīng)生成的字，不能"偷看"還沒生成的字，這叫因果注意力。但一些多字預(yù)測方案在處理同一批待預(yù)測的字時，允許它們互相參考，也就是說某個待預(yù)測的字可以看到同一批中其他待預(yù)測的字，這就打破了模型原本的工作習(xí)慣。第三處裂縫是預(yù)測位置的對齊問題。在標準語言模型里，位置1的輸出是對位置2的預(yù)測，位置2的輸出是對位置3的預(yù)測，依此類推，整體向右偏移一格。如果多字預(yù)測方案改變了這個規(guī)則，就相當于把一套精密儀器的刻度盤重新校準，原本的指針指向就全亂了。第四處裂縫是生成順序的問題。原始模型總是從左到右依次生成，但有些擴散類方法會根據(jù)模型的置信度決定先生成哪個字，打亂了順序。

MARS的核心洞察在于：只要把第二、三、四處裂縫填平，模型就能在保留原有能力的同時，學(xué)會處理第一處裂縫帶來的挑戰(zhàn)。用修車來比喻，MARS發(fā)現(xiàn)四個零件中有三個是可以完好保留的，只有一個需要改裝——而之前的方法卻把四個零件全換了，難怪車開起來不順。

三、MARS具體是怎么訓(xùn)練的——"雙軌并行"的學(xué)習(xí)方式

了解了問題所在，MARS的訓(xùn)練方案就變得清晰了。整個訓(xùn)練過程可以用"影子練習(xí)"來理解：模型同時處理同一段文字的兩個版本，一個是原汁原味的完整版本，另一個是被打了馬賽克的遮蓋版本。

具體來說，對于一段需要學(xué)習(xí)的回答文字，研究團隊把它按固定大小分成若干"塊"，比如每塊4個字。然后，他們把每一塊里的所有字都替換成特殊的"掩碼符號"（可以理解為空白占位符），得到一個全是占位符的遮蓋版本。訓(xùn)練時，模型同時接收這兩個版本，前半段是完整版，后半段是遮蓋版，長度加在一起是原來的兩倍。

在這個"雙軌"結(jié)構(gòu)里，模型需要同時完成兩項任務(wù)。面對完整版那一半，它照常做標準的語言模型訓(xùn)練，每次預(yù)測下一個字；面對遮蓋版那一半，它需要根據(jù)前面那些完整的字，把每個占位符的位置填上正確的內(nèi)容。特別設(shè)計的注意力規(guī)則確保了遮蓋版里的每一塊只能看到它前面那些已經(jīng)生成完畢的塊，而不能偷看后面還沒生成的塊。這樣一來，模型的"只向左看"習(xí)慣得以完整保留。

這里有一個微妙但至關(guān)重要的技術(shù)細節(jié)：在同一塊遮蓋位置內(nèi)部，每個占位符可以看到同一塊里它前面的占位符，但因為那些也都是空白符號，實際上流通的只有位置信息，沒有真正的內(nèi)容信息。這就像在一個填空題里，你知道第三個空在第二個空后面，但你看不到第二個空里填了什么——這保證了預(yù)測的獨立性，同時維持了因果關(guān)系。

在損失函數(shù)的設(shè)計上，MARS把兩個任務(wù)的損失加在一起，各占一半權(quán)重：一部分是遮蓋版的預(yù)測損失，另一部分是完整版的標準語言模型損失。這個"完整版的損失"看起來像是錦上添花，但研究者發(fā)現(xiàn)它實際上是整個方案能夠擴展到更大塊尺寸的關(guān)鍵所在。

四、為什么"完整版損失"那么重要——一個關(guān)于訓(xùn)練信號衰減的故事

當每次預(yù)測的塊變大時（比如從4個字一塊變成16個字一塊），模型能從每塊里學(xué)到的"標準語言模型信號"就越來越少。研究者做了一個簡單的計算：在每塊4個字的情況下，只有每塊的第一個字能看到完全干凈的上下文；第二個字必須面對1個占位符；第三個字面對2個占位符；第四個字面對3個占位符。也就是說，在一整塊里，只有25%的位置享受著和標準語言模型訓(xùn)練完全一樣的條件。如果塊大小變成8，這個比例降到12.5%；變成16，更是只剩6.25%。

隨著塊越來越大，模型越來越多地在"不正常"的條件下訓(xùn)練，它的標準語言模型能力就會慢慢被侵蝕，就好比一個學(xué)鋼琴的學(xué)生，如果大部分時間都在練一種變形的指法，正常的指法自然會生疏。

加入完整版的損失之后，情況發(fā)生了根本性的改變。此時，整個訓(xùn)練過程里有一半的信號來自完整版——那里面的每一個位置都是標準的語言模型訓(xùn)練。研究者計算出，加入完整版損失后，整體訓(xùn)練信號中屬于"標準語言模型信號"的比例，無論塊大小如何變化，都能穩(wěn)定保持在50%以上。塊大小為4時，這個比例是62.5%；塊大小為16時，這個比例仍有53.1%。模型同時在學(xué)習(xí)"預(yù)測被遮蓋的內(nèi)容"和"維持標準的語言能力"，兩者相互促進而不是相互競爭。

實驗數(shù)據(jù)完美印證了這個推斷。在不加完整版損失的情況下，把塊大小從4增加到16，模型的綜合得分從28.4分急劇下滑到22.2分，在數(shù)學(xué)推理和代碼生成上的退步尤為明顯。加入完整版損失之后，同樣的塊大小變化只帶來了0.7分的輕微波動，數(shù)學(xué)題的得分甚至還略有提升。

五、推理時如何工作——"滑動窗口"機制

訓(xùn)練好的MARS模型在生成文字時，采用了一種形象的"滑動窗口"方式。你可以把它想象成一個有著固定視野寬度的探照燈，每次向前照出若干個位置。

生成開始時，模型在已有內(nèi)容的后面追加若干個占位符（數(shù)量等于塊大?。?，然后一次性對這些占位符全部做出預(yù)測，得到每個位置上最可能的字以及對應(yīng)的置信度。接下來，模型從最左邊的占位符開始，逐一檢查置信度：如果這個字的最高概率超過了一個設(shè)定的門檻值τ（比如0.95），就接受這個字，把它加入已生成的內(nèi)容，然后檢查下一個占位符。一旦某個位置的置信度不夠高，就停止接受，不管后面的占位符有多高置信度——始終遵循從左到右的嚴格順序。

被接受的字滑入前面的內(nèi)容區(qū)域，同時在右邊補上新的占位符，保持窗口大小不變，然后再次進行預(yù)測。如此循環(huán)，直到生成完畢。有一條保底規(guī)則：每次至少接受一個字。這保證了在極端情況下，MARS的行為和普通語言模型完全一樣，不會卡死。

門檻值τ是一個非常靈活的控制旋鈕。把它調(diào)到最高（τ→1.0），模型每次只接受一個字，行為和普通語言模型完全相同，沒有任何質(zhì)量損失；把它調(diào)低，模型在有把握的時候會接受更多字，速度更快，但質(zhì)量可能略有下降。更妙的是，這個旋鈕不需要重新訓(xùn)練模型，不需要換一個新模型，只需要在運行時隨時修改這個數(shù)值。在服務(wù)器負載高峰期，可以把τ調(diào)低來提高吞吐量；在需要高質(zhì)量輸出的時候，再把τ調(diào)回來。

六、實驗結(jié)果——數(shù)字背后的故事

研究團隊在兩個規(guī)模的模型上驗證了MARS的效果，分別是參數(shù)量5億的小模型和70億的大模型，都基于Qwen2.5系列的指令調(diào)優(yōu)版本。訓(xùn)練數(shù)據(jù)使用了約200萬條指令樣本，先做5輪標準語言模型訓(xùn)練，再用同樣的數(shù)據(jù)做5輪MARS訓(xùn)練。評測覆蓋了6個基準測試，涵蓋指令遵循、邏輯推理、多學(xué)科知識、科學(xué)問答、數(shù)學(xué)計算和代碼生成。

在"一次只出一個字"的模式下，MARS不僅沒有退步，反而超越了基線。小模型從28.7分提升到30.4分，代碼生成得分更是從35.4跳升至40.2。大模型從56.6分提升到58.1分，數(shù)學(xué)題得分提升了4.5分，代碼生成提升了3分。這說明MARS的掩碼預(yù)測訓(xùn)練對模型來說不只是"附加能力"，它還像是一種數(shù)據(jù)增強，讓模型的原有能力也得到了練習(xí)。

為了排除"純粹多訓(xùn)練了一些輪次"這個干擾因素，研究團隊還專門訓(xùn)練了一個基線模型，總訓(xùn)練輪數(shù)與MARS完全相同（10輪），但全程都是標準語言模型訓(xùn)練。結(jié)果，這個多訓(xùn)練了的基線反而退步了，從28.7分跌到26.4分——在各項任務(wù)上都有所下滑，顯示出過擬合的跡象。這證明MARS的提升確實來自于掩碼預(yù)測這種訓(xùn)練方式本身，而不僅僅是更多的訓(xùn)練步數(shù)。

相比之下，Block Diffusion這種使用雙向注意力（允許同一塊內(nèi)的字互相參考）的方案，在邏輯推理任務(wù)上的得分從26.3分崩塌到7.5分，在多學(xué)科知識測試上從11.9分跌到2.0分，接近完全沒有經(jīng)過訓(xùn)練的基礎(chǔ)模型水平。這一鮮明對比直接驗證了MARS關(guān)于"三個可消除的裂縫"的分析：一旦讓注意力方向偏離因果結(jié)構(gòu)，模型的推理能力就會遭受毀滅性打擊。

七、速度與質(zhì)量的天平——可調(diào)節(jié)的"加速旋鈕"

在開啟多字接受功能（τ=0.95）之后，MARS展現(xiàn)出了令人滿意的速度質(zhì)量平衡。小模型每次前向計算平均接受約1.46到1.49個字，整體精度只下降了約1.1分。大模型的表現(xiàn)更為出色，平均每次接受1.68個字，綜合精度僅下降1.3分，但依然比原始基線的56.6分高出了0.2分——也就是說，就算開啟了加速模式，大模型的整體表現(xiàn)依然優(yōu)于原始的標準語言模型。

不同任務(wù)的加速效果差異很大，這背后有清晰的邏輯。在BBH邏輯推理任務(wù)上，大模型平均每次接受2.60個字，這是因為推理鏈中大量使用固定的連接詞和模板化表達，模型對這些部分非常有把握。在IFEval指令遵循任務(wù)上，加速效果相對較小，質(zhì)量下降也相對明顯（約5分）。IFEval測試的是模型是否嚴格遵循格式要求，比如"恰好寫三段話"，而多字接受可能會跳過某些格式控制詞，導(dǎo)致格式錯誤。

從完整的閾值掃描數(shù)據(jù)來看，整個速度質(zhì)量曲線非常平滑，沒有出現(xiàn)"突然斷崖式下跌"的情況。從τ=1.0一路調(diào)到τ=0.5，精度是逐漸下降的，不是某個點驟然崩潰。這種平滑性讓服務(wù)系統(tǒng)可以根據(jù)實時負載精細調(diào)節(jié)，找到合適的工作點。

八、讓"一次預(yù)測多字"在服務(wù)器上真正提速——塊級KV緩存

算法層面的"每次接受更多字"只是理論上的加速。在實際的服務(wù)器推理中，還有一個關(guān)鍵的工程挑戰(zhàn)：KV緩存。

標準語言模型每次只生成一個字，但它可以把之前所有字的計算結(jié)果緩存起來，下次只需要處理新加入的那一個字，計算量非常小。MARS每次要處理若干個占位符，如果每一步都要重新計算整個序列，計算量會隨序列長度的平方增長，很快就比標準語言模型慢了。實驗數(shù)據(jù)印證了這一點：沒有緩存策略時，隨著批量大小從4增加到16，MARS的吞吐量反而從每秒127個字下跌到98個字，越批越慢。

研究團隊為此設(shè)計了一套"塊級KV緩存"策略，邏輯和分組結(jié)賬有幾分相似。具體來說：每當一整塊的字都被所有正在處理的請求確認接受后，才把這一塊的計算結(jié)果緩存起來。在此之前，批次里的每條請求可能接受了不同數(shù)量的字，慢的那條還沒確認完，快的那條就等一等。等到最慢的那條也確認完這一整塊之后，所有請求一起把這塊的內(nèi)容存入緩存，然后大家同步開始下一塊的預(yù)測。

這個策略的效果立竿見影。在批量大小為4的情況下，最優(yōu)配置（緩存粒度32個字）把總耗時從276.2秒壓縮到161.2秒，實現(xiàn)了1.71倍的實際掛鐘時間加速。批量大小為8時，加速比是1.60倍（169.1秒→105.6秒）。批量大小為16時，加速比是1.34倍（91.8秒→68.7秒）。加速比隨批量增大而減小，這是因為批量越大，"等最慢的那條請求"的同步等待時間占比越高，就好比分組結(jié)賬時，人越多越容易有人算不清楚拖慢了整桌。但即便如此，在測試的所有配置下，MARS都比標準語言模型要快。

九、訓(xùn)練代價與適用邊界

研究團隊坦誠地指出了MARS的局限。訓(xùn)練時需要同時處理原始序列和遮蓋序列，相當于序列長度翻倍，訓(xùn)練計算量大約是標準語言模型訓(xùn)練的兩倍。小模型的MARS訓(xùn)練需要33個GPU小時，標準訓(xùn)練只需15個GPU小時；大模型則是202小時對100小時。不過考慮到這只是對現(xiàn)有指令訓(xùn)練數(shù)據(jù)的繼續(xù)利用，而非從零開始的大規(guī)模預(yù)訓(xùn)練，這個代價還在可接受范圍內(nèi)。

與Jacobi解碼的對比也很能說明問題。Jacobi解碼是另一種讓單個模型一次預(yù)測多個字的方法，不需要任何額外訓(xùn)練，直接在標準語言模型上運行。但由于標準語言模型從未被訓(xùn)練過"從占位符預(yù)測內(nèi)容"，Jacobi解碼每次前向計算平均只能接受1.07個字，而MARS在相同設(shè)置下能接受1.46個字。Jacobi有一個特殊優(yōu)勢：它一開始就把所有輸出位置都初始化了，所以模型天然知道要生成多長的回答，不會停得太早或太晚——這解釋了為什么Jacobi在數(shù)學(xué)題和代碼生成上反而有些提升，因為這類任務(wù)對輸出長度很敏感。

說到底，MARS做的事情可以用一句話概括：讓模型在"說廢話"的時候少費心思，把省下來的算力用在真正需要思考的地方。這不是什么革命性的顛覆，而是一種務(wù)實的優(yōu)化——用5個額外訓(xùn)練輪次，換來了一個既能當普通模型用、又能在有需要時加速1.5到1.7倍的新版本。對于已經(jīng)大規(guī)模部署語言模型的企業(yè)來說，這意味著同樣的服務(wù)器可以接待更多用戶，或者在高峰期不需要臨時擴容。對于普通用戶來說，這可能意味著等待時間的縮短。

這項研究還留下了一些有趣的開放問題。未來能否做到"不需要在塊邊界同步，每條請求各自緩存"？能否根據(jù)輸入內(nèi)容的復(fù)雜程度自動選擇塊大小？能否把MARS和推測解碼結(jié)合起來，疊加兩種加速手段？這些都是值得探索的方向。有興趣深入了解這項研究細節(jié)的讀者，可以通過論文編號arXiv:2604.07023找到完整原文，研究團隊也在GitHub（Xalp/MARS）上開放了代碼。

Q&A

Q1：MARS方法需要對語言模型做哪些結(jié)構(gòu)上的改動？

A：MARS不需要對語言模型做任何結(jié)構(gòu)上的改動，也不需要增加額外參數(shù)。它只是用同一份指令訓(xùn)練數(shù)據(jù)繼續(xù)訓(xùn)練已有的模型，訓(xùn)練完成后的模型和原始模型在結(jié)構(gòu)上完全一樣。這和Medusa、EAGLE等需要附加額外預(yù)測頭的方法有根本區(qū)別。

Q2：MARS和推測解碼有什么不同？

A：推測解碼需要同時維護兩個獨立的模型——一個小的草稿模型和一個大的驗證模型，內(nèi)存占用加倍，系統(tǒng)也更復(fù)雜。MARS只需要一個模型，訓(xùn)練完之后既可以當普通語言模型用，也可以在有把握時一次生成多個字，不需要另外維護一個輔助模型。

Q3：MARS的接受門檻τ是什么，調(diào)低它有什么風險？

A：τ是控制模型"有多大把握才接受預(yù)測字"的門檻，取值在0到1之間。τ調(diào)到最高時模型每次只出一個字，行為和普通模型一樣；調(diào)低后模型在把握不那么足的時候也會接受預(yù)測，速度更快但錯誤率可能上升。當τ低于0.7時，精度下降會比較明顯，尤其是對格式要求嚴格的任務(wù)影響更大。