清華突破：草稿驗證技術提升AI回答速度5倍

這項由清華大學程子聰、楊國偉等研究人員領導的創新研究發表于2025年12月，論文編號為arXiv:2512.15176v1。該研究還得到了上海交通大學和Proxseer公司的支持，為大語言模型推理加速領域帶來了全新突破。

如果你曾經在等待ChatGPT或其他AI助手回答問題時感到不耐煩，那么清華大學研究團隊的這項新發現可能會徹底改變你的體驗。他們開發了一種名為DEER的創新技術，能夠讓AI的回答速度提升2到5倍，同時保證答案質量完全不變。

要理解這項技術的重要性，可以把當前的AI回答過程想象成一個作家在寫小說。傳統的AI就像一個極其嚴謹的作家，每寫一個字都要反復斟酌，確保這個字與前面所有字完美銜接。這種方式雖然確保了質量，但速度極其緩慢。而DEER技術則像是給這個作家配備了一個快手助理——助理先快速寫出一大段草稿，然后作家再逐字檢查和修正。

當前大語言模型在生成文本時面臨著一個根本性的效率瓶頸。就像多米諾骨牌一樣，每個詞都必須等待前一個詞完全確定后才能生成，這種串行處理方式導致了嚴重的延遲問題。特別是在復雜推理和代理任務中，這種延遲會累積成令人難以忍受的等待時間。

研究團隊發現，現有的"投機解碼"方法雖然試圖解決這個問題，但都存在一個致命缺陷——它們使用的輔助模型同樣采用逐字生成的方式，就像用一個慢速打字員來幫助另一個慢速打字員一樣，效果有限。更糟糕的是，這種方法還存在"信任度逐漸崩塌"的現象：隨著草稿越寫越長，早期錯誤會像滾雪球一樣越滾越大，導致后面的內容越來越不可靠。

一、擴散模型：從圖像生成到文本創作的華麗轉身

DEER技術的核心創新在于使用了一種全新的草稿生成器——擴散語言模型。要理解這個概念，可以把它想象成一個特殊的創作過程。

傳統的AI文本生成就像是用鋼筆寫字，必須從左到右一筆一劃地寫，每一筆都必須等前一筆完成。而擴散模型則像是用拼圖的方式創作：它先在整張紙上隨機撒一些字母碎片（這些碎片看起來毫無意義），然后通過特殊的"去噪"過程，逐漸將這些混亂的碎片整理成有意義的句子。

這種方法的巧妙之處在于，它可以同時處理整個句子中的所有位置，就像一個拼圖高手能夠同時在多個區域工作，而不是必須按照從左到右的順序拼接。這樣一來，一個32個詞的句子可以在一次操作中全部生成出來，而不是需要32次連續的操作。

更重要的是，由于擴散模型生成的每個詞都不依賴于草稿中前面的詞，它避免了傳統方法中的"錯誤累積"問題。就像每個拼圖塊都是獨立放置的，一個位置的錯誤不會影響其他位置的準確性。

二、兩階段訓練：讓擴散模型學會寫續集

雖然擴散模型理論上很強大，但要讓它勝任"草稿助理"的工作，研究團隊需要對其進行專門的訓練。這個過程就像培訓一個小說助理，需要教會它如何根據已有的故事情節來續寫后面的內容。

第一階段被稱為"自回歸式續寫訓練"。研究團隊使用了一個巧妙的訓練策略：他們將完整的答案隨機截斷，在截斷處加上一個特殊的標記（就像書簽一樣），然后讓擴散模型學習如何從這個書簽位置繼續寫下去。這個過程反復進行，直到模型學會了如何根據任何給定的前文來生成合理的續寫。

第二階段被稱為"精細化校準"。在這個階段，研究團隊特別關注草稿與原模型答案的對接部分。他們使用了一種指數衰減的權重策略，越靠近前文的部分給予越高的權重，確保生成的草稿在關鍵位置與目標模型高度一致。這就像訓練一個接力賽跑手，不僅要跑得快，還要確保接棒時完美配合。

通過這兩個訓練階段，擴散模型不僅學會了生成連貫的文本，還學會了與目標模型保持高度一致，為后續的驗證過程奠定了基礎。

三、草稿驗證機制：確保質量的最后一道防線

DEER系統的驗證過程采用了經典的"投機解碼"框架，但因為使用了擴散模型作為草稿生成器，整個過程變得更加高效和可靠。

具體的驗證過程可以這樣理解：當擴散模型生成一個包含多個詞的草稿后，目標模型會逐詞檢查這個草稿。對于每個詞，系統會計算一個"接受概率"，這個概率反映了該詞在當前上下文中的合理程度。如果概率足夠高，這個詞就會被接受；如果太低，系統就會拒絕這個詞以及它后面的所有詞，然后由目標模型重新生成。

這個過程的關鍵優勢在于，由于擴散模型生成的草稿避免了錯誤累積，即使草稿很長，后面的詞仍然有很高的被接受概率。實驗結果顯示，DEER能夠生成長達32個詞的草稿并獲得較高的接受率，這遠遠超過了傳統方法通常只能接受8-10個詞的水平。

驗證機制還采用了嚴格的數學保證，確保最終輸出的文本與直接使用目標模型生成的文本在統計上完全一致。這意味著用戶不僅能享受到速度提升，還能保證答案質量絲毫不受影響。

四、實驗結果：從理論到實踐的完美驗證

研究團隊在多個基準測試中驗證了DEER的效果，結果令人印象深刻。在代碼生成任務中，使用Qwen3-30B模型時，DEER在HumanEval基準上實現了5.54倍的加速，而當前最先進的EAGLE-3方法只能達到2.41倍的加速。

更令人驚訝的是草稿接受長度的巨大差異。在所有測試的模型規模上，DEER都能實現平均4-6個詞的接受長度，最長可達32個詞，而EAGLE-3通常只能接受3個詞左右，最長不超過8個詞。這種差異直接轉化為了顯著的速度提升。

在數學推理任務中，盡管研究團隊使用的擴散模型訓練還不夠充分，DEER仍然在GSM8K、Math500等基準測試中超越了現有方法。在GSM8K測試中，DEER實現了2.23倍的加速，相比EAGLE-3的1.92倍有明顯提升。

特別值得注意的是，隨著目標模型規模的增大，DEER的優勢變得更加明顯。在14B和30B參數的模型上，DEER的性能提升尤為顯著，這表明該技術在大模型上具有更大的應用潛力。

五、批量推理和新興能力：超越預期的額外發現

除了單次對話的加速效果，DEER在批量推理場景中也表現出色。當同時處理多個請求時，DEER能夠將吞吐量提升到傳統方法的4倍以上。在處理16個并發請求時，DEER的處理速度達到了175.66 tokens/秒，而傳統方法只有49.76 tokens/秒。

更有趣的是，研究團隊發現訓練后的擴散模型出現了一種意想不到的能力——"可靠的塊再生成"。這種能力讓模型能夠接受部分被遮蓋的代碼片段，然后重新生成完整的代碼塊。這就像給一個程序員看一段不完整的代碼，他能夠理解上下文并補全缺失的部分。

這種新興能力表明，DEER不僅是一個加速工具，還可能開啟新的應用場景。例如，在代碼補全、文檔修復或創意寫作輔助等領域，這種塊級別的生成能力可能會帶來全新的用戶體驗。

研究團隊還發現，即使是訓練不充分的擴散模型也能在DEER框架中發揮作用。這說明該方法具有很強的魯棒性，不需要完美的草稿生成器就能獲得顯著的性能提升。

六、技術細節和工程實現：讓理論走向現實

DEER的實現涉及多個技術層面的創新。在訓練數據方面，研究團隊使用了OpenCodeInstruct數據集進行代碼任務訓練，使用UltraChat數據集進行數學推理任務訓練。訓練過程采用了精心調優的超參數，確保擴散模型能夠快速收斂到理想狀態。

在推理優化方面，雖然當前主流的推理框架（如vLLM和SGLang）還不支持擴散語言模型的KV緩存，但已有相關技術（如Fast-dLLM和dInfer）正在快速發展。研究團隊預期，一旦這些技術成熟并集成到主流框架中，DEER的性能優勢將更加明顯。

系統的內存使用也經過了優化。相比目標模型，DEER的草稿生成器只增加了約470M參數的額外開銷，這在現代GPU上完全可以接受。而且由于草稿生成是并行的，整體內存訪問模式也更加高效。

為了確保系統的正確性，研究團隊提供了嚴格的數學證明，證明DEER輸出的文本分布與直接使用目標模型完全一致。這種理論保證讓用戶可以放心使用該技術，而不用擔心質量損失。

七、未來展望和應用前景：改變AI交互的游戲規則

DEER技術的意義遠不止于提升現有AI系統的速度。它代表了一種全新的思維方式：通過模塊化設計，將不同類型的模型優勢結合起來，而不是試圖用單一模型解決所有問題。

在實際應用中，DEER可能會催生新的AI服務模式。例如，在線AI助手可以提供更加流暢的實時對話體驗；代碼生成工具可以實現近乎實時的代碼補全；創作輔助工具可以提供更加流暢的靈感展示。

從技術發展角度看，DEER也為擴散模型在自然語言處理領域的應用開辟了新道路。傳統上，擴散模型主要用于圖像和音頻生成，而DEER證明了它們在文本生成加速方面的巨大潛力。

研究團隊已經承諾開源相關代碼和模型，這將加速技術的普及和進一步優化。可以預期，未來會有更多研究團隊基于這個框架開發出針對特定應用場景的優化版本。

從更宏觀的角度看，DEER類型的技術可能會改變我們對AI系統架構的理解。與其追求單一模型的全面優化，未來的AI系統可能會更多地采用專門化模塊協作的方式，每個模塊專注于自己最擅長的任務。

說到底，DEER技術的核心價值在于它證明了一個重要觀點：通過巧妙的系統設計，我們可以在不犧牲質量的前提下大幅提升AI系統的效率。這種思路不僅適用于語言模型，也可能啟發其他AI領域的創新。對于普通用戶而言，這意味著未來的AI助手將變得更加高效和實用，讓人工智能真正成為我們日常生活和工作中不可或缺的得力助手。

當我們回顧整個研究過程，可以看到這不僅僅是一個技術改進，更是一次思維方式的突破。通過將擴散模型的并行生成優勢與自回歸模型的精確驗證能力相結合，DEER為整個AI加速領域指明了新的發展方向。

Q&A

Q1：DEER技術是什么？

A：DEER是清華大學開發的AI加速技術，它使用擴散模型快速生成文本草稿，然后用目標模型驗證，能讓AI回答速度提升2-5倍而不降低質量。就像給AI配了個快速寫草稿的助理。

Q2：為什么DEER比現有方法快這么多？

A：關鍵在于DEER避免了傳統方法的"錯誤累積"問題。傳統方法生成草稿時每個詞都依賴前面的詞，錯誤會越積越多，而DEER的擴散模型能同時生成整個句子，避免了這種連鎖反應。

Q3：普通用戶什么時候能體驗到DEER技術？

A：研究團隊已承諾開源相關代碼，但要集成到主流AI服務還需要時間。目前主要技術框架還不完全支持，預計在相關基礎設施成熟后，用戶就能在ChatGPT等服務中體驗到類似的加速效果。