鄧明揚一作論文改寫生成范式！何愷明也署名了

henry 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

剛剛，何愷明團隊提出全新生成模型范式漂移模型（Drifting Models）。

這篇論文的一作也是人大附中校友，奧賽雙料金牌得主鄧明揚加入愷明團隊的第一篇一作論文。

論文中，漂移模型將生成模型分布演化的過程從“推理階段”轉(zhuǎn)向了神經(jīng)網(wǎng)絡(luò)的“訓(xùn)練階段”，實現(xiàn)了真正意義上的單步生成（One-step Generation）

漂移模型的核心創(chuàng)新在于引入了“漂移場”（Drifting Field）機制。

其通過在訓(xùn)練中直接對齊先驗分布與真實數(shù)據(jù)分布，不僅消除了GANs中常見的對抗訓(xùn)練不穩(wěn)定性，更徹底擺脫了流匹配（Flow Matching）或擴散模型（Diffusion）對多步ODE/SDE求解的依賴。

在ImageNet 256x256基準測試中，漂移模型在1-NFE（單步推理）下取得了1.54FID的成績，證明了從頭開始訓(xùn)練的單步模型在質(zhì)量上完全可以媲美甚至超越經(jīng)過數(shù)百步迭代的傳統(tǒng)模型。

生成模型新范式：漂移模型

漂移模型 (Drifting Model)的核心可以總結(jié)為以下兩點：

• 將迭代從推理轉(zhuǎn)為訓(xùn)練：不同于擴散模型在生成時需要多次迭代（去噪），它將深度學(xué)習(xí)固有的“迭代訓(xùn)練過程”視為分布演化的動力，從而實現(xiàn)單步 (one-step) 高質(zhì)量生成。
• 利用“漂移場”趨向平衡：通過引入一個受數(shù)據(jù)吸引和自身排斥的“漂移場”作為損失函數(shù)，當生成的分布與真實數(shù)據(jù)分布完全匹配時，漂移場歸零達到平衡，從而完成模型學(xué)習(xí)。

接下來，我們具體來看。

不同于側(cè)重于樣本與標簽映射的判別模型，生成模型的核心在于學(xué)習(xí)分布之間的轉(zhuǎn)換。

其本質(zhì)是學(xué)習(xí)一個映射函數(shù)f，將簡單的先驗分布（如高斯噪聲）轉(zhuǎn)換為與真實數(shù)據(jù)匹配的推移分布（Pushforward Distribution）

目前，擴散模型（Diffusion）或流匹配模型（Flow Matching）等主流范式，將這種分布的演變放在推理階段迭代執(zhí)行。

這意味著生成一張圖像需要多次調(diào)用神經(jīng)網(wǎng)絡(luò)，導(dǎo)致計算開銷大、生成速度慢。

而漂移模型則提出了一種全新的范式：將分布的演化從推理階段轉(zhuǎn)移到了訓(xùn)練階段。

這一設(shè)計的可行性植根于深度學(xué)習(xí)的本質(zhì)——

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練本身就是一個迭代優(yōu)化的過程（如 SGD）

在傳統(tǒng)的視角下，我們只關(guān)注損失函數(shù)的下降；但在漂移模型中，訓(xùn)練的每一輪迭代都被賦予了物理意義：模型參數(shù)的微小更新，會直接驅(qū)動輸出樣本在空間中產(chǎn)生相應(yīng)的位移。

論文將這種隨訓(xùn)練步次發(fā)生的樣本位移定義為漂移（Drift）

這意味著，映射函數(shù)f隨著參數(shù)不斷被優(yōu)化，它所產(chǎn)生的推移分布（Pushforward Distribution）也隨之自然地發(fā)生動態(tài)演變。

換句話說，模型訓(xùn)練的軌跡，在本質(zhì)上就等同于分布演化的路徑。 既然訓(xùn)練過程已經(jīng)完成了這一演化，推理時自然不再需要多步迭代。

由此，漂移模型將原本昂貴的迭代開銷內(nèi)化在了訓(xùn)練階段，使得模型在推理時僅需單次前向傳播（One-step generation）即可生成高質(zhì)量樣本。

這不僅消除了多步推理的計算負擔(dān)，也避開了GANs對抗訓(xùn)練帶來的不穩(wěn)定性。

通過漂移場來引導(dǎo)樣本移動，控制推移分布

在具體的實現(xiàn)上，論文引入了一個漂移場（Drifting Field）來引導(dǎo)樣本移動，進而控制推移分布。

與流匹配（Flow Matching）在推理階段引導(dǎo)樣本移動的向量場（Vector Field）不同，漂移場（Drifting Field）是一個作用于訓(xùn)練階段、用于刻畫樣本空間演化趨勢的函數(shù)。

在給定樣本的情況下，漂移場會計算出該位置的修正位移。

修正位移本質(zhì)上是為神經(jīng)網(wǎng)絡(luò)的參數(shù)更新提供導(dǎo)航：通過在訓(xùn)練迭代中最小化漂移量，強制模型在出廠前就將輸出分布與目標分布對齊，從而實現(xiàn)單步生成。

隨著訓(xùn)練步數(shù)的增加，模型序列對應(yīng)的推移分布會受該場驅(qū)動，逐漸向真實數(shù)據(jù)分布靠攏。

訓(xùn)練目標在于建立一種平衡機制：當生成的分布與真實數(shù)據(jù)分布完全匹配時，漂移場將歸于零。

接下來，論文將此更新規(guī)則轉(zhuǎn)化為一種基于梯度停止（Stop-gradient）的損失函數(shù)。

該損失函數(shù)并不直接對復(fù)雜的漂移場求導(dǎo)，而是將當前步的漂移后位置視為一個凍結(jié)的目標，驅(qū)使模型預(yù)測向該目標靠攏，從而間接最小化漂移量。

在算法層面，具體的隨機訓(xùn)練步驟如下：

• 生成樣本：從先驗分布采樣噪聲，生成樣本。
• 獲取參考：從數(shù)據(jù)集中采樣真實樣本作為正樣本。
• 計算位移：根據(jù)正、負樣本的分布，計算出每個樣本位置的漂移向量。
• 優(yōu)化更新：將(x+V)設(shè)為目標值（并停止梯度），更新網(wǎng)絡(luò)參數(shù)使其輸出向該目標靠攏。

此外，為了處理圖像等高維數(shù)據(jù)，論文還引入了以下關(guān)鍵設(shè)計：

首先，該方法超越了單一的像素空間，轉(zhuǎn)而利用MAE或MoCo等預(yù)訓(xùn)練自監(jiān)督模型構(gòu)建特征空間映射，在更高維的語義層面上引導(dǎo)分布匹配，從而顯著提升了生成結(jié)果的保真度。

在此基礎(chǔ)上，漂移場被具體實例化為吸引與排斥的動態(tài)結(jié)合

生成的樣本受到真實數(shù)據(jù)分布的強力吸引以確保細節(jié)精準，同時又受到當前生成分布的排斥力，從而有效維持了樣本的多樣性并防止模式坍縮。

為了使這種力場估計更加精確且穩(wěn)定，研究引入了指數(shù)核函數(shù)來衡量樣本間的相似度，并借鑒對比學(xué)習(xí)（如InfoNCE）的思想，通過Softmax進行歸一化處理。

更重要的是，該范式將分類器自由引導(dǎo)（CFG）機制直接內(nèi)化于訓(xùn)練階段：通過在計算漂移時向負樣本中混入無條件的真實數(shù)據(jù)，模型在訓(xùn)練迭代中便自發(fā)學(xué)會了條件外推。

這種設(shè)計使得模型在推理時不再需要額外的NFE開銷，僅憑單步采樣就能獲得極強的引導(dǎo)效果。”

實驗結(jié)論

在實驗驗證環(huán)節(jié)，漂移模型在最具挑戰(zhàn)性的ImageNet 256×256基準測試中。

該模型在單步推理（1-NFE）下表現(xiàn)卓越：其在潛空間（Latent space）達到了1.54 FID。在像素空間（Pixel space）則達到了1.61 FID。

這一成績不僅刷新了單步生成的紀錄，其效果甚至優(yōu)于許多需要 250 步迭代推理的傳統(tǒng)擴散模型（Diffusion）或流匹配模型（Flow Matching）。

除了圖像生成，該范式在具身智能控制任務(wù)（Robot Control）中也表現(xiàn)出極強的泛化能力。

實驗表明，其單步推理的決策質(zhì)量即可匹配甚至超越需要100步推理的 Diffusion Policy，極大地降低了實時控制系統(tǒng)的延遲。

總結(jié)來看，漂移模型成功地將原本屬于推理階段的生成壓力轉(zhuǎn)移到了訓(xùn)練階段，實現(xiàn)了真正意義上的一步到位。

這一成就不僅提供了一種不同于傳統(tǒng)微分方程（SDE/ODE）的生成視角，更將神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程重新詮釋為分布演變的動力機制。

論文作者簡介

這篇論文的一作，是競賽圈鼎鼎有名的鄧明揚，人稱“乖神”。

鄧明揚出自北京人大附中，是IMO、IOI雙料金牌得主，同時也是IOI歷史上第三位滿分選手。

他高一拿下IMO金牌，高三拿下IOI金牌，高中畢業(yè)后，他本科與博士均就讀于MIT。

目前是博士二年級，師從何愷明。

在進入學(xué)術(shù)界之前，他還曾在Google DeepMind、Meta（FAIR）、Citadel Securities、Pika等機構(gòu)實習(xí)。

這篇論文的其他作者，同樣來頭不?。?/p>

李赫，清華姚班校友，目前大三在讀，曾于2025年2月至5月在 MIT何愷明課題組擔(dān)任研究實習(xí)生。

黎天鴻，清華姚班校友，于2024 年9月加入何愷明課題組，擔(dān)任博士后。

Yilun Du，現(xiàn)任哈佛大學(xué)Kempner Institute與計算機科學(xué)系助理教授，領(lǐng)導(dǎo)Embodied Minds實驗室。

他本科畢業(yè)于MIT，曾任OpenAI研究員、Google DeepMind高級研究科學(xué)家，并獲得 國際生物奧林匹克競賽金牌。

論文鏈接：https://arxiv.org/html/2602.04770v1
項目主頁：https://lambertae.github.io/projects/drifting/