學(xué)術(shù)前沿丨何愷明團隊新作：擴散模型可能被用錯了

來源：量子位

何愷明又一次返璞歸真。

最新論文直接推翻擴散模型的主流玩法——不讓模型預(yù)測噪聲，而是直接畫干凈圖。

如果你熟悉何愷明的作品，會發(fā)現(xiàn)這正是他創(chuàng)新的典型路徑，不提出更復(fù)雜的架構(gòu)，而是把問題拆回最初的樣子，讓模型做它最擅長的那件事。

實際上，擴散模型火了這么多年，架構(gòu)越做越復(fù)雜，比如預(yù)測噪聲、預(yù)測速度、對齊latent、堆tokenizer、加VAE、加perceptual loss……

但大家似乎忘了，擴散模型原本就是去噪模型。

現(xiàn)在這篇新論文把這件事重新擺上桌，既然叫denoising模型，那為什么不直接denoise？

于是，在ResNet、MAE等之后，何愷明團隊又給出了一個“大道至簡”的結(jié)論：擴散模型應(yīng)該回到最初——直接預(yù)測圖像。

擴散模型可能被用錯了

當(dāng)下的主流擴散模型，雖然設(shè)計思想以及名為“去噪”，但在訓(xùn)練時，神經(jīng)網(wǎng)絡(luò)預(yù)測的目標往往并不是干凈的圖像，而是噪聲， 或者是一個混合了圖像與噪聲的速度場。

實際上，預(yù)測噪聲和預(yù)測干凈圖差得很遠。

根據(jù)流形假設(shè)，自然圖像是分布在高維像素空間中的低維流形上的，是有規(guī)律可循的干凈數(shù)據(jù)；而噪聲則是均勻彌散在整個高維空間中的，不具備這種低維結(jié)構(gòu)。

簡單理解就是，把高維像素空間想象成一個巨大的3D房間，而干凈的自然圖像其實都擠在房間里的一塊2D屏幕上。這就是流形假設(shè)——自然數(shù)據(jù)看著維度高，實則集中在一個低維的「曲面（流形）」上。

但噪聲不一樣。它是彌漫在整個3D房間里的雪花點，不在屏幕上；而速度場也一樣，一半在屏上、一半在屏外，同樣也脫離了「流形」的規(guī)律。

這就導(dǎo)致了一個核心矛盾，在處理高維數(shù)據(jù)時，例如將圖像切分為16x16甚至32x32的大Patch，要求神經(jīng)網(wǎng)絡(luò)去擬合無規(guī)律的高維噪聲，需要極大的模型容量來保留所有信息，這很容易導(dǎo)致模型訓(xùn)練崩潰。

而相反呢，如果讓網(wǎng)絡(luò)直接預(yù)測干凈的圖像，本質(zhì)上就是讓網(wǎng)絡(luò)學(xué)習(xí)如何將噪點投影回低維流形，這對于網(wǎng)絡(luò)容量的要求要低得多，也更符合神經(jīng)網(wǎng)絡(luò)“過濾噪聲、保留信號”的原本設(shè)計。

于是，這篇文章提出了一個極簡的架構(gòu)JiT——Just image Transformers。

正如其名，這就是一個純粹處理圖像的Transformer，它的設(shè)計非常簡單。沒有像普遍的擴散模型一樣使用VAE壓縮潛空間，也沒有設(shè)計任何Tokenizer，不需要CLIP或DINO等預(yù)訓(xùn)練特征的對齊，也不依賴任何額外的損失函數(shù)。

完全從像素開始，用一個純粹Transformer去做denoise。

JiT就像一個標準的ViT，它將原始像素切成大Patch（維度可高達3072維甚至更高）直接輸入，唯一的改動就是將輸出目標設(shè)定為直接預(yù)測干凈的圖像塊。

實驗結(jié)果顯示，在低維空間下，預(yù)測噪聲和預(yù)測原圖的表現(xiàn)難分伯仲；但一旦進入高維空間，傳統(tǒng)的預(yù)測噪聲模型徹底崩潰，F(xiàn)ID（越低越優(yōu)）指數(shù)級飆升，而直接預(yù)測原圖JiT卻依然穩(wěn)健。

模型的擴展能力也很出色。即使將patch尺寸擴大到64x64，讓輸入維度高達一萬多維，只要堅持預(yù)測原圖，無需增加網(wǎng)絡(luò)寬度也能實現(xiàn)高質(zhì)量生成。

團隊甚至發(fā)現(xiàn)，在輸入端人為引入瓶頸層進行降維，不僅不會導(dǎo)致模型失效，反而因為契合了流形學(xué)習(xí)過濾噪聲的本質(zhì)，進一步提升了生成質(zhì)量。

這種極簡架構(gòu)在不依賴任何復(fù)雜組件或預(yù)訓(xùn)練的情況下，在ImageNet 256x256和512x512上達到了1.82和1.78的SOTA級FID分數(shù)。

作者介紹

這篇論文的一作是何愷明的開門弟子之一黎天鴻，本科畢業(yè)于清華姚班，在MIT獲得了碩博學(xué)位之后，目前在何愷明組內(nèi)從事博士后研究。

他的主要研究方向是表征學(xué)習(xí)、生成模型以及兩者之間的協(xié)同作用。目標是構(gòu)建能夠理解人類感知之外的世界的智能視覺系統(tǒng)。

此前曾作為一作和何愷明開發(fā)了自條件圖像生成框架RCG，團隊最新的多項研究中他也都有參與。

也可以說這是一位酷愛湖南菜的學(xué)者，把菜譜都展示在了自己的主頁上。

論文地址：https://arxiv.org/abs/2511.13720

閱讀最新前沿科技趨勢報告，請訪問歐米伽研究所的“未來知識庫”

https://wx.zsxq.com/group/454854145828

未來知識庫是“ 歐米伽 未來研究所”建立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學(xué)、互聯(lián)網(wǎng)、超級智能，數(shù)智大腦、能源、軍事、經(jīng)濟、人類風(fēng)險等等領(lǐng)域的前沿進展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進入。