讓擴(kuò)散模型「可解釋」不再降質(zhì)，開(kāi)啟圖片編輯新思路

過(guò)去三年，擴(kuò)散模型席卷圖像生成領(lǐng)域。以 DiT (Diffusion Transformer) 為代表的新一代架構(gòu)不斷刷新圖像質(zhì)量的極限，讓模型愈發(fā)接近真實(shí)世界的視覺(jué)規(guī)律。

然而，與 LLM 可解釋性研究的蓬勃發(fā)展相對(duì)，擴(kuò)散模型內(nèi)部的語(yǔ)義結(jié)構(gòu)、時(shí)間規(guī)律以及因果路徑仍然像被深深封住的「黑箱」。研究者可以憑直覺(jué)優(yōu)化架構(gòu)，但外界無(wú)法真正理解擴(kuò)散模型在生成過(guò)程中的「思考方式」。

更棘手的是，已有的可解釋性嘗試往往伴隨著明顯的性能下降：特征分解、激活分析、插值擾動(dòng)……無(wú)論采用哪種方法，只要試圖將擴(kuò)散模型拆開(kāi)來(lái)看，生成質(zhì)量就會(huì)顯著劣化。這讓「可解釋擴(kuò)散模型」在很長(zhǎng)一段時(shí)間里被視為不切實(shí)際的小眾方向。

在這樣的背景下，香港中文大學(xué) MMLab 與上海人工智能實(shí)驗(yàn)室的研究團(tuán)隊(duì)提出了一個(gè)不同的觀點(diǎn)：擴(kuò)散模型作為當(dāng)今視覺(jué)世界最重要的生成器，其內(nèi)部機(jī)制不應(yīng)永遠(yuǎn)處于不可見(jiàn)狀態(tài)；可解釋性也不應(yīng)該以犧牲生成質(zhì)量為代價(jià)。

基于這一理念，他們提出了被 AAAI 2026 接收的TIDE (Temporal-Aware Sparse Autoencoders)—— 首個(gè)真正意義上面向擴(kuò)散 Transformer 的時(shí)序稀疏自編碼器框架。

• 論文標(biāo)題：TIDE: Temporal-Aware Sparse Autoencoders for Interpretable Diffusion Transformers in Image Generation
  
• 論文鏈接：
• https://arxiv.org/pdf/2503.07050

TIDE：

讓「時(shí)序」成為擴(kuò)散可解釋性的核心

以往的可解釋方法大多忽視了擴(kuò)散過(guò)程最大的特點(diǎn)：生成是一個(gè)隨時(shí)間展開(kāi)的漸進(jìn)式構(gòu)造過(guò)程。早期步驟決定物體形狀和布局，中期步驟塑造語(yǔ)義和結(jié)構(gòu)，后期步驟填充材質(zhì)與細(xì)節(jié)。如果忽略這條時(shí)間線，擴(kuò)散模型看起來(lái)就像一團(tuán)混亂的噪聲與特征。TIDE 的突破在于，它不是「硬拆」一個(gè)靜態(tài)特征，而是讓模型自己在時(shí)間維度上對(duì)齊語(yǔ)義：

同一個(gè)因子會(huì)在不同時(shí)間步中保持一致的語(yǔ)義軌跡，最終形成一個(gè)可讀、可控、穩(wěn)固的「時(shí)間語(yǔ)義剖面」。

也正是在這樣的時(shí)序框架下，擴(kuò)散模型內(nèi)部原本模糊的過(guò)程第一次被清晰呈現(xiàn)出來(lái)：粗結(jié)構(gòu)從噪聲中浮現(xiàn)、語(yǔ)義逐漸成型、紋理被不斷潤(rùn)色……模型的「思考流」沿著時(shí)間軸被完整雕刻出來(lái)。

更重要的是，這一切并不會(huì)破壞原模型的生成能力。TIDE 的稀疏自編碼器在特征空間進(jìn)行無(wú)損重構(gòu)，擴(kuò)散軌跡保持穩(wěn)定，模型幾乎感受不到被「觀察」的存在。同時(shí)在 scaling latent 維度時(shí)，也優(yōu)于原有 vanilla SAE 方法。

TIDE 架構(gòu)與訓(xùn)練

在 Stable Diffusion XL、PixArt-α、Flux 等主流擴(kuò)散框架上，TIDE 將擴(kuò)散特征分解為具有可控語(yǔ)義的因子：

負(fù)責(zé)輪廓的因子、負(fù)責(zé)物體姿態(tài)的因子、負(fù)責(zé)材質(zhì)紋理的因子……甚至可以捕捉到跨時(shí)間的概念演化。基于這些因子，研究團(tuán)隊(duì)構(gòu)建出一種全新的圖像編輯方式：編輯不再依賴繁瑣的提示語(yǔ)或反復(fù)調(diào)參，而是可以沿著清晰的語(yǔ)義方向直接操控?cái)U(kuò)散過(guò)程。例如：

• 提升紋理細(xì)節(jié)而不改變?nèi)纸Y(jié)構(gòu)
• 調(diào)整物體姿態(tài)但保持背景一致
• 加強(qiáng)某類語(yǔ)義而不干擾其它部分

這些編輯操作完全基于 TIDE 生成的語(yǔ)義因子完成，意味著未來(lái)擴(kuò)散模型有望出現(xiàn)一種全新的「因子級(jí)編輯器」，具備高度可控性與透明性。

與此同時(shí)，TIDE 對(duì)模型生成質(zhì)量的影響幾乎可以忽略不計(jì)。FID、sFID 變化小于 0.1%，噪聲預(yù)測(cè)軌跡保持穩(wěn)定，實(shí)現(xiàn)了真正意義上的「可解釋而不降質(zhì)」。

TIDE 的效果

TIDE 在不同設(shè)置、不同模型規(guī)模以及不同任務(wù)維度下的整體表現(xiàn)。無(wú)論是在超參數(shù)選擇、在 DiT 不同層級(jí)進(jìn)行因子學(xué)習(xí)，還是在 SDXL、FLUX-dev 等主流擴(kuò)散架構(gòu)上的泛化能力，TIDE 都表現(xiàn)出高度穩(wěn)定且持續(xù)的優(yōu)勢(shì)。

可以看到，TIDE 在幾乎不增加 FID 代價(jià)的前提下，顯著提升了 AlignScore 中的語(yǔ)義綁定（顏色、形狀、紋理）以及跨區(qū)域關(guān)系理解（空間與非空間關(guān)系），其中多處指標(biāo)在表中以綠色標(biāo)記為最優(yōu)表現(xiàn)。

此外，在安全性評(píng)測(cè)部分，TIDE 相比多個(gè)現(xiàn)有方法大幅降低了攻擊成功率，顯示出更穩(wěn)健的特征理解能力。整體來(lái)看，這幅表格清楚證明：TIDE 不僅帶來(lái)了高質(zhì)量、可解釋的語(yǔ)義因子，還在保持生成質(zhì)量的同時(shí)，提升了模型的結(jié)構(gòu)理解、關(guān)系推理與安全性，成為一種真正可泛化、可落地的可解釋擴(kuò)散框架。

TIDE 的意義：

補(bǔ)齊擴(kuò)散模型的「理解」能力

擴(kuò)散模型已經(jīng)成為現(xiàn)代視覺(jué)生成系統(tǒng)的核心支柱，但它們的內(nèi)部機(jī)制一直缺乏系統(tǒng)、透明的解釋路徑。TIDE 的出現(xiàn)不僅提供了首個(gè)真正實(shí)用的可解釋性方案，更重要的是，它讓研究者第一次能夠沿著「時(shí)間」這條線索觀察擴(kuò)散模型內(nèi)部的語(yǔ)義結(jié)構(gòu)。

這種理解能力將直接影響未來(lái)的多個(gè)方向：

• 更可控、更穩(wěn)健的擴(kuò)散編輯系統(tǒng)
• 統(tǒng)一理解——生成模型的因子級(jí)橋接
• 擴(kuò)散模型的因果與語(yǔ)義理論研究
• 新一代透明、可信的視覺(jué)生成系統(tǒng)

TIDE 不僅是一個(gè)方法，更是一種新的研究范式：擴(kuò)散模型并非不可解釋，只是缺少一個(gè)合適的視角。

未來(lái)展望

研究團(tuán)隊(duì)表示，當(dāng)前 TIDE 已成功驗(yàn)證了時(shí)序稀疏自編碼器框架的有效性，但可解釋擴(kuò)散模型的潛力遠(yuǎn)未被完全發(fā)掘。未來(lái)的工作將進(jìn)一步：

• 擴(kuò)展更大規(guī)模、更精細(xì)的時(shí)序字典
• 探索跨模態(tài)共享的語(yǔ)義因子
• 結(jié)合 LLM-SAE 構(gòu)建統(tǒng)一解釋空間
• 將因子級(jí)編輯推向產(chǎn)品化工具

隨著更多研究者的加入，擴(kuò)散模型的「黑箱壁壘」正逐漸被揭開(kāi)，而 TIDE 或許是這一轉(zhuǎn)變具有代表性的第一步。