ICCV 2025最佳學(xué)生論文 | FlowEdit：告別反演，一種更直接的圖像編輯范式，結(jié)構(gòu)保持力SOTA！

文章來(lái)源：我愛(ài)計(jì)算機(jī)視覺(jué)（ID：aicvml）

剛剛ICCV 2025 大會(huì)公布了最佳論文和最佳學(xué)生論文，最佳論文由卡內(nèi)基梅隆大學(xué)研究團(tuán)隊(duì)摘得，最佳學(xué)生論文由以色列理工學(xué)院獲得，從11000多篇投稿論文中被選中，這些論文有哪些值得關(guān)注的點(diǎn)，我們一起來(lái)看看。（本文關(guān)注的是最佳學(xué)生論文，最佳論文解讀請(qǐng)參見(jiàn)今天的另一篇文章）

簡(jiǎn)單來(lái)說(shuō)，我們想讓AI根據(jù)一句話（比如“把貓變成狗”）來(lái)修改圖片，同時(shí)又盡可能保留原圖的結(jié)構(gòu)和風(fēng)格，這其實(shí)并不容易。傳統(tǒng)的“先反演再編輯”方法，就像是把一張畫(huà)拆解成一堆雜亂的顏料點(diǎn)（噪聲），然后再用這些顏料點(diǎn)根據(jù)新的指令去畫(huà)一幅新畫(huà)。這個(gè)過(guò)程很容易“手抖”，導(dǎo)致最終畫(huà)面要么不像話，要么丟失了原作的精髓。

而這篇論文提出的 FlowEdit ，則完全跳過(guò)了“拆解成顏料點(diǎn)”這一步。它更像一位高明的畫(huà)家，直接在原畫(huà)上進(jìn)行修改，構(gòu)建了一條從“原始圖像”到“目標(biāo)圖像”的直接、平滑的路徑。這樣做的好處是顯而易見(jiàn)的：編輯過(guò)程更穩(wěn)定，對(duì)原圖結(jié)構(gòu)的破壞更小，效果達(dá)到了新的SOTA水平。

• 
  

  論文標(biāo)題 ：FlowEdit: Inversion-Free Text-Based Editing Using Pre-Trained Flow Models

• 作者 ：Vladimir Kulikov, Matan Kleiner, Inbar Huberman-Spiegelglas, Tomer Michaeli

• 機(jī)構(gòu) ：以色列理工學(xué)院 (Technion – Israel Institute of Technology)

• 會(huì)議 ：ICCV 2025 Oral

• 論文終稿地址 : https://openaccess.thecvf.com/content/ICCV2025/papers/Kulikov_FlowEdit_Inversion-Free_Text-Based_Editing_Using_Pre-Trained_Flow_Models_ICCV_2025_paper.pdf

• 項(xiàng)目主頁(yè) ：https://matankleiner.github.io/flowedit/

• 代碼倉(cāng)庫(kù) ：https://github.com/fallenshock/FlowEdit

ps.下載該論文并所有ICCV 2025 論文，請(qǐng)?jiān)凇拔覑?ài)計(jì)算機(jī)視覺(jué)”公眾號(hào)后臺(tái)回復(fù)“頂會(huì)論文”(小寫(xiě))。

為何需要“告別反演”？

在深入了解 FlowEdit 之前，我們先快速回顧一下當(dāng)前主流的AI圖像編輯范式。很多方法，比如大家熟知的 SDEdit、Prompt-to-Prompt 等，都依賴于一個(gè)叫做“反演”（Inversion）的過(guò)程。

這個(gè)過(guò)程有點(diǎn)像一個(gè)“先拆解再重建”的流程：

1. 反演（拆解） ：首先，將原始圖片（比如一張老虎的照片）通過(guò)一個(gè)前向的常微分方程（ODE）過(guò)程，一步步“拆解”成一個(gè)純粹的噪聲圖。這個(gè)噪聲圖可以看作是生成這張圖片的“種子”。

2. 編輯與生成（重建） ：然后，用這個(gè)“種子”噪聲圖，結(jié)合新的文本指令（比如“把老虎換成貓”），通過(guò)一個(gè)反向的ODE過(guò)程，再一步步“重建”出一張新的圖片。

上圖生動(dòng)地展示了“反演編輯”與FlowEdit的路徑差異。左側(cè)（a）就是傳統(tǒng)的反演路徑，需要先走到噪聲空間（N(0,1)），再返回。而右側(cè)（c）的FlowEdit則選擇了一條更直接的路徑。

這個(gè)“繞遠(yuǎn)路”去噪聲空間溜達(dá)一圈的范式，雖然可行，但存在明顯缺陷：

• 信息損失 ：在“拆解”和“重建”的過(guò)程中，很容易丟失原始圖像的精細(xì)結(jié)構(gòu)和布局信息。

• 錯(cuò)誤累積 ：反演過(guò)程本身可能不完全精確，導(dǎo)致最終生成的圖像與原圖結(jié)構(gòu)偏差較大，出現(xiàn)不自然的“P圖”痕跡。

為了真正理解FlowEdit的巧妙之處，我們需要深入其數(shù)學(xué)原理。

技術(shù)背景：基于ODE反演的編輯范式

當(dāng)前許多方法都基于流模型（Flow Models），特別是矯正流（Rectified Flow）。這類模型學(xué)習(xí)一個(gè)含時(shí)的速度場(chǎng)（velocity field）V(Z_t, t, C)，它可以將一個(gè)分布的樣本（如高斯噪聲）通過(guò)求解一個(gè)常微分方程（Ordinary Differential Equation, ODE）“輸送”到另一個(gè)分布（如真實(shí)圖像）。這里的 Z_t 是 t 時(shí)刻的圖像狀態(tài)，C 是文本條件。

基于此，“反演編輯” 的具體技術(shù)步驟如下（對(duì)應(yīng)上圖a）：

1. 前向過(guò)程（反演） ：給定源圖像 X_src 和源提示 C_src 。我們從 Z_0 = X_src 開(kāi)始，求解前向ODE： dZ_t = V(Z_t, t, C_src) dt ，直到 t=1 時(shí)刻，得到一個(gè)理論上與 X_src 對(duì)應(yīng)的噪聲向量 Z_1 。這就是所謂的“反演到噪聲”。

2. 后向過(guò)程（生成） ：拿到這個(gè)噪聲 Z_1 后，我們換上新的目標(biāo)提示 C_tar 。從 Z_1 開(kāi)始，反向求解ODE： dZ_t = V(Z_t, t, C_tar) dt ，從 t=1 回到 t=0 ，最終得到編輯后的圖像 X_tar 。

這個(gè)過(guò)程雖然理論上可行，但其致命弱點(diǎn)在于，它將源圖像和目標(biāo)圖像的關(guān)聯(lián)完全寄托于那個(gè)唯一的、在反演時(shí)計(jì)算出的噪聲向量 Z_1 上。任何計(jì)算上的不精確都會(huì)導(dǎo)致結(jié)構(gòu)信息的丟失。

FlowEdit的核心思想：從“單一路徑”到“多路徑平均”

FlowEdit的作者首先提出了一個(gè)深刻的洞見(jiàn)：上述兩步走的“反演編輯”過(guò)程，其實(shí)等價(jià)于一個(gè)從 X_src 到 X_tar 的直接ODE路徑（對(duì)應(yīng)上圖b）。這條直接路徑的速度場(chǎng)，恰好是目標(biāo)速度場(chǎng)與源速度場(chǎng)的差值 V_tar - V_src。

然而，這條由反演決定的“唯一”直接路徑，依然不是最優(yōu)的。因?yàn)樗?jīng)過(guò)了噪聲空間的“瓶頸”，會(huì)導(dǎo)致不合理的匹配（如下圖所示，源分布中的藍(lán)點(diǎn)可能被錯(cuò)誤地匹配到目標(biāo)分布中較遠(yuǎn)的紅點(diǎn)，而不是更近的藍(lán)點(diǎn)），從而增加了“傳輸成本”，損害了圖像結(jié)構(gòu)。

FlowEdit的解決方案（對(duì)應(yīng)上圖 Figure 2中的 c）正是為了打破這種僵硬的“唯一路徑”。它的核心思想是：不再依賴于某一次具體的反演，而是通過(guò)對(duì)大量可能的“編輯方向”進(jìn)行平均，來(lái)動(dòng)態(tài)地、啟發(fā)式地尋找一條更好的路徑。

具體步驟如下： 在求解編輯路徑的每一步 t，對(duì)于當(dāng)前的中間結(jié)果 Z_FE_t：

1. 它并不進(jìn)行完整的反演，而是構(gòu)造一個(gè)“假設(shè)的”帶噪源圖像 ?_src_t 。這是通過(guò)給原始圖像 X_src 混合一個(gè) 隨機(jī)高斯噪聲 N_t 得到的。

2. 基于這個(gè)帶噪源圖像 ?_src_t 和當(dāng)前編輯狀態(tài) Z_FE_t ，可以推算出一個(gè)“假設(shè)的”帶噪目標(biāo)圖像 ?_tar_t 。

3. 然后，模型分別計(jì)算出指向這兩個(gè)“假設(shè)”圖像的速度場(chǎng) V_src(?_src_t) 和 V_tar(?_tar_t) 。

4. 計(jì)算出當(dāng)前這個(gè)隨機(jī)噪聲下的“編輯速度”： V_delta = V_tar - V_src 。

5. 最關(guān)鍵的一步 ：重復(fù)上述1-4步多次（每次都用 新的隨機(jī)噪聲 N_t ），然后將得到的多個(gè) V_delta 取平均值 。

6. 使用這個(gè)平均后的、更魯棒的“編輯速度”，來(lái)更新當(dāng)前圖像 Z_FE_t ，完成ODE的一步積分。

CV君認(rèn)為，這個(gè)“隨機(jī)采樣與平均”的策略是FlowEdit的精髓所在。它不再把寶押在一次反演上，而是通過(guò)“集思廣益”，綜合了大量可能路徑的“意見(jiàn)”，從而找到了一條整體上“傳輸成本”更低、更能保持原始結(jié)構(gòu)的演化路徑。這是一種非常聰明的啟發(fā)式搜索，它讓編輯過(guò)程變得更加靈活和穩(wěn)定。

實(shí)驗(yàn)效果：眼見(jiàn)為實(shí)

理論說(shuō)再多，不如直接看效果。FlowEdit 在各種復(fù)雜的編輯任務(wù)上，都展現(xiàn)出了SOTA級(jí)別的性能。

無(wú)論是物體替換（自行車變Vespa、兔子變小狗）、概念更換（皇冠變禮帽、椰子變棒球），還是更細(xì)微的屬性修改，F(xiàn)lowEdit都能精準(zhǔn)地執(zhí)行指令，同時(shí)幾乎完美地保留了背景、光照、姿態(tài)等原始圖像信息。

比如這個(gè)將蛋糕上的“水果”換成“草莓”的例子，F(xiàn)lowEdit不僅準(zhǔn)確地添加了草莓，還保持了蛋糕原有的奶油質(zhì)感和盤(pán)子背景。

定量對(duì)比：用數(shù)據(jù)說(shuō)話

除了肉眼可見(jiàn)的出色效果，F(xiàn)lowEdit在量化指標(biāo)上也全面超越了基于反演的方法。

在一個(gè)“千貓變千狗”的合成數(shù)據(jù)集實(shí)驗(yàn)中，研究者對(duì)比了FlowEdit和反演編輯的“傳輸成本”（即編輯前后圖像的差異）。結(jié)果顯示，F(xiàn)lowEdit的傳輸成本（MSE 1376 vs 2239, LPIPS 0.15 vs 0.25）遠(yuǎn)低于反演方法，同時(shí)在生成圖像的真實(shí)性指標(biāo)（FID/KID）上也表現(xiàn)更優(yōu)。這有力地證明了其在結(jié)構(gòu)保持上的巨大優(yōu)勢(shì)。

上圖展示了不同方法在“文本-圖像一致性”（CLIP，越高越好）和“結(jié)構(gòu)保持性”（LPIPS，越低越好）上的權(quán)衡。FlowEdit（Ours）在兩個(gè)維度上都取得了最佳的平衡點(diǎn)。

在風(fēng)格編輯方面，F(xiàn)lowEdit同樣游刃有余，可以在動(dòng)漫、繪畫(huà)等風(fēng)格間自由切換，同時(shí)保留主體內(nèi)容。

總結(jié)

總的來(lái)說(shuō)，F(xiàn)lowEdit的提出，為基于流模型的文本圖像編輯領(lǐng)域帶來(lái)了一股清新的空氣。它不僅在效果和性能上達(dá)到了新的SOTA，更重要的是，它提供了一種更優(yōu)雅、更符合直覺(jué)的“直接編輯”新范式。CV君認(rèn)為，這種“告別反演”的思路，很可能會(huì)啟發(fā)未來(lái)更多的研究，并有望被集成到主流的文生圖模型（如Stable Diffusion、FLUX）中，讓AI“P圖”變得更加得心應(yīng)手。

大家對(duì)這種“直接編輯”的思路怎么看？歡迎在評(píng)論區(qū)留下你的看法！