源自電路理論的即插即用方法讓視覺Transformer重獲高清細節

針對視覺 Transformer（ViT）因其固有 “低通濾波” 特性導致深度網絡中細節信息丟失的問題，我們提出了一種即插即用、受電路理論啟發的 頻率動態注意力調制（FDAM）模塊。它通過巧妙地 “反轉” 注意力以生成高頻補償，并對特征頻譜進行動態縮放，最終在幾乎不增加計算成本的情況下，大幅提升了模型在分割、檢測等密集預測任務上的性能，并取得了 SOTA 效果。

該工作來自北京理工大學、RIKEN AIP和東京大學的研究團隊。

• 論文全文: https://arxiv.org/abs/2507.12006
• 作者主頁: https://linwei-chen.github.io
• 實驗室主頁: https://ying-fu.github.io
• 開源代碼: https://github.com/Linwei-Chen/FDAM

研究背景：為什么這是一個重要的問題？

視覺 Transformer（ViT）無疑是近年來計算機視覺領域最耀眼的明星。它憑借強大的全局建模能力，在圖像分類、目標檢測、語義分割等眾多任務上刷新了紀錄。然而，當我們構建更深、更強大的 ViT 模型時，一個 “隱秘的角落” 里的問題逐漸浮出水面：模型看世界，怎么越來越模糊了？

這并非錯覺。對于分割、檢測這類需要精確定位的 “密集預測” 任務而言，圖像的邊緣、紋理等高頻細節至關重要。但研究發現，ViT 中的核心部件 —— 自注意力機制（Self-Attention），其本質上像一個低通濾波器。這意味著每經過一層注意力，圖像特征中的高頻細節就會被削弱一分，而平滑的低頻結構則被保留和增強。當我們將數十個這樣的 “濾波器” 堆疊起來，災難性的“頻率消失”（Frequency Vanishing）現象便發生了：網絡深層的特征幾乎完全丟失了細節信息，導致表征坍塌（Representation Collapse），最終輸出的預測結果自然也就模糊不清、邊界不準。

正如上圖所示，在標準的 ViT 中，高頻信息隨著層數加深迅速衰減至零。解決這一根本性缺陷，釋放 ViT 在高清視覺任務上的全部潛力，是當前領域亟待突破的關鍵瓶頸。

現有方法的局限性

此前，一些工作嘗試緩解 ViT 的 “過平滑” 問題，例如通過正則化或直接在頻域上對衰減的高頻信號進行靜態補償（如 AttnScale, NeuTRENO 等）。這些方法起到了一定作用，但它們更像是 “亡羊補牢”—— 在細節丟失后進行被動修復，而未能從根本上改變注意力機制的低通天性。它們缺乏一種動態、自適應的能力，來根據不同圖像內容和任務需求，靈活地處理全頻譜的視覺信息。

FDAM 的核心思想是什么？

既然問題出在注意力機制這個 “元件” 上，我們能否重新設計這個 “電路”？我們的核心思想，源于經典的電路理論。

想象一下音響上的均衡器。標準注意力就像一個只有 “重低音”（Low-Pass）的旋鈕，它會濾掉清亮的高音。我們如何憑空造出一個 “高音”（High-Pass）旋鈕呢？電路理論給了我們一個絕妙的啟示：高通濾波器 = 全通濾波器 - 低通濾波器。

這個簡單的公式正是我們方法的核心 ——注意力反轉（Attention Inversion, AttInv）。

• “全通濾波器”是什么？就是未經處理的原始特征，它包含了所有頻率的信息。
• “低通濾波器”是什么？就是標準注意力模塊處理后的特征，它只保留了低頻成分。

兩者相減，得到的 “殘差” 不就恰好是那些被濾掉的高頻細節么？

基于此，我們的 AttInv 模塊不再是單一的低通濾波器。在每一層，它都同時擁有了原始的 “低通” 路徑和我們創造的 “高通” 路徑。更關鍵的是，我們引入了一個輕量級的動態 “混音器”，讓模型能夠根據圖像上每個區域的特點，自主學習是該更關注平滑的整體結構（低頻），還是更聚焦于銳利的邊緣紋理（高頻）。當這樣的模塊堆疊起來，模型便擁有了 2^L 種（L 為層數）復雜的頻率組合能力，能夠擬合出遠比之前豐富多樣的頻率響應。

方法的關鍵組成部分

當然，僅有 “低音” 和 “高音” 兩個旋鈕對于專業音響師來說還不夠。為了實現更精細的 “調音”，我們設計了第二個關鍵組件：頻率動態縮放（Frequency Dynamic Scaling, FreqScale）。

FreqScale 就像一個多頻段圖形均衡器。它將特征圖轉換到頻域，將其劃分為多個頻段，并為每個頻段學習一個動態的增益權重。這樣，模型不僅能區分高低頻，還能根據需要精確地 “增強” 或 “抑制” 某個特定頻段的信號，例如，為分割任務特別增強中高頻的邊緣信號。

FDAM = AttInv (粗調高低頻) + FreqScale (精調各頻段)。兩者結合，構成了一套完整、高效且自適應的全頻譜解決方案。

實驗效果有多驚艷？

我們的 FDAM 模塊是 “即插即用” 的，可以輕松集成到各種主流 ViT 架構中，且帶來的參數量和計算量開銷微乎其微。但效果的提升卻是實實在在的：

定量展示：

• 在語義分割任務中，FDAM 為輕量的SegFormer-B0在 ADE20K 數據集上帶來了+2.4 mIoU的巨幅提升。對于強大的DeiT3-Base，FDAM 依然能穩定提升+0.8 mIoU，達到了52.6%的 SOTA 性能。
• 在目標檢測與實例分割的 “兵家必爭之地” COCO 數據集上，FDAM 賦能Mask DINO，將檢測 AP 提升了+1.6，分割 AP 提升了+1.4，效果顯著。
• 在遙感圖像檢測 DOTA 數據集上，我們的方法同樣取得了當前單尺度設定的最優成績。

定性展示：

• “一圖勝千言”。從下方的特征圖對比中可以直觀地看到，標準 DeiT 的特征圖（b）細節模糊，而經過 FDAM 增強后的特征圖（c）輪廓清晰、紋理銳利，物體的結構被完美地保留了下來。其對應的頻譜圖（e）也證實了我們的方法保留了更豐富的高頻成分。

理論支撐：

• 我們的方法不僅效果好，理論上也站得住腳。分析表明，FDAM 能有效抵抗表征坍塌，其 “有效秩”（Effective Rank）在網絡深層遠高于基線模型，證明了特征的多樣性得到了更好的維持。

這項工作意味著什么？

FDAM 的價值不僅在于刷新了幾個 SOTA 點數，更在于：

1.提供了新視角：它成功地將經典的電路理論思想引入到前沿的 Transformer 設計中，為解決深度學習中的基礎問題（如信息衰減）提供了一個全新的、符合第一性原理的思考框架。

2.解決了真問題：它精準地定位并有效解決了 ViT 在密集預測任務中的一個核心痛點 ——“頻率消失”，將 ViT 的潛力更充分地釋放出來。

3.兼具實用與優雅：作為一個輕量、即插即用的模塊，FDAM 可以毫不費力地為現有模型 “增壓”，在工業界和學術界都有著巨大的應用潛力。

這項工作可能會推動社區在需要高清細節的領域（如醫學影像分析、高分辨率遙感、自動駕駛感知）中更廣泛地應用和探索更深層的 ViT 模型。

未來可以探索的方向

FDAM 也為未來研究打開了新的大門。例如，我們是否可以設計一個完全在頻域中進行動態路由的全新網絡結構？這種頻率調制的思想能否被拓展到視頻、三維點云甚至多模態數據中？這些都是激動人心的未來方向。

歡迎在 ICCV 2025 現場與我們交流！

作者介紹：

付瑩是北京理工大學計算機學院的教授、博士生導師，入選國家高層次青年人才計劃。她的研究領域主要為人工智能、計算機視覺與計算攝像學。近五年，她在中科院一區期刊和 CCF A 類會議上發表了超過 50 篇論文。她的研究成果已應用于 “嫦娥工程”、智慧城市建設等重要項目。她主編的《計算機視覺基礎》教材入選北京理工大學 “十四五” 規劃教材。她獲得的榮譽包括 ICML 杰出論文獎、日內瓦國際發明展金獎，并入選中國圖象圖形學學會石青云青年女科學家獎和中國電子學會青年科學家獎等。此外，付教授還擔任 TIP 等期刊的編委，并擔任 CVPR、ICCV 等頂級會議的領域主席。

谷林（Lin Gu）是 RIKEN AIP（理化學研究所）的研究科學家，同時也是東京大學的特別研究員。他的研究重點是通過進化方法開發新一代人工智能，旨在超越人腦的局限性。

谷林先生的研究涵蓋了計算機視覺、醫學成像、大型語言模型（LLM）、機器人技術甚至核聚變等多個領域。 他在 Nature Methods、PAMI、IJCV、AAAI 等頂級期刊和會議上發表了 60 多篇論文。此外，他還是 Pattern Recognition 期刊的副主編，并擔任 ICCV、ICML、NeurIPS 和 ICLR 等多個會議的領域主席。

目前，谷林先生是日本內閣府監督的國家級項目 “Moonshot Program” 的項目經理，并擔任 RIKEN-MOST 項目的日本首席研究員（PI），該項目專注于通過人工智能技術對精神分裂癥進行亞型分類和早期診斷。

陳林蔚，北京理工大學計算機學院博士。主要研究方向為計算機視覺，重點關注圖像分割、目標檢測、低光照圖像增強與識別以及圖像生成等領域。截至目前，他已發表論文十余篇，其中多篇以第一作者身份發表在國際計算機視覺頂級期刊和會議（如 TPAMI、IJCV、CVPR、ICLR、ISPRS）上。在學術社區貢獻方面，他擔任 IJCV、TIP、CVPR、ICCV、NeurIPS、AAAI 等多個期刊會議的審稿人，并在國際計算機視覺會議 BMVC 中因專業素養和貢獻被評為 "杰出審稿人"。