北郵&中國電信提出SSVP：CLIP+DINOv3強強聯手，零樣本工業異常檢測新SOTA

來源：我愛計算機視覺

在工業視覺檢測中，零樣本異常檢測 (ZSAD) 是個理想的“圣杯”——無需目標域訓練，直接上手就能檢。然而，現有的基于 VLM（如 CLIP）的方法往往面臨兩難：CLIP 擅長全局語義（懂什么是“瓶子”），但對細微的劃痕、裂紋等局部結構“視而不見”。

北京郵電大學和中國電信人工智能研究院 (TeleAI) 的研究團隊提出了 SSVP (Synergistic Semantic-Visual Prompting) 框架。他們不僅引入了 DINOv3 來補充細粒度視覺特征，更通過一種深度的“語義-視覺協同”機制，讓 Prompt 不再是死板的文本，而是能根據視覺內容動態變化的“靈動指令”。

該方法在 MVTec-AD 上達到了 93.0% 的 Image-AUROC，橫掃 7 個主流工業數據集，刷新了 SOTA！

• 
  

  論文標題 : SSVP: Synergistic Semantic-Visual Prompting for Industrial Zero-Shot Anomaly Detection

• 論文地址 : https://arxiv.org/abs/2601.09147

• 機構 : 北京郵電大學, 中國電信人工智能研究院 (TeleAI)

傳統的 ZSAD 方法（如 WinCLIP）喜歡用簡單的加權融合來結合 CLIP 和視覺特征，這種“淺層融合”就像是用膠水硬粘，雖然勉強能用，但沒法解決核心矛盾：

• 語義太泛 ：CLIP 的特征太高級，容易忽略工業場景中至關重要的紋理細節。

• Prompt死板 ：現有的 Prompt 生成（甚至單純的概率式生成）缺乏視覺條件的強約束，導致生成的文本指令“對牛彈琴”，無法精準錨定特定的異常模式。

• 全局與局部割裂 ：全局打分往往被大面積的背景噪聲掩蓋，漏掉微小的缺陷。

如下圖所示，SSVP 提出了一種基于“深度協同流”的新范式，這里的 Prompt 生成是視覺條件 (Vision-Conditioned) 的，真正做到了“看圖說話”。

02 方法詳解：SSVP 三重奏

SSVP 的架構（圖2）設計得非常精巧，主要由三個模塊組成，分別解決上述三個痛點。

2.1 層級語義-視覺協同 (HSVS)

這是基礎底座。作者引入了DINOv3作為＂視覺專家＂來補充 CLIP 的細粒度結構特征。核心組件是自適應Token特征融合（ATF）模塊。

它首先將 CLIP 和 DINOv3 的局部特征投影到共享子空間：

然后通過雙路交叉注意力（Bi－Attn）顯式注入結構先驗。比如，用 CLIP 的語義去查詢 DINO 的結構細節：

最終，將雙向交互的特征拼接并融合，生成兼具語義理解和結構感知的協同特征 ：

2.2 視覺條件 Prompt 生成器 (VCPG)

傳統的 Prompt 是＂靜態＂的，SSVP 則讓 Prompt＂看圖說話＂。VCPG 引入了VAE（變分自編碼器）來對視覺特征的分布進行建模。

• 潛變量建模 ：編碼器 從協同特征中預測分布參數，并利用重參數化技巧采樣出 視覺隱變量（Visual Latent Bias） ：

• 動態注入 ：通過交叉注意力（Text－Latent Cross－Attention），讓文本 Embedding 根據 進行動態調整，生成視覺增強的殘差 ，并通過門控標量 注入：

這意味著，如果圖中有疑似裂紋，Prompt 就會在特征空間中向＂裂紋＂語義偏移。