通過視覺安全提示與深度對(duì)齊實(shí)現(xiàn)大型視覺語言模型的安全對(duì)齊

隨著大型視覺語言模型在多個(gè)下游任務(wù)的廣泛應(yīng)用，其潛在的安全風(fēng)險(xiǎn)也開始快速顯露。研究表明，即便是最先進(jìn)的大型視覺語言模型，也可能在面對(duì)帶有隱蔽的惡意意圖的圖像 — 文本輸入時(shí)給出違規(guī)甚至有害的響應(yīng)，而現(xiàn)有的輕量級(jí)的安全對(duì)齊方案都具有一定的局限性。

在這一背景下，清華大學(xué)人工智能學(xué)院團(tuán)隊(duì)提出了DAVSP（Deep Aligned Visual Safety Prompt）。該工作以O(shè)ral 形式被 AAAI 2026 錄用。

DAVSP 通過引入全新的視覺安全提示與深度對(duì)齊策略，在幾乎不破壞模型正常能力的前提下，顯著提升了大型視覺語言模型對(duì)惡意輸入的抵御效果，為大型視覺語言模型的安全對(duì)齊提供了新的方法。

• 論文鏈接：https://arxiv.org/pdf/2506.09353
• Github 鏈接：https://github.com/zhangyitonggg/DAVSP

研究背景與問題

大型視覺語言模型（LVLMs）雖在多模態(tài)任務(wù)中表現(xiàn)亮眼，但其安全隱患正迅速顯現(xiàn)。攻擊者可以將惡意意圖隱蔽地嵌入圖像中，使模型在未察覺風(fēng)險(xiǎn)的情況下輸出有害內(nèi)容。因此，如何增強(qiáng) LVLMs 對(duì)多模態(tài)惡意輸入的安全對(duì)齊能力，成為當(dāng)前亟需解決的問題。

如何提升 LVLMs 的安全性？一條常見并且輕量級(jí)的思路是對(duì)用戶請(qǐng)求添加安全提示（safety prompt）以引導(dǎo)模型遵循安全準(zhǔn)則。文本領(lǐng)域已有通過在用戶文本前加入提示語來提高模型安全性的方法。但在多模態(tài)場(chǎng)景下，僅保護(hù)文本遠(yuǎn)遠(yuǎn)不夠，攻擊者完全可以繞過文本提示，將威脅藏在圖像中。

近期工作如 ESIII、UniGuard 嘗試在圖像上添加可訓(xùn)練的視覺安全擾動(dòng)，以提升模型拒絕惡意請(qǐng)求的能力，并與文本安全提示結(jié)合取得一定成效。然而，這類視覺安全擾動(dòng)在真實(shí)應(yīng)用中仍存在兩大問題：

• 安全性不足：例如在 FigStep 基準(zhǔn)上，即便加入視覺安全擾動(dòng)，模型仍有約 30% 的惡意輸入沒有被成功拒絕。
• 性能損害明顯：在 MME 基準(zhǔn)上，某模型的得分從 1818 直接跌至 1403，意味著模型「更安全」的同時(shí)也顯著「變?nèi)酢埂?/li>

上述缺陷背后的原因在該研究中被進(jìn)一步剖析：

• 首先，直接在圖像像素上疊加噪聲會(huì)不可避免地?cái)_亂圖像的關(guān)鍵視覺特征（如邊緣、紋理、色彩分布），削弱模型對(duì)圖像的感知，從而影響模型的性能。為減輕這一問題，擾動(dòng)幅度不得不被嚴(yán)格限制，但這又極大壓縮了可用的優(yōu)化空間，限制了視覺安全擾動(dòng)發(fā)揮作用的能力。
• 其次，僅依據(jù)模型最終輸出是否安全來訓(xùn)練擾動(dòng)（比如讓模型盡量輸出預(yù)設(shè)的拒絕語）屬于淺層的對(duì)齊，模型可能學(xué)到的是表面模式而非真正的安全準(zhǔn)則。因此經(jīng)常出現(xiàn)模型回復(fù)以「抱歉」開頭，看似拒絕，但緊接著還是給出了有害內(nèi)容的情況。圖 1 的案例直觀展示了這一「表面拒絕」現(xiàn)象：左側(cè)施加傳統(tǒng)安全擾動(dòng)的模型先說「抱歉不能幫助」，卻隨后繼續(xù)提供了實(shí)行非法黑客行為的具體步驟。

針對(duì)以上挑戰(zhàn)，清華大學(xué)人工智能學(xué)院團(tuán)隊(duì)在 AAAI 2026 上提出了全新的安全對(duì)齊方法DAVSP（Deep Aligned Visual Safety Prompt）。

該方法的核心思想是從視覺提示范式和訓(xùn)練對(duì)齊機(jī)制兩方面同時(shí)創(chuàng)新，以克服以往方法的局限性。在保證模型對(duì)正常輸入性能幾乎不受影響的前提下，大幅提升模型對(duì)惡意多模態(tài)攻擊的抵御能力。下面我們?cè)敿?xì)介紹 DAVSP 的方法原理和其兩項(xiàng)關(guān)鍵創(chuàng)新：視覺安全提示（Visual Safety Prompt）和深度對(duì)齊（Deep Alignment）。

方法與創(chuàng)新：深度對(duì)齊的視覺安全提示（DAVSP）

DAVSP 整體思路：作者重新審視了將安全提示引入視覺模態(tài)的范式，提出視覺安全提示（VSP）來取代傳統(tǒng)的圖像全局?jǐn)_動(dòng)，并設(shè)計(jì)了深度對(duì)齊（DA）的訓(xùn)練策略讓模型從內(nèi)部真正理解何為「不安全」輸入。下圖概覽了 DAVSP 的工作原理。

視覺安全提示

視覺安全提示（Visual Safety Prompt，VSP）是 DAVSP 提出的新型視覺提示范式。不同于以往直接在整幅圖像像素上加擾動(dòng)的方法，VSP 選擇在輸入圖像周圍添加一圈額外的可訓(xùn)練邊框，作為安全提示區(qū)域。這樣做有兩大好處：

• 保護(hù)原始視覺特征：由于提示信息只存在于圖像邊緣的新擴(kuò)展區(qū)域，而不直接修改原圖的像素，視覺安全提示不會(huì)破壞原有圖像的關(guān)鍵細(xì)節(jié)。模型在處理時(shí)能夠較好地接收到原圖信息，從而保證對(duì)良性輸入的正常感知與理解不會(huì)因提示的加入而下降。實(shí)驗(yàn)中也驗(yàn)證了這一點(diǎn)：使用 DAVSP 后模型在多個(gè)基準(zhǔn)上的各項(xiàng)性能幾乎與僅施加文本安全提示時(shí)相當(dāng)，顯著少于于以往視覺安全擾動(dòng)方法的性能損失。
• 擴(kuò)大優(yōu)化空間：相較于傳統(tǒng)像素級(jí)的視覺安全擾動(dòng)（其擾動(dòng)幅度常被嚴(yán)格限制在如 32/255 的極小范圍內(nèi)），視覺安全提示通過引入額外的圖像邊界區(qū)域，可以被優(yōu)化為任意像素值，大大拓寬了可學(xué)習(xí)參數(shù)的空間。實(shí)驗(yàn)表明，在消除了這一擾動(dòng)幅度限制后，在測(cè)試時(shí)能夠表現(xiàn)出更強(qiáng)有力的安全對(duì)齊能力。

此外，視覺安全提示作為一種「即插即用」的模塊具有實(shí)用優(yōu)勢(shì)：只需在推理時(shí)將圖像加上優(yōu)化得到的視覺安全提示，不需要改動(dòng)模型結(jié)構(gòu)，也不會(huì)帶來額外的計(jì)算開銷或顯著延遲。

深度對(duì)齊

有了合適的提示范式，還需要有效的訓(xùn)練策略使視覺安全提示發(fā)揮作用。DAVSP 的第二項(xiàng)創(chuàng)新深度對(duì)齊（Deep Alignment）旨在深入模型內(nèi)部，對(duì)其內(nèi)部激活空間進(jìn)行監(jiān)督，挖掘并增強(qiáng)模型自身對(duì)「有害 / 無害」信息的區(qū)分能力。

研究人員注意到，大型視覺語言模型內(nèi)部往往已經(jīng)蘊(yùn)含了一定的對(duì)有害意圖的「潛在辨別能力」—— 即惡意查詢和正常查詢?cè)谀Ｐ椭械募せ钕蛄看嬖谙到y(tǒng)性差異。與其僅看最終輸出是否拒絕，不如利用模型內(nèi)部表征來指導(dǎo)訓(xùn)練，促使模型從內(nèi)部真正認(rèn)知到哪些輸入是不安全的。具體來說，作者提出了以下步驟：

1. 構(gòu)建有害向量：首先在模型內(nèi)部選取一層（如解碼器的中間層），比較模型處理一組容易拒絕的惡意樣本與一組正常良性樣本時(shí)該層激活向量的差異。通過計(jì)算兩組樣本在該層最終一個(gè)輸入 token 的平均激活差，得到一個(gè)向量方向，稱為「有害向量」。直觀理解，這個(gè)向量代表了將模型內(nèi)部表示從「良性」方向推向「惡意」方向的變化方向。
2. 深度對(duì)齊訓(xùn)練：有了有害向量，就可以在訓(xùn)練視覺安全提示時(shí)引入一種基于內(nèi)部表示的目標(biāo)。具體做法是：讓帶有惡意意圖的輸入在該向量方向上的投影盡可能增加，而良性輸入的投影盡可能減少。也就是說，訓(xùn)練過程中視覺提示會(huì)被不斷優(yōu)化，促使模型對(duì)惡意查詢?cè)诩せ钕蛄可细颉赣泻Α狗较?，從而模型更容易意識(shí)到「這是不好的請(qǐng)求」，進(jìn)而在輸出層拒絕回答；相反，對(duì)正常輸入則壓低這種有害方向的激活，避免模型誤判正常請(qǐng)求為有害請(qǐng)求。

實(shí)驗(yàn)結(jié)果

作者在多個(gè)基準(zhǔn)上對(duì) DAVSP 進(jìn)行了全面評(píng)估，結(jié)果顯示該方法在抵御惡意攻擊和保持模型實(shí)用性兩方面均顯著優(yōu)于現(xiàn)有方案。

• 惡意輸入抵御能力：在兩個(gè)具有代表性的惡意多模態(tài)數(shù)據(jù)集上，DAVSP 取得了遠(yuǎn)高于現(xiàn)有同類方法的拒絕率（RSR，Resist Success Rate）。

• 良性任務(wù)性能：與提升安全性相對(duì)應(yīng)，DAVSP 對(duì)模型正常能力的影響卻很微小。DAVSP 在多個(gè)基準(zhǔn)上的實(shí)用性評(píng)分與僅施加文本安全提示時(shí)持平，且優(yōu)于其他視覺安全擾動(dòng)的方法。
• 
  

• 跨模型泛化：令人驚喜的是，DAVSP 訓(xùn)練得到的視覺安全提示具有一定的泛化能力，可以在不同模型之間遷移使用。

• 關(guān)鍵組件作用：通過消融實(shí)驗(yàn)，作者驗(yàn)證了 DAVSP 的兩大創(chuàng)新 —— 視覺安全提示和深度對(duì)齊 —— 缺一不可。移除深度對(duì)齊、僅對(duì)輸出進(jìn)行監(jiān)督時(shí)，模型對(duì)惡意攻擊的抵抗成功率大幅下降。同樣地，將視覺安全提示替換回原始的像素級(jí)的視覺安全擾動(dòng)后，會(huì)造成安全性和實(shí)用性同時(shí)退化。

團(tuán)隊(duì)介紹

本研究由清華大學(xué)人工智能學(xué)院團(tuán)隊(duì)完成。通訊作者為清華大學(xué)人工智能學(xué)院李佳助理教授，主要研究方向包括人工智能和軟件工程的交叉賦能、AI for SE、SE for AI 等。第一作者張奕彤將于明年正式入學(xué)清華大學(xué)人工智能學(xué)院攻讀博士學(xué)位。