12毫秒暴露自動(dòng)駕駛致命缺陷，北航新研究｜TPAMI2025

DynamicPAE團(tuán)隊(duì) 投稿
量子位 | 公眾號(hào) QbitAI

近日，部分L3級(jí)自動(dòng)駕駛車型已經(jīng)通過(guò)工信部批準(zhǔn)正式上路，這標(biāo)志著這我國(guó)自動(dòng)駕駛產(chǎn)業(yè)的新階段。

然而，假設(shè)你正乘坐自動(dòng)駕駛汽車在高速上行駛，前方道路上出現(xiàn)了一個(gè)具有看似正常但實(shí)則為惡意生成紋理外觀的障礙物，而你的自動(dòng)駕駛車輛感知系統(tǒng)可能并未準(zhǔn)確識(shí)別，可能因錯(cuò)判、漏判引發(fā)嚴(yán)重事故。

這類對(duì)智能系統(tǒng)具有誘導(dǎo)性且可以在真實(shí)世界中復(fù)現(xiàn)的紋理，正是物理對(duì)抗樣本（PAE， Physical Adversarial Examples）。

無(wú)論是為發(fā)動(dòng)PAE攻擊還是防范PAE攻擊，生成足夠的PAE樣本都至關(guān)重要。

目前已有不少方法研究如何生成PAE，但它們往往以靜態(tài)場(chǎng)景為前提，無(wú)法有效應(yīng)對(duì)動(dòng)態(tài)變化（環(huán)境、如光、物體運(yùn)動(dòng)等）的現(xiàn)實(shí)環(huán)境。因此，如何實(shí)時(shí)生成適應(yīng)不同場(chǎng)景的物理對(duì)抗樣本，成為智能安全領(lǐng)域亟待解決的問(wèn)題。

北京航空航天大學(xué)等機(jī)構(gòu)提出了DynamicPAE框架，開創(chuàng)性地實(shí)現(xiàn)了實(shí)時(shí)場(chǎng)景感知的動(dòng)態(tài)PAE生成方法。

該方法通過(guò)對(duì)抗訓(xùn)練中的反饋問(wèn)題，結(jié)合殘差引導(dǎo)的對(duì)抗模式探索和場(chǎng)景對(duì)齊技術(shù)，實(shí)現(xiàn)了PAE在動(dòng)態(tài)場(chǎng)景中的毫秒級(jí)生成。該工作被IEEE Transactions on Pattern Analysis and Machine Intelligence 2025錄用

DynamicPAE框架聚焦于解決實(shí)時(shí)生成物理對(duì)抗樣本面臨的多維度挑戰(zhàn)。該方法通過(guò)對(duì)抗訓(xùn)練中的反饋問(wèn)題，結(jié)合殘差引導(dǎo)的對(duì)抗模式探索和場(chǎng)景對(duì)齊技術(shù)，實(shí)現(xiàn)了PAE在動(dòng)態(tài)場(chǎng)景中的高效生成和優(yōu)化。

研究面臨兩大核心挑戰(zhàn)：

1.對(duì)抗樣本訓(xùn)練中噪聲阻礙了對(duì)場(chǎng)景相關(guān)PAE的有效探索，進(jìn)一步導(dǎo)致訓(xùn)練退化問(wèn)題，現(xiàn)有生成器難以穩(wěn)定生成高質(zhì)量的對(duì)抗樣本；

2.數(shù)字域的對(duì)抗樣本生成與現(xiàn)實(shí)場(chǎng)景對(duì)接較為困難，生成器訓(xùn)練環(huán)境與現(xiàn)實(shí)攻擊者的觀察信息，導(dǎo)致生成的PAE在實(shí)際應(yīng)用中的適用性與隱蔽性不一致，進(jìn)而影響了其在復(fù)雜環(huán)境中的有效性和穩(wěn)定性。

DynamicPAE框架通過(guò)殘差引導(dǎo)對(duì)抗模式探索、分布匹配攻擊場(chǎng)景對(duì)齊和目標(biāo)加權(quán)模塊的設(shè)計(jì)，有效應(yīng)對(duì)上述挑戰(zhàn)，使得PAE生成過(guò)程更加穩(wěn)定，且能夠?qū)崟r(shí)適應(yīng)不同場(chǎng)景。

該框架在多個(gè)物理攻擊場(chǎng)景中表現(xiàn)出顯著的性能提升，在真實(shí)環(huán)境中的自動(dòng)駕駛安全測(cè)試、物理對(duì)抗攻擊等領(lǐng)域展現(xiàn)了廣泛的應(yīng)用潛力。

DynamicPAE框架

△圖1 環(huán)境感知的物理世界對(duì)抗樣本實(shí)時(shí)生成框架

DynamicPAE框架如圖1所示，主要包括殘差驅(qū)動(dòng)的對(duì)抗模式探索方法與分布匹配的對(duì)抗場(chǎng)景對(duì)齊方法，解決了端到端訓(xùn)練動(dòng)態(tài)對(duì)抗樣本生成器時(shí)的模式易坍縮、環(huán)境難適配問(wèn)題。論文首先將動(dòng)態(tài)物理對(duì)抗樣本生成問(wèn)題定義為：

即尋找能夠有效建模觀察到的物理上下文PX∈p，與物理對(duì)抗樣本δ間映射的生成器G。

其中Yadv是通過(guò)目標(biāo)模型F定義的成功攻擊的范圍，⊕為攻擊注入操作，它利用物理對(duì)抗樣本δ=G(PX)作為輸入，更新世界狀態(tài)X∈x。

1. 對(duì)抗模式的探索引導(dǎo)：

研究發(fā)現(xiàn)物理對(duì)抗樣本動(dòng)態(tài)生成器的優(yōu)化過(guò)程存在訓(xùn)練退化問(wèn)題。為刻畫該問(wèn)題，據(jù)生成模型的信息處理過(guò)程，提出有限信息反饋模型，建模物理對(duì)抗樣本δ與場(chǎng)景X關(guān)聯(lián)的混沌性質(zhì)，定義反饋信息比為：

其中，δ表示對(duì)抗樣本，?δL對(duì)抗樣本空間上對(duì)抗損失的梯度，刻畫單次優(yōu)化所能得到的目標(biāo)模型的反饋，Z表示在信息瓶頸理論下生成模型的對(duì)場(chǎng)景的關(guān)鍵編碼。

生成模型的信息處理過(guò)程為X→Z→δ，I與H分別表示互信息與香農(nóng)熵。

在引入物理環(huán)境不確定性的條件下，對(duì)抗損失梯度反饋信噪比低，即Information Ratio較低，阻礙了優(yōu)化算法對(duì)動(dòng)態(tài)對(duì)抗樣本空間的探索，使得優(yōu)化得到的生成器將不同的X映射到高度相近的δ，導(dǎo)致動(dòng)態(tài)性失效。

為解決該問(wèn)題，研究通過(guò)重新定義訓(xùn)練任務(wù)來(lái)繞過(guò)反饋信息匱乏的困難。

具體而言，建立輔助任務(wù)協(xié)同優(yōu)化的范式，以λ∈[0,1]為集成比例，引入新的高信噪比“殘差”任務(wù)，定義集成損失lλ殘差任務(wù)損失LR條和件生成目標(biāo)δλ和殘差比例任務(wù)編碼Zλ，并通過(guò)以λ為條件生成的方式修改損失函數(shù)以提高任務(wù)的解耦性和生成效果。

具體地，定義損失函數(shù)為：

使得在該任務(wù)的反饋信息比顯著高于原有動(dòng)態(tài)對(duì)抗樣本訓(xùn)練任務(wù)，即：

從對(duì)抗樣本的生成空間的角度來(lái)看，殘差任務(wù)的目標(biāo)是鼓勵(lì)探索全局空間。

受擴(kuò)散模型中為學(xué)習(xí)整個(gè)梯度場(chǎng)而構(gòu)建去噪任務(wù)的啟發(fā)，論文將輔助殘差任務(wù)R(LR:=LInv)定義為局部重建任務(wù)，因?yàn)樗c模型輸入PX直接相關(guān)，并同時(shí)可讓模型學(xué)習(xí)到如何生成不同強(qiáng)度的攻擊，使樣本具有更靈活的隱蔽性。

具體來(lái)說(shuō)，采用均方誤差MSE作為客觀質(zhì)量指標(biāo)，LPIPS作為主觀質(zhì)量指標(biāo)，并將它們整合為：

2. 分布匹配的攻擊場(chǎng)景對(duì)齊

如何確保生成的PAE在現(xiàn)實(shí)場(chǎng)景中有效？

為了讓生成的PAE能夠在復(fù)雜多變的現(xiàn)實(shí)場(chǎng)景中發(fā)揮作用，DynamicPAE提出了分布匹配的攻擊場(chǎng)景對(duì)齊方法。該方法包含兩個(gè)關(guān)鍵模塊：

1. 條件不確定性對(duì)齊數(shù)據(jù)模塊：通過(guò)創(chuàng)建條件概率模型，生成攻擊注入過(guò)程的參數(shù)和攻擊者的觀察，使訓(xùn)練環(huán)境與攻擊者在現(xiàn)實(shí)世界中的不完整觀察對(duì)齊，從而平衡了攻擊的普遍性和性能。

2. 偏度對(duì)齊目標(biāo)重加權(quán)模塊：則利用偏度統(tǒng)計(jì)量自動(dòng)重新加權(quán)損失，實(shí)現(xiàn)對(duì)不同攻擊目標(biāo)的一致隱身控制，同時(shí)進(jìn)一步實(shí)現(xiàn)殘差任務(wù)訓(xùn)練過(guò)程中“探索”與“利用”的平衡。

以對(duì)抗補(bǔ)丁生成為例。根據(jù)條件不確定性對(duì)齊原則，基于采集到的數(shù)據(jù)X建立訓(xùn)練數(shù)據(jù)概率圖模型：

△訓(xùn)練數(shù)據(jù)概率圖模型

其中，S和s’表示生成過(guò)程中注入的隨機(jī)因素，θ表示對(duì)抗補(bǔ)丁的模擬放置參數(shù)，PX表示動(dòng)態(tài)生成模型對(duì)于場(chǎng)景的觀測(cè)，從而保障訓(xùn)練環(huán)境與真實(shí)環(huán)境一致。

對(duì)于殘差任務(wù)引導(dǎo)的訓(xùn)練過(guò)程，重建損失“LInv”的采樣強(qiáng)度配比代表了對(duì)生成器多樣化紋理生成“探索”增強(qiáng)的能力，而攻擊損失“LAtk”的采樣強(qiáng)度代表了對(duì)于對(duì)抗補(bǔ)丁針對(duì)性生成的局部模式“利用”的能力。

進(jìn)一步地，盡管模型以λ為輸入，測(cè)試時(shí)相同λ下模型攻擊性-隱蔽性權(quán)衡的具體行為也受損失項(xiàng)整體強(qiáng)度影響。

為建立攻擊目標(biāo)權(quán)重配比自適應(yīng)調(diào)控機(jī)制，并針對(duì)原殘差任務(wù)中的LInv進(jìn)行調(diào)節(jié)，設(shè)定重構(gòu)任務(wù)的損失強(qiáng)度α和新?lián)p失L’Inv，根據(jù)損失的偏度統(tǒng)計(jì)量作為指示器，定義新?lián)p失項(xiàng)L’Inv及其調(diào)節(jié)方程為：

可證明調(diào)控過(guò)程在合理?xiàng)l件下收斂，從而保障在對(duì)抗度量測(cè)試場(chǎng)景下，動(dòng)態(tài)對(duì)抗生成模型在不同目標(biāo)模型、不同任務(wù)場(chǎng)景下的一致攻擊行為，保障度量的一致性。α控制器的示意圖如下圖所示。

△圖2 損失分布的閉環(huán)控制示意圖

實(shí)驗(yàn)結(jié)果

在多種數(shù)字和物理環(huán)境中，DynamicPAE相較于傳統(tǒng)PAE生成方法展現(xiàn)了優(yōu)異的攻擊性能。

在使用COCO和Inria數(shù)據(jù)集進(jìn)行目標(biāo)檢測(cè)實(shí)驗(yàn)時(shí)，DynamicPAE實(shí)現(xiàn)了顯著的性能提升，尤其在面對(duì)DETR等強(qiáng)大模型時(shí)，平均AP（平均精度）下降幅度為58.8%，達(dá)到了2.07倍的攻擊成功率提升。

DynamicPAE在推斷速度上表現(xiàn)優(yōu)異。

實(shí)驗(yàn)數(shù)據(jù)顯示，在NVIDIA A40 GPU上，DynamicPAE生成單張對(duì)抗樣本的平均耗時(shí)僅為12毫秒，相比于傳統(tǒng)的PGD迭代攻擊方法，速度提升了2000倍以上，且攻擊性更優(yōu)。

這一特性使得DynamicPAE能夠輕松滿足自動(dòng)駕駛等場(chǎng)景對(duì)物理世界攻擊實(shí)時(shí)性的嚴(yán)苛要求，真正實(shí)現(xiàn)了動(dòng)態(tài)、自適應(yīng)的物理對(duì)抗。

△圖3 DynamicPAE與其他方法對(duì)比

△圖 4 DynamicPAE與基線方法對(duì)比

上圖可視化了一些目標(biāo)模型的補(bǔ)丁生成結(jié)果。左側(cè)是沒有殘差引導(dǎo)訓(xùn)練時(shí)，可以觀察到所有四個(gè)目標(biāo)模型生成的補(bǔ)丁都是相同的。

殘差引導(dǎo)訓(xùn)練在攻擊每個(gè)模型時(shí)成功找到了多樣化的解決方案。盡管探索到的對(duì)抗樣本模式本身的多樣性有限，但其擺脫退化和單一解的行為是一致的。

△圖5 DynamicPAE的機(jī)制分析

為表明DynamicPAE框架中樣本不同是基于攻擊者的觀察生成的，而不是隨機(jī)生成的，研究進(jìn)一步分析了訓(xùn)練好的生成器的潛在表征Z。

首先根據(jù)物理對(duì)抗樣本的風(fēng)格對(duì)潛在表征進(jìn)行標(biāo)注，然后應(yīng)用LDA進(jìn)行降維。圖5中，子圖a表明模型成功學(xué)習(xí)到了樣本的線性降維表征。研究進(jìn)一步在降維空間中進(jìn)行K近鄰搜索，并在子圖b中可視化了相應(yīng)的物理上下文。

結(jié)果表明，KNN搜索結(jié)果在某些特征上（包括人類行為、服裝的色彩、暴露的身體部位等）與查詢具有顯著相似性，這表明DynamicPAE通過(guò)端到端的訓(xùn)練，確實(shí)捕捉到了攻擊目標(biāo)（如行人檢測(cè)器）的脆弱性特征與物理場(chǎng)景上下文之間的深層關(guān)聯(lián)，從而實(shí)現(xiàn)了場(chǎng)景感知的生成能力

△圖6 動(dòng)態(tài)物理環(huán)境下的適應(yīng)能力

為了驗(yàn)證模型在真實(shí)物理世界中的有效性，研究構(gòu)建了包含光照變化、不同視角及屏幕反射等干擾的物理測(cè)試環(huán)境。

實(shí)驗(yàn)結(jié)果表明，DynamicPAE生成的對(duì)抗樣本并非靜態(tài)不變，而是能夠根據(jù)環(huán)境光照和場(chǎng)景內(nèi)容的改變進(jìn)行動(dòng)態(tài)調(diào)整

在視頻分析實(shí)驗(yàn)中，面對(duì)不斷變化的背景和移動(dòng)的人物，DynamicPAE能夠實(shí)時(shí)輸出與當(dāng)前幀最匹配的對(duì)抗紋理，保持攻擊的持續(xù)有效性。相比于傳統(tǒng)靜態(tài)貼片在光照劇烈變化下攻擊性能大幅下降的情況，DynamicPAE展現(xiàn)出了卓越的環(huán)境適應(yīng)能力和魯棒性

論文同時(shí)驗(yàn)證了DynamicPAE在黑盒遷移攻擊、3D仿真環(huán)境泛化攻擊、人臉識(shí)別分類攻擊的有效性，驗(yàn)證了技術(shù)框架對(duì)無(wú)人駕駛對(duì)抗擾動(dòng)測(cè)試生成場(chǎng)景的適配能力，同時(shí)消融實(shí)驗(yàn)進(jìn)一步分析了各模塊的影響，驗(yàn)證了所提方法的實(shí)際有效性。

在未來(lái)，相關(guān)工作可結(jié)合3D仿真模型生成和強(qiáng)化學(xué)習(xí)等技術(shù)，進(jìn)一步完善動(dòng)態(tài)對(duì)抗的生成能力。

論文鏈接：https://ieeexplore.ieee.org/document/11219170