![]()
新智元報(bào)道
編輯:LRST
【新智元導(dǎo)讀】研究者用特制雨傘干擾無(wú)人機(jī)視覺(jué)系統(tǒng),讓其誤判目標(biāo)在遠(yuǎn)去,從而失控俯沖。FlyTrap攻擊無(wú)需信號(hào)干擾,僅靠物理圖案就能欺騙多款商用無(wú)人機(jī),實(shí)現(xiàn)靜默捕獲或擊毀。實(shí)驗(yàn)顯示,物理閉環(huán)攻擊成功率超60%,且對(duì)新人物、新場(chǎng)景均有強(qiáng)泛化能力。這項(xiàng)研究揭示了AI感知系統(tǒng)的重大安全隱患,警示我們:視覺(jué)安全正成為智能設(shè)備的阿喀琉斯之踵。
隨著消費(fèi)級(jí)和工業(yè)級(jí)無(wú)人機(jī)的普及,自主目標(biāo)跟蹤(Autonomous Target Tracking, ATT) 已成為標(biāo)配功能。
無(wú)論是 DJI(大疆)的跟隨拍攝,還是警方的無(wú)人機(jī)巡邏,系統(tǒng)都依賴(lài)單目標(biāo)跟蹤(SOT)模型來(lái)實(shí)時(shí)鎖定并保持與目標(biāo)的固定距離。
在目前現(xiàn)實(shí)世界的安全假設(shè)中,如果無(wú)人機(jī)沒(méi)有受到 GPS 欺騙或信號(hào)干擾,它就被普遍認(rèn)為是安全的。
![]()
圖1: FlyTrap物理對(duì)抗性雨傘以及測(cè)試的三款商用無(wú)人機(jī)
然而,加州大學(xué)爾灣分校的研究人員直接挑戰(zhàn)了這一假設(shè),證明了:通過(guò)操縱物理世界中的視覺(jué)特征,可以從算法層面接管無(wú)人機(jī)的飛行控制邏輯。
![]()
論文鏈接 (arXiv):https://arxiv.org/pdf/2509.20362
論文鏈接 (NDSS):https://www.ndss-symposium.org/ndss-paper/flytrap-physical-distance-pulling-attack-towards-camera-based-autonomous-target-tracking-systems/
項(xiàng)目主頁(yè)與演示視頻:https://sites.google.com/view/secure-safe-ai/flytrap
演示視頻:https://www.tiktok.com/@asguard_uci/video/7599829206599552287
其他視頻材料:https://www.youtube.com/playlist?list=PLlViq2qGRmiYQUEovXYaP3ww9AlWH4ZBt
FlyTrap的核心,距離拉近攻擊 (Distance-Pulling Attack, DPA): 該攻擊利用了神經(jīng)網(wǎng)絡(luò)對(duì)于對(duì)抗樣本感知時(shí)的脆弱性。
攻擊者通過(guò)一把特制的「對(duì)抗性雨傘」,讓無(wú)人機(jī)的視覺(jué)模型產(chǎn)生嚴(yán)重的邊界框(Bounding Box)預(yù)測(cè)偏差。即便物理距離沒(méi)有變化,無(wú)人機(jī)的跟蹤算法也會(huì)認(rèn)為目標(biāo)正在迅速遠(yuǎn)去。為了維持設(shè)定的跟蹤距離,飛行控制器會(huì)立即觸發(fā)加速補(bǔ)償,導(dǎo)致無(wú)人機(jī)失控俯沖。
FlyTrap攻擊的發(fā)現(xiàn)具有深遠(yuǎn)的現(xiàn)實(shí)意義。在執(zhí)法與邊境管控場(chǎng)景中,該技術(shù)可作為一種非電子對(duì)抗手段,幫助相關(guān)人員在不使用信號(hào)干擾器的情況下,靜默誘導(dǎo)并捕獲自動(dòng)跟蹤的無(wú)人機(jī) 。
此外,對(duì)于個(gè)人隱私保護(hù)而言,當(dāng)面臨無(wú)人機(jī)惡意尾隨或偷拍時(shí),這種特制的「雨傘」能成為一種有效的自衛(wèi)工具,保護(hù)個(gè)人安全與空間隱私。
從「視覺(jué)擾動(dòng)」到「閉環(huán)攻擊」
![]()
圖2: FlyTrap攻擊方法流程:閉環(huán)仿真示意圖
FlyTrap的學(xué)術(shù)貢獻(xiàn)在于它實(shí)現(xiàn)了對(duì)「感知-控制閉環(huán)」的精準(zhǔn)物理仿真:
尺度感知漏洞:現(xiàn)有的無(wú)人機(jī)跟蹤算法高度依賴(lài)物體的視覺(jué)面積來(lái)估算距離。因此,當(dāng)對(duì)抗性雨傘圖案誘導(dǎo)跟蹤模型將邊界框尺寸預(yù)測(cè)得更小時(shí),無(wú)人機(jī)便會(huì)「誤以為」目標(biāo)在遠(yuǎn)離,從而觸發(fā)加速補(bǔ)償。研究人員在論文中進(jìn)一步證明(Theorem 1):若對(duì)抗圖案使模型產(chǎn)生收縮率的邊界框預(yù)測(cè)偏差,無(wú)人機(jī)最終會(huì)被拉近至距離(其中λ為雨傘與人體的面積比例常數(shù),d0為初始距離),從而精確控制攻擊距離。
對(duì)抗圖案的優(yōu)化生成:為了確保攻擊在真實(shí)物理環(huán)境中的穩(wěn)定性,研究人員構(gòu)建了一個(gè)多目標(biāo)聯(lián)合優(yōu)化框架來(lái)生成雨傘圖案A:
![]()
其中T為隨機(jī)物理變換(包括光照、傾斜角度、旋轉(zhuǎn)等),各損失項(xiàng)分別負(fù)責(zé)不同的優(yōu)化目標(biāo):![]()
引導(dǎo)模型將邊界框預(yù)測(cè)縮小至攻擊目標(biāo),保持跟蹤置信度以防止目標(biāo)丟失,約束人體姿態(tài)估計(jì)保持自然以提升隱蔽性,則對(duì)圖案進(jìn)行平滑正則化,確保其可被物理打印。通過(guò)期望變換(EoT)優(yōu)化,最終圖案對(duì)光照、角度等現(xiàn)實(shí)環(huán)境變化具備良好的魯棒性。
漸進(jìn)式閉環(huán)模擬(PDP):傳統(tǒng)的對(duì)抗攻擊往往只針對(duì)單幀靜止圖像,而 FlyTrap 面對(duì)的是持續(xù)逼近的動(dòng)態(tài)控制閉環(huán)。為此,研究人員提出了漸進(jìn)式距離拉近(Progressive Distance-Pulling, PDP)優(yōu)化策略:在生成對(duì)抗圖案時(shí),模擬無(wú)人機(jī)從初始距離d0逐步逼近至的完整過(guò)程,在每一距離步長(zhǎng)處進(jìn)行3D渲染并反饋梯度。這使得生成的對(duì)抗圖案能在無(wú)人機(jī)整個(gè)飛行逼近過(guò)程中持續(xù)產(chǎn)生累積誤差,而非僅在某一固定距離有效,從而將平均攻擊成功率從33.9%大幅提升至53.6%。
時(shí)空一致性控制:漸進(jìn)式閉環(huán)模擬的優(yōu)化方式也可以用來(lái)精確的控制攻擊的時(shí)空一致性,目前自主無(wú)人系統(tǒng)中的SOTA視覺(jué)防御手段主要依賴(lài)多模型一致性檢測(cè)(例如,人體姿態(tài)估計(jì),人體移動(dòng)時(shí)序特征)。在空間一致性方面,由于對(duì)抗樣本圖案完全由攻擊者控制,F(xiàn)lyTrap可以利用adaptive attack同時(shí)對(duì)多個(gè)視覺(jué)模型(例如,目標(biāo)檢測(cè),目標(biāo)跟蹤,姿態(tài)估計(jì)等)進(jìn)行欺騙,使得多個(gè)視覺(jué)模型的預(yù)測(cè)在空間上重疊;在時(shí)間一致性方面,因?yàn)镕lyTrap可以仿真無(wú)人機(jī)拉進(jìn)的過(guò)程,攻擊者可以?xún)?yōu)化視覺(jué)模型在時(shí)間維度上的一致性(例如,避免姿態(tài)估計(jì)在不同時(shí)間點(diǎn)發(fā)生非正常偏移)。因此,F(xiàn)lyTrap的設(shè)計(jì)可以從根本上繞過(guò)現(xiàn)有的時(shí)空一致性防御策略。
實(shí)驗(yàn)評(píng)估
大疆、哈浮無(wú)人機(jī)悉數(shù)「中招」
白盒攻擊效果(White-Box Attack)
研究人員在四款主流開(kāi)源跟蹤算法上系統(tǒng)評(píng)估了FlyTrap的攻擊效果,使用平均攻擊成功率(mASR)作為核心指標(biāo)。結(jié)果如下表所示:
![]()
圖3: FlyTrap白盒攻擊效果,各開(kāi)源單目標(biāo)跟蹤模型mASR對(duì)比(PDP優(yōu)化前后)
對(duì)比基線(直接使用目標(biāo)人物照片作為圖案)的平均 mASR 僅為 36.0%,F(xiàn)lyTrap 的 PDP 優(yōu)化策略帶來(lái)了顯著提升。
泛化性與遷移性(Universality)
為驗(yàn)證攻擊的普適性,研究人員測(cè)試了圖案在未見(jiàn)過(guò)的新地點(diǎn)和新人物上的泛化能力:
地點(diǎn)泛化:在全新測(cè)試場(chǎng)景下,F(xiàn)lyTrap仍達(dá)到平均61.8%的mASR,顯著優(yōu)于基線的 27.3%。
人物泛化:針對(duì)訓(xùn)練時(shí)未出現(xiàn)的新目標(biāo)人物,F(xiàn)lyTrap保持56.6%的mASR,遠(yuǎn)超基線的15.0%。
地點(diǎn) + 人物雙重泛化:即便地點(diǎn)和人物均為全新未見(jiàn),仍能維持34.0%的mASR(基線僅12.6%),證明了攻擊圖案的強(qiáng)遷移能力。
真實(shí)商用無(wú)人機(jī)黑盒測(cè)試
為了驗(yàn)證漏洞的普遍性,研究人員在真實(shí)場(chǎng)景下測(cè)試了多款主流商業(yè)無(wú)人機(jī):DJI Mini 4 Pro,DJI Neo,HoverAir X1
攻擊成功率:在不了解任何內(nèi)部算法細(xì)節(jié)的黑盒測(cè)試中,F(xiàn)lyTrap 對(duì)三款商用無(wú)人機(jī)的誘導(dǎo)成功率超過(guò)60%。
物理捕獲:配合簡(jiǎn)單的網(wǎng)槍?zhuān)∟et Gun),攻擊者可以在 5-10 秒內(nèi)將被「釣」過(guò)來(lái)的無(wú)人機(jī)物理捕獲。
碰撞擊毀:攻擊者可以將無(wú)人機(jī)拉近到1米以?xún)?nèi)從而實(shí)現(xiàn)物理?yè)魵?/p>
![]()
圖4: FlyTrap攻擊DJI Mini 4 Pro并使用網(wǎng)槍進(jìn)行物理抓捕(示意)
![]()
圖5: FlyTrap攻擊DJI Mini 4 Pro并可對(duì)其進(jìn)行物理?yè)魵Вㄊ疽猓?/p>
![]()
圖6: 第一人稱(chēng)視角FlyTrap攻擊DJI Mini 4 Pro,單目標(biāo)跟蹤算法被對(duì)抗性雨傘圖案誤導(dǎo)
總體結(jié)論
FlyTrap 的研究意義在于:它揭示了AI控制的自主無(wú)人系統(tǒng)的脆弱性。神經(jīng)網(wǎng)絡(luò)長(zhǎng)期以來(lái)被證明容易受到對(duì)抗樣本的攻擊。但是先前的工作主要集中在AI模型本身,而研究人員更加關(guān)注AI模型在真實(shí)世界中部署的安全性,如視覺(jué)模型在面對(duì)物理擾動(dòng)時(shí)缺乏魯棒性,基于視覺(jué)模型的自主系統(tǒng)將會(huì)被攻擊者任意的操控。
研究人員認(rèn)為,未來(lái)的無(wú)人機(jī)防御不能僅依賴(lài)于信號(hào)屏蔽器,而需要引入「防御性感知」——例如,通過(guò)多視角一致性校驗(yàn)或基于深度估計(jì)的輔助驗(yàn)證,來(lái)識(shí)別并過(guò)濾掉這種針對(duì)視覺(jué)邏輯的惡意攻擊。
作為負(fù)責(zé)任的安全研究者,研究人員已在論文發(fā)表前,將此漏洞報(bào)告給大疆(DJI)和哈浮(HoverAir)兩家無(wú)人機(jī)企業(yè)。
作者介紹
作者團(tuán)隊(duì)來(lái)自加州大學(xué)爾灣分校(UC Irvine)計(jì)算機(jī)科學(xué)系。該研究由博士生謝少遠(yuǎn) (Shaoyuan Xie)主導(dǎo),Alfred Chen教授指導(dǎo)。陳教授團(tuán)隊(duì)長(zhǎng)期致力于自動(dòng)駕駛、無(wú)人機(jī)、機(jī)器人及智能系統(tǒng)的攻防和物理安全性分析,成果常年發(fā)表于S&P, USENIX Security, CCS, NDSS,CVPR,ICCV,ICLR,AAAI,ICRA,IROS等頂級(jí)會(huì)議。
參考資料:
https://arxiv.org/pdf/2509.20362
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.