東華師大團隊首次發現3D紋理攻擊漏洞

這項由東華師范大學聯合清華大學、中關村學院、新加坡科技研究局等多家機構共同完成的研究，發表于2026年的ACM多媒體會議（ACM MM），論文編號為arXiv:2604.01618v1。有興趣深入了解的讀者可以通過該編號查詢完整論文。

當我們看科幻電影時，經常會看到機器人被各種"陷阱"欺騙的情節。現實中，隨著機器人變得越來越智能，能夠理解人類語言、觀察環境并執行復雜任務，它們似乎離完美的人工助手越來越近。然而，研究團隊最近的發現卻讓人不得不重新審視這些"聰明"機器人的可靠性。

現在最先進的機器人使用一種叫做視覺-語言-行動模型的技術，簡單說就是機器人能夠看懂畫面、理解指令，然后做出相應動作。就像一個優秀的服務員，能夠聽懂客人說"請把那個紅色杯子拿給我"，然后準確地找到紅色杯子并遞過來。這種技術在實驗室和一些實際應用中表現得相當出色，讓人們對機器人的未來充滿期待。

但是，正如再精明的人也可能被精心設計的騙局蒙蔽雙眼一樣，這些智能機器人也存在致命的安全漏洞。以往的研究主要關注兩種攻擊方式：一是在指令中做手腳，比如在"拿杯子"的指令后偷偷加上一些讓機器人混亂的文字；二是在機器人的視野中放置特殊的2D貼紙或圖案，就像路標上被惡意貼上假標簽一樣。

然而這兩種攻擊方式都有明顯的局限性。語言攻擊太依賴于具體的交互界面，而2D貼紙攻擊則像變魔術一樣需要精確的角度和位置才能生效，稍有偏差就會失效，而且這些貼紙通常很顯眼，容易被發現。

研究團隊提出了一種更加隱蔽且更具威脅性的攻擊方式：3D紋理攻擊。這就好比不是在物品上貼一張明顯的假標簽，而是直接改變物品表面的紋理和顏色，讓它看起來仍然是原來的物品，但實際上已經被"做了手腳"。

要理解這種攻擊的巧妙之處，可以這樣比喻：如果說2D貼紙攻擊像是在蘋果上貼一張橙子的照片來欺騙機器人，那么3D紋理攻擊就是直接改變蘋果的表皮顏色和紋理，讓它從任何角度看都像一個橙子，但形狀仍然是蘋果。這種改變更加自然，不容易被察覺，而且無論從哪個角度觀察都能保持欺騙效果。

研究團隊面臨的第一個重大挑戰是技術實現問題。目前的機器人仿真環境，比如廣泛使用的MuJoCo物理引擎，主要關注物體的運動和碰撞，對于物體外觀的處理并不支持梯度優化。這就像是你想要調整一道菜的味道，但廚房里沒有提供調味料一樣。

為了解決這個問題，研究團隊開發了一種叫做"前景-背景分離"的技術。這種方法的精妙之處在于將整個場景分成兩部分來處理：背景部分（包括機器人、桌面和其他環境對象）仍然由原來的MuJoCo引擎渲染，確保物理仿真的準確性；而目標物體則由另一個支持優化的渲染器Nvdiffrast來處理，這樣就能夠對物體的紋理進行精確控制和優化。

這種分離策略的關鍵在于確保兩個渲染器產生的畫面能夠完美融合，就像電影特效中將實拍場景與計算機生成的特效無縫結合一樣。研究團隊通過精確對齊幾何參數和光照條件來實現這一點。幾何對齊確保目標物體在兩個渲染器中的位置、角度和大小完全一致，而光照對齊則確保物體的明暗、反射效果與周圍環境協調一致。

第二個挑戰是如何讓攻擊在整個任務過程中持續有效。機器人執行一個看似簡單的任務，比如"拿起碗放到盤子上"，實際上需要數百個步驟，每個步驟機器人都會獲得新的視覺信息并做出決策。在這個過程中，機器人會從不同角度觀察物體，物體的位置和朝向也會發生變化。

傳統的3D攻擊方法通常針對靜態場景設計，無法應對這種動態變化。研究團隊提出了"軌跡感知對抗優化"技術，這種方法能夠識別任務執行過程中的關鍵時刻，并在這些時刻集中優化攻擊效果。

這個技術的工作原理類似于一個經驗豐富的導演在拍攝時知道哪些鏡頭最重要。在機器人抓取物品的任務中，靠近物體、準備抓取、提起物體這些時刻比其他時刻更加關鍵，因為這些時刻的決策錯誤會直接導致整個任務失敗。

研究團隊通過分析機器人視覺信息的變化規律來自動識別這些關鍵時刻。他們使用一個預訓練的視覺編碼器來提取每一幀畫面的特征，然后計算這些特征隨時間的變化速度和加速度。當變化速度突然加快或者加速度出現跳躍時，通常意味著機器人正在經歷重要的行為轉換，比如從移動狀態轉換到抓取狀態。

系統會自動給這些關鍵時刻分配更高的權重，確保在優化攻擊紋理時更加關注這些決定性時刻的效果。這就像是在考試中把更多精力放在分值更高的題目上一樣，能夠以最小的努力獲得最大的攻擊效果。

除了時間上的優化，研究團隊還對紋理表示方法進行了創新。直接在高分辨率的紋理圖像上進行優化容易產生過度擬合的問題，就像用過于復雜的密碼，雖然很難破解但也很難記憶一樣。研究團隊采用了基于頂點的紋理參數化方法，將復雜的紋理簡化為物體表面關鍵點的顏色屬性，然后通過數學插值生成完整的紋理。

這種方法有兩個顯著優勢：一是大大減少了需要優化的參數數量，提高了優化效率；二是生成的紋理更加平滑自然，不容易被檢測出來，同時在不同模型之間的轉移性也更好。

研究團隊設計了兩種不同的攻擊策略。無目標攻擊專注于破壞機器人的正常功能，讓它無法完成指定任務，就像在導航系統中加入干擾信號，讓司機迷路但不指向特定的錯誤目的地。有目標攻擊則更加精確，不僅要讓機器人犯錯，還要引導它執行特定的錯誤行為，比如讓本來應該抓取紅色物品的機器人去抓取藍色物品。

為了驗證這種攻擊方法在現實世界中的可行性，研究團隊還引入了變換期望技術。這種技術在優化過程中模擬各種真實世界的變化，包括不同的觀察角度、光照條件、圖像模糊程度等。這就像是在實驗室中預演各種可能的實際情況，確保攻擊方法在面對真實世界的復雜性時仍然有效。

研究團隊在LIBERO基準測試平臺上進行了全面的實驗驗證。LIBERO是機器人學習領域的標準測試環境，包含四類不同復雜程度的任務：空間推理任務測試機器人的基本空間理解能力，物體操作任務考驗機器人處理不同物品的能力，目標導向任務要求機器人根據指令完成特定目標，而長時序任務則需要機器人規劃和執行多步驟操作。

實驗結果令人震驚。在最先進的OpenVLA模型上，正常情況下的任務失敗率僅為24.1%，但使用Tex3D攻擊后，失敗率飆升至88.1%，提高了64個百分點。在最困難的空間推理任務中，攻擊成功率甚至達到了96.7%。這意味著幾乎所有的任務都會因為這種攻擊而失敗。

更令人擔憂的是，這種攻擊還具有很強的跨模型轉移性。在一種機器人模型上優化的攻擊紋理，在其他模型上同樣有效。比如在OpenVLA上優化的攻擊紋理，在OpenVLA-OFT模型上的成功率仍然超過60%，在π0模型上也能達到40%以上的成功率。這說明這種攻擊抓住了當前機器人視覺系統的根本弱點，而不是某個特定模型的缺陷。

研究團隊還發現，即使是非常微小的紋理改變也能產生顯著的攻擊效果。在最嚴格的約束條件下，當紋理改變小到人眼幾乎無法察覺時，攻擊成功率仍然能夠達到65%以上。這種隱蔽性使得這種攻擊在現實中極難被發現和防范。

與傳統的2D貼紙攻擊相比，3D紋理攻擊展現出了明顯的優勢。2D貼紙攻擊在面對視角變化時效果急劇下降，當攝像頭角度偏移45度時，攻擊成功率從100%下降到67.4%。而3D紋理攻擊在相同條件下仍能保持80%以上的成功率，表現出了更好的魯棒性。

在真實世界的物理實驗中，研究團隊使用3D打印技術制作了帶有攻擊紋理的物體，在配備Franka Emika Panda機械臂的真實機器人平臺上進行測試。結果顯示，數字世界中優化的攻擊紋理在物理世界中同樣有效，攻擊成功率保持在66%以上，證明了這種攻擊的實用性。

研究團隊還測試了各種常見的防御措施對這種攻擊的抵抗能力。包括JPEG壓縮、添加噪聲、中值濾波、位深度減少等圖像處理技術對Tex3D攻擊幾乎沒有影響，攻擊成功率仍然維持在86%以上。這表明現有的簡單防護措施無法有效應對這種新型攻擊。

這項研究的發現具有重要的現實意義。隨著機器人在家庭、工廠、醫院等場所的廣泛應用，它們的安全性和可靠性變得越來越重要。一個惡意攻擊者可以通過簡單地修改環境中物體的外觀來操控機器人的行為，讓它們執行錯誤甚至危險的操作。

在家庭環境中，攻擊者可能通過修改物品的紋理讓家政機器人錯誤地處理有害物質或者誤操作電器設備。在工業環境中，這種攻擊可能導致生產線的嚴重事故。在醫療環境中，被攻擊的機器人可能會拿錯藥物或者執行錯誤的醫療程序。

研究結果也揭示了當前機器人訓練數據的局限性。現有的機器人訓練數據主要來自相對理想化的環境，缺乏對各種視覺干擾和對抗性樣本的充分考慮。這使得機器人在面對精心設計的視覺欺騙時顯得格外脆弱。

面對這些威脅，研究團隊提出了兩個可能的解決方向。首先是在機器人訓練過程中引入更多樣化和更具挑戰性的視覺場景，包括各種紋理變化、光照條件和潛在的對抗性樣本。這就像是給機器人進行"防騙訓練"，讓它們見識過各種可能的視覺陷阱。

其次是在機器人的行動決策層面加入更強的約束和驗證機制，過濾掉那些不合理或者可能有害的動作指令。這相當于給機器人安裝一個"理性檢驗器"，即使視覺系統被欺騙了，決策系統也能識別出異常行為并拒絕執行。

這項研究的技術創新也為未來的機器人安全研究奠定了基礎。前景-背景分離技術為在復雜仿真環境中進行對抗性研究提供了新的工具，而軌跡感知優化方法則為處理長時序任務中的對抗性問題開辟了新的思路。

從更廣闊的角度來看，這項研究提醒我們，隨著人工智能系統變得越來越復雜和強大，它們的安全漏洞也可能變得更加隱蔽和危險。我們需要在追求性能提升的同時，始終保持對安全性的關注，建立更加完善的測試和防護體系。

這項研究還引發了對機器人倫理和監管的思考。如何平衡機器人的智能化程度與安全可控性，如何建立有效的機器人安全標準和認證體系，如何在技術發展與風險控制之間找到平衡點，這些都是我們需要認真考慮的問題。

說到底，這項研究最重要的價值不僅在于發現了一種新的攻擊方法，更在于提醒我們機器人系統的脆弱性遠比我們想象的要大。在我們享受智能機器人帶來便利的同時，也必須時刻保持警惕，持續改進它們的安全性和可靠性。只有這樣，我們才能真正放心地讓這些智能助手進入我們的生活和工作中。

當前的發現也為普通用戶提供了一些啟示。在使用機器人產品時，我們應該保持必要的監督和干預能力，不能完全依賴機器人的自主決策。同時，我們也應該關注機器人產品的安全更新和防護措施，選擇那些重視安全性的產品和服務提供商。

未來的研究將繼續探索更加有效的防御方法和更加安全的機器人系統設計。這場人工智能安全的攻防戰才剛剛開始，需要研究者、開發者、監管者和用戶的共同努力，才能確保智能機器人技術朝著安全、可靠、有益的方向發展。

Q&A

Q1：Tex3D攻擊和普通的2D貼紙攻擊有什么區別？

A：Tex3D攻擊直接改變物體表面的紋理顏色，就像重新給物品"換皮膚"，從任何角度看都有效果。而2D貼紙攻擊只是在物品上貼一張圖片，需要特定角度才有效，稍微變換視角就會失效，而且貼紙很容易被發現。

Q2：為什么現在的機器人這么容易被3D紋理攻擊欺騙？

A：主要原因是現在的機器人訓練數據大多來自理想化環境，缺乏各種視覺干擾的訓練。就像一個只在考試題目上練習的學生，遇到實際問題時容易出錯。機器人沒有見過足夠多的"視覺陷阱"，所以很容易被精心設計的紋理變化迷惑。

Q3：普通人在使用機器人時如何防范這種攻擊？

A：目前最好的辦法是保持人工監督，不要完全依賴機器人自主決策。選擇重視安全性的機器人產品，及時更新安全補丁。如果發現機器人行為異常，特別是在處理重要任務時，應該立即停止并進行人工檢查。