對人工智能視覺系統進行壓力測試：重新思考對抗圖像的生成方式

IFAP 利用模型梯度生成對抗性擾動，然后在離散余弦變換 (DCT) 域中對其進行整形。與應用固定頻率掩碼的現有頻率感知方法不同，IFAP 引入了一種基于輸入圖像頻譜的輸入自適應頻譜包絡約束。該約束引導擾動的全頻譜輪廓與輸入圖像相符，從而在保持攻擊有效性的同時，提高了所生成對抗樣本的頻譜保真度。圖片來源：日本同志社大學奧田正弘教授

編輯：由薩迪·哈雷

審閱：羅伯特·伊根

深度神經網絡（DNN）已成為現代人工智能技術的基石，推動了圖像相關任務研究領域的蓬勃發展。這些系統已應用于醫療診斷、自動化數據處理、計算機視覺以及各種形式的工業自動化等領域。

隨著對人工智能模型的依賴日益加深，使用對抗樣本對其進行全面測試的需求也日益迫切。簡而言之，對抗樣本是指經過策略性噪聲修改的圖像，旨在誘使人工智能犯錯。理解對抗圖像生成技術對于識別深度神經網絡（DNN）中的漏洞以及開發更安全可靠的系統至關重要。

當前對抗技術的局限性

盡管對抗樣本生成技術非常重要，但目前仍存在諸多局限性。科學家們主要致力于通過一種稱為 Lp 范數的約束條件，使添加的噪聲在數學上變得很小。雖然這種方法能夠使圖像變化保持細微，但往往會導致顆粒狀的偽影，由于這些偽影與原始圖像的紋理不匹配，因此看起來不自然。

因此，即使噪聲很小且難以察覺，安全預過濾器也能輕易地檢測并攔截這些噪聲，因為它們能夠識別異常的頻率模式。因此，該領域的一個顯著挑戰在于，如何超越僅僅最小化噪聲量，轉而設計更加隱蔽的對抗性攻擊。

IFAP框架簡介

在此背景下，日本同志社大學理工學研究科的博士生吉田正友和教授奧田正弘開發了一種方法，使對抗樣本中的加性噪聲與圖像的“光譜形狀”對齊。

他們的研究發表在IEEE Access期刊上，提出了一種名為輸入頻率自適應對抗擾動 (IFAP) 的創新框架。

與以往僅操縱特定頻段的頻率感知方法不同，IFAP采用了一種新的頻譜包絡約束。這使得添加的噪聲能夠自適應地匹配輸入圖像的整個頻率分布，從而確保擾動在頻譜上忠實于原始內容。

IFAP的測試和評估

研究人員在各種數據集上測試了 IFAP，包括門牌號、一般物體以及地形和織物等復雜紋理。

為了評估其性能，他們使用了一套全面的指標，其中包括他們開發的一種名為頻率余弦相似度（Freq_Cossim）的新指標。標準指標通常檢查像素級誤差，而Freq_Cossim則專門衡量噪聲頻譜輪廓頻率與原始圖像頻譜輪廓頻率的匹配程度。

結果表明，IFAP在結構和紋理相似度方面顯著優于現有的對抗生成技術。盡管視覺效果更加自然微妙，但這種對抗攻擊仍然非常有效，成功欺騙了多種人工智能架構。

對人工智能魯棒性和安全性的影響

有趣的是，研究人員還證明，這些協調擾動對常見的圖像清理技術（例如JPEG壓縮或模糊）具有更強的抵抗力。由于噪聲與圖像的自然紋理融合得非常緊密，因此簡單的變換很難在不顯著改變圖像本身的情況下將其消除。

IFAP 對人工智能研究中對抗樣本的使用方式具有重要意義。通過了解如何創建與人類感知一致的噪聲，研究人員可以實施更有效的對抗攻擊，從而對人工智能模型進行壓力測試和重新訓練，使其更加穩健。

“我們相信，我們的研究成果可以用于開發高度可靠的人工智能模型，應用于醫療診斷等領域，這些模型不會受到圖像質量或噪聲的輕微變化的影響，”奧田教授說。

展望未來，這項研究為我們如何評估人工智能在圖像處理任務中的安全性和性能設定了新的基準。

奧田教授總結道：“正如我們的研究提出的那樣，強調與人類感知和頻率特征一致性的評估標準，在未來五到十年內可能會變得更加普遍。這種轉變可能會提高支撐社會重要基礎設施（例如醫療保健和交通運輸）的人工智能系統的可靠性。”

閱讀最新前沿科技趨勢報告，請訪問歐米伽研究所的“未來知識庫”

https://wx.zsxq.com/group/454854145828

未來知識庫是“ 歐米伽 未來研究所”建立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學、互聯網、超級智能，數智大腦、能源、軍事、經濟、人類風險等等領域的前沿進展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進入。