無識別的識別：基于事件匿名化的隱私保護行人再識別技術(shù)解析

在無處不在的監(jiān)控攝像頭時代，我們的隱私正面臨前所未有的挑戰(zhàn)。事件相機曾被認為是保護隱私的理想選擇，因為它們只捕捉場景的動態(tài)變化而非完整視覺細節(jié)。然而，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，研究人員發(fā)現(xiàn)從事件流中重建高質(zhì)量圖像已成為可能，這使事件相機的隱私保護優(yōu)勢蕩然無存。本文介紹了一項突破性技術(shù)——事件匿名化網(wǎng)絡(luò)，它能在保持行人再識別功能的同時，有效阻止圖像重建攻擊。這種技術(shù)通過擾亂事件流，使重建的圖像無法泄露身份信息，同時保留足夠的特征用于再識別任務(wù)。這一平衡技術(shù)開創(chuàng)了隱私保護與監(jiān)控功能并行的新時代。

隱私與監(jiān)控的雙刃劍

我們生活在一個充滿監(jiān)控攝像頭的世界。從家庭安防到城市街道，從醫(yī)院到銀行，從商場到機場，這些永不眨眼的電子哨兵無時無刻不在記錄著周圍的一切。這種廣泛部署的視覺監(jiān)控系統(tǒng)帶來了安全保障，但同時也引發(fā)了三個嚴峻問題：

安全需求與個人隱私之間的倫理平衡問題日益突出。人們希望通過監(jiān)控系統(tǒng)增強安全感，但又不愿意自己的一舉一動都被詳細記錄。在歐洲，《通用數(shù)據(jù)保護條例》（GDPR）的實施就是對這一矛盾的回應(yīng)，它要求對個人數(shù)據(jù)（包括視覺數(shù)據(jù)）的采集和處理必須獲得明確許可。

監(jiān)控系統(tǒng)存在未授權(quán)訪問的風險。2019年，研究人員發(fā)現(xiàn)超過10萬個監(jiān)控攝像頭可以通過互聯(lián)網(wǎng)直接訪問，沒有任何有效的密碼保護。這意味著任何人都可能窺視他人的生活空間，這種風險令人擔憂。

大規(guī)模傳感器網(wǎng)絡(luò)需要消耗大量資源。以英國倫敦為例，據(jù)估計該市擁有約50萬個監(jiān)控攝像頭。這些設(shè)備每天產(chǎn)生的數(shù)據(jù)量高達數(shù)十太字節(jié)，需要龐大的存儲空間、傳輸帶寬和計算資源來處理。

神經(jīng)形態(tài)視覺傳感器（也稱為事件相機）作為一種革命性技術(shù)應(yīng)運而生。與傳統(tǒng)RGB相機不同，事件相機不會捕捉完整的場景畫面，而只記錄像素亮度變化超過特定閾值時產(chǎn)生的＂事件＂。這些事件以（x， y， t， p）的形式表示，其中x和y是像素坐標，t是時間戳，p是極性（亮度增加或減少）。

事件相機最初被認為是天然的隱私保護設(shè)備。以行人為例，傳統(tǒng)相機會記錄一個人的完整外觀，包括面部特征、穿著細節(jié)等可識別信息。而事件相機只會記錄輪廓邊緣和運動信息，看起來就像是一些分散的點，很難從中識別出個人身份信息。

事件相機的另一優(yōu)勢是資源消耗極低。由于只在發(fā)生變化時才產(chǎn)生數(shù)據(jù)，事件相機的數(shù)據(jù)量比傳統(tǒng)相機少10-100倍。在一個靜止的場景中，事件相機幾乎不產(chǎn)生任何數(shù)據(jù)。此外，事件相機的動態(tài)范圍可達120分貝，遠高于普通相機的60-70分貝，這意味著它們在極端光照條件下（如強光或低光）仍能正常工作。

這些特性使事件相機看似成為監(jiān)控系統(tǒng)的理想選擇：它們既能執(zhí)行必要的視覺任務(wù)，如人員檢測、跟蹤、行為分析和再識別，又能保護隱私并節(jié)省資源。

然而，近年來的研究顯示，事件流中包含的信息遠比想象的豐富。多個研究團隊開發(fā)出了事件到圖像的轉(zhuǎn)換算法，能夠從事件數(shù)據(jù)中重建高質(zhì)量的灰度圖像。這些方法包括基于字典的方法、變分模型和深度學(xué)習(xí)方法。

2019年，瑞士蘇黎世聯(lián)邦理工學(xué)院的Rebecq等人提出的E2VID網(wǎng)絡(luò)，能夠從事件流中重建出細節(jié)豐富的灰度圖像。這些重建的圖像清晰度足以識別人臉、閱讀文本，甚至分辨衣物紋理。這意味著事件相機不再能被視為天然的隱私保護設(shè)備，因為任何擁有這些算法的攻擊者都可能從事件數(shù)據(jù)中恢復(fù)出可識別的視覺信息。

2021年，中國科學(xué)院的Du等人認識到這一問題，提出了一種基于混沌加密的事件流保護框架。該方法使用混沌映射打亂事件的空間位置并翻轉(zhuǎn)極性，使得加密后的事件流無法被用于重建有意義的圖像。盡管這種方法有效阻止了隱私攻擊，但它也阻礙了下游視覺任務(wù)的執(zhí)行。加密后的事件流必須先解密才能用于人員檢測或再識別等任務(wù)，這在實際應(yīng)用中是不便的，也可能引入新的安全風險。

匿名保護新思路

針對上述問題，一種全新的解決方案應(yīng)運而生——事件流匿名化網(wǎng)絡(luò)。這種方法不同于傳統(tǒng)的加密方式，它采用深度學(xué)習(xí)的方法來＂擾亂＂事件流，使其既能防止隱私泄露，又能保留足夠的信息用于執(zhí)行下游任務(wù)，如行人再識別。

事件流匿名化網(wǎng)絡(luò)是一個端到端的框架，包含三個主要模塊：事件匿名化模塊、圖像重建模塊（作為隱私攻擊者）和行人再識別模塊。整個系統(tǒng)通過聯(lián)合優(yōu)化方式訓(xùn)練，以達到隱私保護和任務(wù)執(zhí)行的雙重目標。

事件匿名化模塊的核心是一個卷積自編碼器網(wǎng)絡(luò)，它接收原始事件體素（voxel-grid）作為輸入，輸出匿名化后的事件體素。體素網(wǎng)格是一種三維空間-時間直方圖，它將連續(xù)的事件流離散化為固定的時間窗口和空間分辨率，便于神經(jīng)網(wǎng)絡(luò)處理。使用自編碼器結(jié)構(gòu)的原因是，在最壞情況下，該模塊應(yīng)能復(fù)制原始事件流，以保證下游任務(wù)的執(zhí)行。

該自編碼器由4個卷積層組成，每層使用33的濾波器和步長為1的操作。網(wǎng)絡(luò)被訓(xùn)練來改變事件流的特性，使得從中重建圖像變得困難，同時保留行人再識別所需的空間和時間信息。

圖像重建模塊采用預(yù)訓(xùn)練的E2VID網(wǎng)絡(luò)，它是一種循環(huán)神經(jīng)網(wǎng)絡(luò)，能夠從事件流重建高質(zhì)量灰度圖像。在訓(xùn)練過程中，該模塊充當＂隱私攻擊者＂的角色，試圖從匿名化的事件流中恢復(fù)圖像。匿名化模塊則被訓(xùn)練來抵抗這種攻擊，使重建的圖像質(zhì)量大幅下降。值得注意的是，圖像重建模塊的權(quán)重在訓(xùn)練過程中保持固定，不參與更新。

行人再識別模塊基于預(yù)訓(xùn)練的ResNet-50架構(gòu)，經(jīng)過修改以接受匿名化事件體素作為輸入。該模塊輸出256維的特征向量，用于行人再識別任務(wù)。它使用分類損失（交叉熵）和三元組損失進行訓(xùn)練，與匿名化模塊一起端到端優(yōu)化。

整個系統(tǒng)的訓(xùn)練采用聯(lián)合優(yōu)化方式，同時考慮三個目標：

第一個目標是使圖像重建質(zhì)量下降。系統(tǒng)使用結(jié)構(gòu)相似性指數(shù)（SSIM）來評估重建圖像與真實圖像的相似度，目標是最小化這種相似度，使重建圖像盡可能與原始圖像不同。

第二個目標是保持事件流的結(jié)構(gòu)信息。盡管需要擾亂事件流以防止圖像重建，但也需要保留足夠的結(jié)構(gòu)信息以執(zhí)行行人再識別。系統(tǒng)使用SSIM來衡量匿名化前后事件體素的結(jié)構(gòu)相似性，目標是最大化這種相似性。

第三個目標是優(yōu)化行人再識別性能。系統(tǒng)使用標準的身份損失函數(shù)（交叉熵和三元組損失）來訓(xùn)練再識別模塊，目標是使相同身份的不同樣本在特征空間中靠近，不同身份的樣本遠離。

這三個目標看似矛盾：一方面需要擾亂事件流以防止圖像重建，另一方面又需要保留足夠的信息用于行人再識別。事件流匿名化網(wǎng)絡(luò)通過精心設(shè)計的損失函數(shù)和訓(xùn)練策略，成功地在這兩個目標之間找到了平衡點。

在實際應(yīng)用中，匿名化后的事件流可以直接用于行人再識別，無需任何解密步驟。即使攻擊者獲取了匿名化的事件流，也無法從中重建出可識別的圖像。這一特性使得事件流匿名化網(wǎng)絡(luò)成為隱私保護監(jiān)控系統(tǒng)的理想選擇。

具體實現(xiàn)上，該系統(tǒng)采用體素網(wǎng)格表示事件數(shù)據(jù)，時間跨度設(shè)為約40毫秒（合成數(shù)據(jù)）或33.3毫秒（真實數(shù)據(jù)），以與對應(yīng)的RGB幀同步。體素網(wǎng)格的時間箱數(shù)設(shè)為5，訓(xùn)練時將事件體素調(diào)整為5392192的大小。系統(tǒng)使用批量大小為24，基礎(chǔ)學(xué)習(xí)率為0.001，訓(xùn)練60個周期。動量參數(shù)設(shè)為0.9，權(quán)重衰減設(shè)為510^-4。在損失函數(shù)中，三個組成部分的權(quán)重都設(shè)為1，即保持結(jié)構(gòu)信息、降低圖像重建質(zhì)量和優(yōu)化再識別性能同等重要。

數(shù)據(jù)筑基石

要評估一個新技術(shù)的效果，離不開真實數(shù)據(jù)的支撐。事件相機在行人再識別領(lǐng)域的應(yīng)用研究長期以來受到一個關(guān)鍵限制：缺乏一個專為此目的而設(shè)計的真實事件相機數(shù)據(jù)集。以往的研究主要依賴從RGB視頻模擬生成的事件數(shù)據(jù)，這種方法雖然可行，但無法完全捕捉真實事件相機的特性和噪聲特征。

為了填補這一空白，研究團隊創(chuàng)建了世界上第一個專為行人再識別設(shè)計的真實事件相機數(shù)據(jù)集——Event-ReId。這個數(shù)據(jù)集的收集過程相當繁瑣，需要精心設(shè)計實驗場景和采集流程。研究團隊招募了33名志愿者，讓他們在4臺事件相機的非重疊視野中行走。這些相機采用不同的位置和傾斜角度，模擬真實監(jiān)控環(huán)境中的多視角采集。

每臺事件相機都與一臺RGB相機固定在同一位置，形成立體配置，兩者捕捉大致相同的場景，并通過網(wǎng)絡(luò)時鐘實現(xiàn)同步。RGB相機以30幀每秒的速率，640480像素的分辨率記錄畫面，總共采集了約16，000張圖像，平均每人每臺相機約120幀。事件相機的分辨率與RGB相機相同，每段事件流的記錄時間約為4秒，與RGB視頻的長度一致。

數(shù)據(jù)集的多樣性也是其價值所在。33名受試者中，有9人佩戴口罩，每個人都出現(xiàn)在全部四臺相機對的視野中。數(shù)據(jù)集還包含了照明變化、姿態(tài)變化和視角變化等多種情況，使其更接近實際應(yīng)用場景。研究團隊還手動標注了人體和面部邊界框，并確保事件流和RGB流中的邊界框保持同步。

與其他事件相機數(shù)據(jù)集相比，Event-ReId在規(guī)模上具有明顯優(yōu)勢。現(xiàn)有的事件相機數(shù)據(jù)集主要關(guān)注活動識別（如n-HAR和DailyAction-DVS）或人體姿態(tài)估計（如DHP19），受試者數(shù)量通常在15-30人之間。而Event-ReId包含33名受試者，專為行人再識別設(shè)計的特點使其成為該領(lǐng)域研究的寶貴資源。

這個數(shù)據(jù)集的創(chuàng)建解決了事件相機行人再識別研究的一個根本問題：真實數(shù)據(jù)的缺乏。它為研究人員提供了一個標準測試平臺，使不同方法的比較和評估成為可能。該數(shù)據(jù)集已經(jīng)公開發(fā)布，任何研究人員都可以通過Zenodo平臺獲取，其DOI為10.5281/zenodo.8256439。

除了Event-ReId，研究人員還使用了從SoftBio數(shù)據(jù)集模擬生成的事件數(shù)據(jù)。SoftBio是一個基于視頻的行人再識別數(shù)據(jù)集，包含152個身份，總計64，472幀，由8臺監(jiān)控相機在不受控環(huán)境中采集。研究團隊使用開源事件模擬器從SoftBio視頻生成了相應(yīng)的事件數(shù)據(jù)，用于訓(xùn)練和測試他們的匿名化方法。

數(shù)據(jù)的處理也是一個技術(shù)難點。事件相機輸出的是異步事件流，需要轉(zhuǎn)換為網(wǎng)格形式才能輸入到神經(jīng)網(wǎng)絡(luò)中。研究團隊采用了體素網(wǎng)格表示法，這是一種時空三維直方圖，通過離散化時間域來生成，每個體素代表特定像素和時間間隔。在實際實驗中，他們?yōu)楹铣墒录?shù)據(jù)設(shè)置了約40毫秒的時間跨度，為真實事件數(shù)據(jù)設(shè)置了約33.3毫秒的時間跨度，以與相應(yīng)的RGB幀保持同步。體素網(wǎng)格的時間維度設(shè)為5，這與E2VID圖像重建方法的設(shè)置一致。

數(shù)據(jù)集的劃分也經(jīng)過精心設(shè)計。對于SoftBio，研究團隊隨機將152個身份分為兩部分，76個用于訓(xùn)練，76個用于測試。對于Event-ReId，則從33個身份中隨機選擇22個用于訓(xùn)練，11個用于測試。這種劃分確保了測試數(shù)據(jù)中的身份在訓(xùn)練過程中從未被模型見過，從而公平評估模型的泛化能力。

攻防實戰(zhàn)

任何一項新技術(shù)的價值都需要通過嚴格測試來驗證。研究團隊設(shè)計了一系列實驗來評估他們提出的事件流匿名化方法在防御隱私攻擊的同時保持行人再識別性能的能力。

實驗分為兩大類：重建攻擊和逆轉(zhuǎn)攻擊。在重建攻擊中，假設(shè)攻擊者可以訪問匿名化的事件流，并嘗試使用事件到圖像的轉(zhuǎn)換技術(shù)（如E2VID）重建原始圖像，從而揭示隱私信息。在逆轉(zhuǎn)攻擊中，假設(shè)攻擊者不僅可以訪問匿名化的事件流，還可以收集大量匿名化前后的事件數(shù)據(jù)配對，并嘗試訓(xùn)練一個網(wǎng)絡(luò)來逆轉(zhuǎn)匿名化的效果。

評估匿名化效果的指標包括結(jié)構(gòu)相似性指數(shù)（SSIM）和峰值信噪比（PSNR）。這兩個指標越低，表示重建圖像質(zhì)量越差，匿名化效果越好。實驗結(jié)果顯示，對于Event-ReId數(shù)據(jù)集，使用原始事件流重建的圖像SSIM為0.548，PSNR為11.617，而使用匿名化事件流重建的圖像SSIM僅為0.384，PSNR僅為8.943，表明匿名化有效降低了圖像重建質(zhì)量。類似地，對于SoftBio數(shù)據(jù)集，匿名化將SSIM從0.530降至0.368，將PSNR從11.284降至8.071。

圖像檢索實驗更直接地測試了匿名化的有效性。研究團隊假設(shè)攻擊者持有一張查詢圖像（可能是RGB圖像或從非匿名化事件流重建的灰度圖像），并嘗試在包含匿名化圖像的庫中找到對應(yīng)的目標。他們使用最先進的行人再識別模型BOT來評估檢索性能。結(jié)果顯示，對于Event-ReId數(shù)據(jù)集，在匿名化圖像庫上的檢索性能接近隨機猜測，Rank1準確率僅為8.9%，遠低于在非匿名化圖像庫上的67.8%。

面部識別實驗進一步證實了匿名化的有效性。研究團隊使用預(yù)訓(xùn)練的ArcFace模型來測量匿名化系統(tǒng)對面部識別攻擊的抵抗力。結(jié)果顯示，使用匿名化事件流重建的面部圖像上，ArcFace模型的ROC曲線下面積（AUC）僅為0.53，接近隨機猜測的水平（0.5）。這表明即使有先進的面部識別技術(shù)，攻擊者也無法從匿名化事件流中提取有效的面部特征。

在保證隱私的同時，匿名化方法對行人再識別性能的影響也是關(guān)鍵考量。實驗結(jié)果令人鼓舞：對于Event-ReId數(shù)據(jù)集，從非隱私保護到隱私保護，Rank1準確率僅下降了3.5%（從63.7%降至59.2%），平均精度僅下降了3.6%。對于SoftBio數(shù)據(jù)集，Rank1下降了3.8%，平均精度下降了2.1%。這表明匿名化方法在保護隱私的同時，對行人再識別性能的影響較小。

研究團隊還將他們的方法與現(xiàn)有的事件加密方法進行了比較。他們實現(xiàn)了Du等人提出的基于混沌加密的事件保護框架，包括部分（75%）丟棄和部分（75%）混亂兩種變體。結(jié)果顯示，在Event-ReId數(shù)據(jù)集上，他們提出的匿名化方法在圖像質(zhì)量降低和行人再識別性能保持方面都優(yōu)于這兩種加密方法。具體來說，丟棄加密的SSIM為0.486，Rank1為38.2%；混亂加密的SSIM為0.451，Rank1為29.4%；而他們的方法SSIM為0.384，Rank1為59.2%。

此外，研究團隊還與基線事件驅(qū)動的ReId方法（Ed-ReId）進行了比較。結(jié)果顯示，即使在應(yīng)用了匿名化之后，他們的方法在Event-ReId數(shù)據(jù)集上的性能仍優(yōu)于Ed-ReId。具體而言，Ed-ReId的Rank1為57.9%，而他們的匿名化方法達到了59.2%。

損失函數(shù)的消融實驗揭示了不同組件的重要性。在沒有隱私保護（α=β=0）的情況下，Rank1準確率為63.7%；在有隱私保護但沒有結(jié)構(gòu)保留損失（α=0，β=1）的情況下，Rank1準確率顯著下降至54.5%；而當包含結(jié)構(gòu)保留損失（α=β=1）時，Rank1準確率回升至59.2%。這表明結(jié)構(gòu)保留損失對于在保護隱私的同時維持行人再識別性能至關(guān)重要。

對逆轉(zhuǎn)攻擊的實驗結(jié)果也很有說服力。研究團隊訓(xùn)練了一個自編碼器網(wǎng)絡(luò)，嘗試逆轉(zhuǎn)匿名化的效果，并在重建的圖像上評估了圖像檢索性能。結(jié)果顯示，逆轉(zhuǎn)攻擊后的圖像檢索Rank1準確率僅為9.1%，與直接使用匿名化事件流的8.9%基本相當，表明匿名化網(wǎng)絡(luò)對逆轉(zhuǎn)攻擊具有很強的抵抗力。

視覺結(jié)果更直觀地展示了匿名化的效果。從Event-ReId和SoftBio數(shù)據(jù)集中選取的示例顯示，從匿名化事件流重建的圖像明顯降級，與原始RGB圖像和從非匿名化事件流重建的灰度圖像相比，幾乎無法識別。特別是面部重建結(jié)果顯示，從匿名化事件流中無法重建可識別的面部特征，而從非匿名化事件流中仍能重建相對清晰的面部。

這一系列實驗充分證明了提出的事件流匿名化方法在防御重建攻擊和逆轉(zhuǎn)攻擊方面的有效性，同時在行人再識別性能方面的損失可以接受。這種方法的主要局限性在于下游任務(wù)性能的輕微下降和匿名化網(wǎng)絡(luò)引入的計算開銷。

實際應(yīng)用中，這種方法可以集成到需要隱私保護的行人再識別系統(tǒng)中。由于該方法旨在執(zhí)行再識別任務(wù)而不泄露人類身份信息，未來可能擴展到其他基于事件的計算機視覺任務(wù)，實現(xiàn)更廣泛的隱私保護。

參考資料

1. Ahmad， S.， Morerio， P.， &； Del Bue， A. （2023）. Person Re-Identification without Identification via Event Anonymization. ICCV 2023.

2. Du， C.， et al. （2021）. Event camera privacy framework based on chaotic encryption. IEEE.

3. Rebecq， H.， et al. （2019）. High Speed and High Dynamic Range Video with an Event Camera. E2VID.