新突破：北大彭宇新團隊提出可見光-紅外終身行人重識別方法CKDA

終身行人重識別旨在持續(xù)學(xué)習(xí)新增數(shù)據(jù)中不斷涌現(xiàn)的新增行人鑒別性信息，同時保持對已知數(shù)據(jù)的識別能力，在公共安防、社區(qū)管理、運動分析等場景中具有重要的研究和應(yīng)用價值。

隨著白天可見光圖像和夜晚紅外圖像被不斷采集，現(xiàn)有終身行人重識別方法需要持續(xù)學(xué)習(xí)特定模態(tài)中的新知識（例如：僅適用于紅外模態(tài)中的熱輻射信息）。

然而，特定模態(tài)中新知識的學(xué)習(xí)過程阻礙了模態(tài)間公共舊知識（例如：同時適用于可見光與紅外模態(tài)的人體體態(tài)信息）的保留，導(dǎo)致了單模態(tài)專用知識的獲取與跨模態(tài)公共知識的保留間的沖突，進而限制了持續(xù)學(xué)習(xí)場景下平衡不同模態(tài)中行人鑒別性知識的能力。

針對這一問題，北京大學(xué)彭宇新教授團隊提出了跨模態(tài)知識解耦與對齊的可見光 - 紅外終身行人重識別方法 CKDA，通過跨模態(tài)通用提示模塊與單模態(tài)專用提示模塊顯式地解耦并凈化不同模態(tài)通用與特定模態(tài)專用的鑒別性信息，從而避免二者間的相互干擾，并在一對彼此獨立的模態(tài)內(nèi)與模態(tài)間特征空間中分別對齊解耦后的新舊知識，實現(xiàn)跨模態(tài)知識的高效權(quán)衡。

本文提出的 CKDA 方法在四個常用可見光 - 紅外行人重識別數(shù)據(jù)集組成的終身行人重識別基準(zhǔn)上均取得了當(dāng)前最優(yōu)的性能。

• 論文鏈接：http://arxiv.org/abs/2511.15016
• 代碼倉庫：https://github.com/PKU-ICST-MIPL/CKDA-AAAI2026
• 實驗室網(wǎng)址：https://www.wict.pku.edu.cn/mipl

背景與動機

終身行人重識別旨在通過持續(xù)學(xué)習(xí)學(xué)習(xí)采集自不同場景的行人數(shù)據(jù)，實現(xiàn)不同場景中同一行人的識別。隨著實際場景中白天與黑夜的數(shù)據(jù)被持續(xù)采集，終身行人重識別算法通常需要匹配出現(xiàn)在白天可見光圖像和夜晚紅外圖像中的同一行人，即可見光 - 紅外終身行人重識別。

為了緩解可見光與紅外模態(tài)知識的遺忘，現(xiàn)有方法大多借助數(shù)據(jù)重放、模型參數(shù)隔離、以及知識蒸餾策略實現(xiàn)跨模態(tài)知識的保留。

圖 1 現(xiàn)有終身行人重識別方法和本方法的對比示意圖

然而，現(xiàn)有方法忽略了單模態(tài)專用知識獲取與跨模態(tài)通用知識保留間的沖突，進而導(dǎo)致了跨模態(tài)知識難以平衡。

具體而言，如圖 1 所示，在持續(xù)學(xué)習(xí)新增可見光與紅外數(shù)據(jù)時，現(xiàn)有方法由于不斷地累積特定模態(tài)中的新知識（例如：僅適用于紅外模態(tài)中的熱輻射信息），不可避免地阻礙了模態(tài)間公共的舊知識（例如：同時適用于可見光與紅外模態(tài)的人體體態(tài)信息）的保留，導(dǎo)致了單模態(tài)專用知識的獲取與跨模態(tài)間公共知識的保留間的沖突，限制了持續(xù)學(xué)習(xí)場景下平衡跨模態(tài)鑒別性知識的能力。

技術(shù)方案

針對上述挑戰(zhàn)，本文提出一種跨模態(tài)知識解耦與對齊方法 CKDA，其核心思想在于避免可見光與紅外模態(tài)中知識的互相干擾，實現(xiàn)跨模態(tài)知識的高效平衡。

如圖 2 所示，CKDA 主要包含三個模塊：

1. 跨模態(tài)通用提示：通過去除僅存在于可見光或紅外圖像的風(fēng)格信息，提取在兩種模態(tài)中共存的鑒別性知識，為跨模態(tài)知識對齊奠定基礎(chǔ)；
2. 單模態(tài)專用提示：通過放大可見光 - 紅外模態(tài)間的差異，促進特定模態(tài)知識的保留與凈化，從而顯式地避免可見光與紅外模態(tài)中行人鑒別性知識的相互干擾；
3. 跨模態(tài)知識對齊：利用舊知識原型構(gòu)建了一組相互獨立的模態(tài)內(nèi)與模態(tài)間特征空間并分別對齊解耦后的新舊知識，提升了終身行人重識別模型對可見光 - 紅外行人鑒別性知識的平衡能力。

圖 2 跨模態(tài)知識解耦與對齊方法（CKDA）框架圖

模塊 1：跨模態(tài)通用提示

模塊 3：跨模態(tài)知識對齊

實驗結(jié)果

表 1 本方法與現(xiàn)有方法在可見光 - 紅外終身行人重識別任務(wù)中的性能對比

表 1 的實驗結(jié)果表明，CKDA 方法在由 4 個常用可見光 - 紅外行人重識別數(shù)據(jù)集組成的終身行人重識別基準(zhǔn)上均達到了當(dāng)前最優(yōu)的性能，分別達到了 36.3% 和 39.4% 的平均 mAP 和 R1 準(zhǔn)確性。

圖 3 的可視化結(jié)果表明，跨模態(tài)通用提示更傾向于關(guān)注在兩種模態(tài)中共存的行人整體輪廓和體態(tài)信息。相比之下，單模態(tài)專用提示則關(guān)注僅存在于特定模態(tài)中的知識，例如可見光圖像中行人服裝顏色或紅外圖像中的熱敏信息。

因此，組合后的可見光圖像與紅外圖像提示能夠以互補方式提升模型對可見光與紅外模態(tài)信息感知與保留能力。

圖 3 不同模態(tài)圖像生成提示的可視化結(jié)果

更多詳情，請參見原論文。

作者信息

崔振宇，男，北京大學(xué)王選計算機研究所 2021 級博士研究生，導(dǎo)師為彭宇新教授，研究方向為多媒體智能計算與機器學(xué)習(xí)。獲得研究生國家獎學(xué)金，北京大學(xué)博士研究生校長獎學(xué)金，ACM-ICPC 亞洲區(qū)域賽銀牌等獎勵。在 CVPR，AAAI，TIFS，TCSVT 等 IEEE Trans./CCF A 類期刊與會議上發(fā)表十余篇論文，其中第一作者 7 篇。常年擔(dān)任國際會議 CVPR、ICCV、NeurIPS、ICLR、ECCV 等多個重要國際會議，以及 IEEE TIP、TIFS、TCSVT、TMM 等多個重要國際期刊的審稿人。