當(dāng)神經(jīng)輻射場遇上持續(xù)學(xué)習(xí)，如何實(shí)現(xiàn)場景跨時間的完美渲染？

想象一下，如果你能讓計算機(jī)記住一個場景隨時間變化的每一個瞬間——夏日陽光下的花園、秋天落葉紛飛的街道、冬日積雪覆蓋的屋頂，甚至是室內(nèi)裝修前后的變化。這不再是科幻電影中的場景，而是CLNeRF技術(shù)帶來的現(xiàn)實(shí)可能。神經(jīng)輻射場（NeRF）技術(shù)已經(jīng)讓我們能夠從多角度圖像創(chuàng)建3D場景，但隨著時間推移，場景會發(fā)生變化，傳統(tǒng)NeRF模型卻會＂遺忘＂過去的樣子。CLNeRF通過巧妙結(jié)合持續(xù)學(xué)習(xí)與先進(jìn)的神經(jīng)渲染技術(shù)，讓計算機(jī)既能適應(yīng)變化又能記住歷史，就像擁有了對場景完整的＂記憶＂。在這場跨越時間的渲染革命中，我們將揭示CLNeRF如何實(shí)現(xiàn)這一看似不可能的任務(wù)。

記憶的挑戰(zhàn)

在三維重建技術(shù)領(lǐng)域，神經(jīng)輻射場（Neural Radiance Fields，簡稱NeRF）的出現(xiàn)可以說是一場革命。這項(xiàng)技術(shù)能夠從一系列二維圖像中學(xué)習(xí)三維場景，并渲染出從未見過的視角。想象你拍攝了一個房間的20張照片，NeRF可以讓你＂漫游＂這個房間，查看任何角度的樣子，即使你沒有拍攝過那個角度。

這種技術(shù)的核心在于它通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)了場景中每個點(diǎn)的顏色和密度。當(dāng)你想查看某個視角時，技術(shù)會模擬光線如何穿過場景，并計算出最終呈現(xiàn)的顏色。這就像是在計算機(jī)中創(chuàng)建了一個真實(shí)世界的＂數(shù)字孿生＂。

但現(xiàn)實(shí)世界并不是靜止不變的。房間里的物品可能會被移動，窗外的光線會隨著一天中的時間而變化，甚至隨著季節(jié)更替，整個場景都會發(fā)生顯著改變。如果你想讓計算機(jī)記住一個地方在不同時間點(diǎn)的樣子，傳統(tǒng)的NeRF模型就會面臨一個巨大的挑戰(zhàn)：災(zāi)難性遺忘。

災(zāi)難性遺忘是機(jī)器學(xué)習(xí)中的一個常見問題，特別是當(dāng)模型需要從連續(xù)到來的數(shù)據(jù)中學(xué)習(xí)時。簡單來說，當(dāng)模型學(xué)習(xí)新數(shù)據(jù)時，它會＂忘記＂之前學(xué)到的知識。比如，如果你先用夏季的花園圖片訓(xùn)練NeRF模型，然后再用冬季的圖片更新模型，模型可能會完全忘記夏季花園的樣子，只能準(zhǔn)確渲染冬季場景。

這個問題在實(shí)際應(yīng)用中特別明顯。例如，城市建模系統(tǒng)需要隨著城市的發(fā)展而更新，新的建筑物被建造，舊的被拆除，季節(jié)變化帶來的光照差異也會影響整體外觀。如果每次更新都需要存儲所有歷史數(shù)據(jù)并重新訓(xùn)練模型，不僅計算成本高昂，存儲需求也會不斷增加。

持續(xù)學(xué)習(xí)正是為解決這類問題而生。在傳統(tǒng)的機(jī)器學(xué)習(xí)任務(wù)中，比如圖像分類，持續(xù)學(xué)習(xí)已經(jīng)有了一些成功的方法。但這些方法直接應(yīng)用到NeRF上效果并不理想，因?yàn)镹eRF處理的是三維場景重建這樣的復(fù)雜任務(wù)，而非簡單的分類。

研究者們嘗試了幾種方法來解決這個問題。一種是彈性權(quán)重鞏固（Elastic Weight Consolidation，EWC），它通過在訓(xùn)練目標(biāo)中添加正則化項(xiàng)來防止重要參數(shù)的變化。另一種是經(jīng)驗(yàn)回放（Experience Replay），它存儲一小部分歷史數(shù)據(jù)以便在訓(xùn)練新數(shù)據(jù)時混合使用。這些方法在圖像分類任務(wù)中表現(xiàn)不錯，但在NeRF的場景中效果有限。

實(shí)驗(yàn)表明，簡單地在新數(shù)據(jù)上更新NeRF模型（稱為樸素訓(xùn)練，Naive Training）會導(dǎo)致模型完全忘記舊場景的幾何結(jié)構(gòu)和外觀。例如，原本存在于夏季場景中的花朵在冬季場景訓(xùn)練后可能會完全消失，或者被錯誤地渲染成積雪的樣子。

而EWC雖然嘗試通過正則化來保留重要的參數(shù)，但往往會導(dǎo)致模型既無法很好地適應(yīng)新數(shù)據(jù)，也無法準(zhǔn)確回憶舊數(shù)據(jù)。經(jīng)驗(yàn)回放則需要存儲歷史圖像，這在大規(guī)模應(yīng)用中是不切實(shí)際的，特別是當(dāng)涉及到數(shù)百萬張圖像時。

這就是CLNeRF要解決的核心問題：如何設(shè)計一個系統(tǒng)，讓它能夠從場景隨時間變化的連續(xù)數(shù)據(jù)中學(xué)習(xí)，而不會忘記過去，同時又不需要存儲大量歷史數(shù)據(jù)。

智慧的融合

CLNeRF的創(chuàng)新之處在于它巧妙地融合了持續(xù)學(xué)習(xí)中的生成式回放技術(shù)與NeRF領(lǐng)域的先進(jìn)架構(gòu)，創(chuàng)造出一個能夠有效學(xué)習(xí)場景變化而不遺忘的系統(tǒng)。

生成式回放（Generative Replay）是持續(xù)學(xué)習(xí)領(lǐng)域的一種技術(shù)，它不需要存儲歷史數(shù)據(jù)，而是使用一個生成模型來合成歷史數(shù)據(jù)的＂假樣本＂。在圖像分類任務(wù)中，這種方法往往效果有限，因?yàn)槭褂蒙蓪咕W(wǎng)絡(luò)（GAN）等工具生成高質(zhì)量圖像很困難，而且會引入額外的模型參數(shù)。

但NeRF本身就是一個出色的圖像生成器！這就帶來了一個絕佳的契機(jī)：將NeRF作為自己的生成模型，用于回放歷史場景。具體來說，CLNeRF存儲所有歷史圖像的相機(jī)參數(shù)（這些參數(shù)占用的存儲空間極小，只有圖像的千分之一），然后使用當(dāng)前模型根據(jù)這些參數(shù)生成＂假圖像＂，再將這些生成的圖像與新的真實(shí)圖像混合使用，進(jìn)行模型更新。

為了讓這個系統(tǒng)更加高效，CLNeRF采用了即時神經(jīng)圖形基元（Instant Neural Graphics Primitives，NGP）作為底層架構(gòu)。相比于傳統(tǒng)的NeRF架構(gòu)，NGP訓(xùn)練速度更快，內(nèi)存占用更小，渲染質(zhì)量更高。這使得CLNeRF能夠快速適應(yīng)新數(shù)據(jù)，同時保持對歷史場景的準(zhǔn)確記憶。

在實(shí)際操作中，假設(shè)我們有一個房間在不同季節(jié)的圖像序列。每次收到新季節(jié)的圖像時，CLNeRF會進(jìn)行如下步驟：

1. 存儲新圖像的相機(jī)參數(shù)（位置、方向等）到回放緩沖區(qū)

2. 從回放緩沖區(qū)中隨機(jī)采樣相機(jī)參數(shù)，包括歷史圖像和新圖像的

3. 對于來自歷史圖像的相機(jī)參數(shù)，使用當(dāng)前模型生成＂假圖像＂

4. 將生成的＂假圖像＂與新的真實(shí)圖像混合，一起訓(xùn)練更新模型

5. 用更新后的模型替換之前的模型

這個過程不需要存儲任何歷史圖像，只需要相機(jī)參數(shù)，這在存儲空間上是極為節(jié)約的。例如，存儲1000個不同相機(jī)拍攝的樣本參數(shù)大約只需要45KB的存儲空間，這比一張高分辨率圖像還要小得多。

但要處理場景隨時間變化的問題，僅有生成式回放是不夠的。真實(shí)世界的變化包括光照條件（如不同時間的陽光）和幾何結(jié)構(gòu)（如家具的移動或添加）的改變。為此，CLNeRF在NGP架構(gòu)中加入了可訓(xùn)練的外觀嵌入和幾何嵌入。

外觀嵌入允許模型捕捉不同時間點(diǎn)的光照條件，而幾何嵌入則處理物體位置和形狀的變化。這兩種嵌入的維度分別設(shè)為48和16，在確保模型緊湊的同時，足以編碼復(fù)雜的真實(shí)世界場景變化。

對于場景中的臨時物體（如走動的行人），CLNeRF使用分割掩碼將它們過濾掉，而不是嘗試使用臨時MLP網(wǎng)絡(luò)來處理它們。實(shí)驗(yàn)表明，NGP架構(gòu)與臨時MLP不兼容——非臨時網(wǎng)絡(luò)會過度擬合臨時物體，無法自動過濾它們。

CLNeRF的一個關(guān)鍵設(shè)計決策是在每個時間步驟隨機(jī)初始化模型，而不是從上一個模型開始更新。這是因?yàn)镹GP在訓(xùn)練時間過長時會產(chǎn)生＂NaN＂損失和爆炸梯度，這使得從上一個模型初始化變得困難。雖然這看起來可能不直觀，但實(shí)驗(yàn)表明這種方法在NGP架構(gòu)上效果更好。

實(shí)驗(yàn)結(jié)果令人印象深刻。即使不存儲任何歷史圖像用于經(jīng)驗(yàn)回放（即只使用生成式回放），CLNeRF的性能也幾乎與上限模型（使用所有數(shù)據(jù)一次性訓(xùn)練的模型）相當(dāng)。這顯示了生成式回放與先進(jìn)NeRF架構(gòu)的協(xié)同效應(yīng)，使得系統(tǒng)能夠同時＂記住＂過去和＂學(xué)習(xí)＂現(xiàn)在。

與其他持續(xù)學(xué)習(xí)方法相比，CLNeRF表現(xiàn)出明顯的優(yōu)勢。經(jīng)驗(yàn)回放需要存儲至少80%的歷史圖像才能達(dá)到與CLNeRF相當(dāng)?shù)男阅堋椥詸?quán)重鞏固不僅無法很好地恢復(fù)舊場景，還會阻礙模型適應(yīng)新數(shù)據(jù)。而樸素訓(xùn)練則會導(dǎo)致模型過度擬合新數(shù)據(jù)，無法正確渲染歷史場景。

總的來說，CLNeRF通過結(jié)合生成式回放和先進(jìn)的神經(jīng)渲染架構(gòu)，創(chuàng)造了一個能夠有效學(xué)習(xí)場景變化而不遺忘的系統(tǒng)，為實(shí)際應(yīng)用中的大規(guī)模場景重建開辟了新的可能性。

時光見證者

研究者們在開發(fā)CLNeRF時面臨一個明顯的障礙：缺乏合適的數(shù)據(jù)集來測試系統(tǒng)在處理真實(shí)世界隨時間變化場景的能力。現(xiàn)有的神經(jīng)輻射場數(shù)據(jù)集主要集中在靜態(tài)場景上，無法滿足持續(xù)學(xué)習(xí)研究的需求。

在傳統(tǒng)的神經(jīng)輻射場基準(zhǔn)測試中，場景變化僅限于視角覆蓋范圍的擴(kuò)展，就像拍攝同一個靜止房間的更多角度。這與現(xiàn)實(shí)世界相去甚遠(yuǎn)。想象一下，你家的客廳在一年中會發(fā)生多少變化：光線隨季節(jié)變化、家具可能重新擺放、裝飾品會增減變化。這些真實(shí)的時間性變化在標(biāo)準(zhǔn)數(shù)據(jù)集中完全缺失。

為了彌補(bǔ)這一空白，研究者們創(chuàng)建了一個全新的數(shù)據(jù)集——世界隨時間變化（World Across Time，簡稱WAT）。這個數(shù)據(jù)集包含了6個不同場景（室內(nèi)和室外兼有），每個場景都在不同的真實(shí)時間點(diǎn)進(jìn)行了5-10次視頻拍攝，從而自然地捕捉了光照和幾何結(jié)構(gòu)隨時間推移的變化。

數(shù)據(jù)收集過程非常系統(tǒng)化。研究者們從這些視頻中提取了大量幀（每個場景200-400張圖像），然后使用名為colmap的軟件計算出相機(jī)參數(shù)。在每個場景中，他們保留1/8的圖像用于測試，其余用于訓(xùn)練。關(guān)鍵的是，他們根據(jù)視頻拍攝的實(shí)際時間對圖像進(jìn)行了自然排序。在持續(xù)學(xué)習(xí)的每個時間步驟中，屬于新視頻的所有圖像會被一次性提供給模型。

WAT數(shù)據(jù)集中的室內(nèi)場景包括典型的家庭環(huán)境，如客廳、臥室和廚房。在不同的拍攝時間點(diǎn)，這些場景中的物品擺放、光照條件都有變化。比如，客廳里的咖啡桌上物品可能被移動或更換，窗簾的開合狀態(tài)可能不同，甚至家具的位置都可能變化。

室外場景則包括建筑物外觀、街景和自然景觀。這些場景不僅捕捉了不同天氣和光照條件下的變化（如晴天、陰天或日落時分），還記錄了季節(jié)性變化（如樹木的葉子顏色變化或落葉）和人為變化（如建筑工地的進(jìn)展）。

WAT數(shù)據(jù)集的創(chuàng)新之處在于它提供了場景隨時間自然變化的真實(shí)記錄，而這些變化是按照現(xiàn)實(shí)世界的時間順序排列的。這與簡單地隨機(jī)劃分現(xiàn)有數(shù)據(jù)集（如在Phototourism數(shù)據(jù)集上所做的那樣）截然不同。在Phototourism這類數(shù)據(jù)集上，不同＂時間步＂之間的姿態(tài)和外觀分布往往很相似，這使得持續(xù)學(xué)習(xí)任務(wù)變得人為簡單。

實(shí)驗(yàn)結(jié)果清楚地表明了WAT數(shù)據(jù)集的挑戰(zhàn)性。在Phototourism數(shù)據(jù)集上，不同持續(xù)學(xué)習(xí)方法之間的性能差距相對較小，因?yàn)殡S機(jī)劃分的時間步驟之間沒有明顯的分布偏移。而在WAT上，方法之間的性能差距顯著擴(kuò)大，只有專門設(shè)計的方法（如CLNeRF）才能有效處理真實(shí)世界的時間變化。

比如，在不使用CLNeRF提出的可訓(xùn)練嵌入時，其他持續(xù)學(xué)習(xí)方法在WAT上的表現(xiàn)大幅下降：樸素訓(xùn)練的PSNR/SSIM從16.70/0.649降至16.17/0.625，彈性權(quán)重鞏固從16.29/0.672降至15.81/0.650，經(jīng)驗(yàn)回放從21.36/0.709降至17.99/0.666，MEIL-NeRF從24.05/0.730降至20.92/0.720。這些數(shù)據(jù)表明，針對變化場景的特殊設(shè)計是處理實(shí)際應(yīng)用中持續(xù)學(xué)習(xí)問題的關(guān)鍵。

WAT數(shù)據(jù)集的另一個價值在于它為未來的持續(xù)學(xué)習(xí)算法提供了一個更加現(xiàn)實(shí)和具有挑戰(zhàn)性的測試基準(zhǔn)。在這個數(shù)據(jù)集上，算法必須同時處理場景覆蓋范圍擴(kuò)展、外觀變化和幾何結(jié)構(gòu)變化，這更接近實(shí)際應(yīng)用中的需求。

實(shí)證與前瞻

CLNeRF系統(tǒng)通過嚴(yán)格的實(shí)驗(yàn)測試，展示了其在處理持續(xù)學(xué)習(xí)場景中的卓越性能。研究者們不僅在自己構(gòu)建的WAT數(shù)據(jù)集上進(jìn)行了評估，還在多個標(biāo)準(zhǔn)神經(jīng)輻射場基準(zhǔn)上測試了CLNeRF的性能。

在合成數(shù)據(jù)方面，研究者們使用了NeRF原始論文中提出的數(shù)據(jù)集（稱為Synth-NeRF），包含8個場景，每個場景被分為10個時間步驟，每步20張訓(xùn)練圖像。在真實(shí)世界數(shù)據(jù)方面，他們使用了Tanks and Temples數(shù)據(jù)集的兩個子集（NSVF和NeRF++）以及Phototourism數(shù)據(jù)集的4個場景。

評估協(xié)議很直接：在所有時間步驟上順序訓(xùn)練模型后，計算所有時間步驟的測試圖像上的平均PSNR/SSIM值。PSNR（峰值信噪比）和SSIM（結(jié)構(gòu)相似性）是衡量渲染圖像質(zhì)量的標(biāo)準(zhǔn)指標(biāo)，值越高表示質(zhì)量越好。

實(shí)驗(yàn)結(jié)果令人印象深刻。在所有數(shù)據(jù)集上，CLNeRF都顯著優(yōu)于其他持續(xù)學(xué)習(xí)方法，甚至在不存儲任何歷史圖像的情況下（CLNeRF-noER）也是如此。例如，在WAT數(shù)據(jù)集上，CLNeRF-noER的PSNR/SSIM為25.44/0.762，遠(yuǎn)高于樸素訓(xùn)練（16.70/0.649）、彈性權(quán)重鞏固（16.29/0.672）和經(jīng)驗(yàn)回放（21.36/0.709），也明顯優(yōu)于同樣使用生成式回放的MEIL-NeRF（24.05/0.730）。

更令人驚訝的是，CLNeRF的性能非常接近上限模型（一次性在所有數(shù)據(jù)上訓(xùn)練的模型）。在WAT上，上限模型的PSNR/SSIM為25.85/0.767，僅比CLNeRF高0.4 dB，這個差距在視覺上幾乎不可察覺。這表明CLNeRF找到了一個高效的方法來累積場景知識，而幾乎不損失渲染質(zhì)量。

視覺比較更加直觀地展示了CLNeRF的優(yōu)勢。當(dāng)渲染當(dāng)前時間步驟的場景時，所有方法都表現(xiàn)合理。但當(dāng)渲染早期時間步驟的場景時，差異就顯現(xiàn)出來了。樸素訓(xùn)練嚴(yán)重過擬合當(dāng)前數(shù)據(jù)，導(dǎo)致早期場景中出現(xiàn)錯誤的幾何結(jié)構(gòu)（如在不應(yīng)該有物體的地方出現(xiàn)物體）和光照。彈性權(quán)重鞏固不僅無法恢復(fù)舊場景，還阻礙了模型適應(yīng)新數(shù)據(jù)。經(jīng)驗(yàn)回放和MEIL-NeRF在早期場景中產(chǎn)生模糊和偽影，特別是在缺乏足夠回放數(shù)據(jù)的情況下。

研究者們還進(jìn)行了多項(xiàng)消融實(shí)驗(yàn)，以了解CLNeRF各組件的重要性。結(jié)果表明，生成式回放是CLNeRF中最關(guān)鍵的組件，沒有它性能會大幅下降。例如，在Synth-NeRF上，去除生成式回放導(dǎo)致PSNR從32.16降至27.35。此外，NGP架構(gòu)的使用也至關(guān)重要，將其替換為傳統(tǒng)NeRF會導(dǎo)致性能下降約3 dB。而在WAT數(shù)據(jù)集上，可訓(xùn)練的外觀和幾何嵌入是不可或缺的，沒有它們PSNR會從25.45降至21.09。

回放緩沖區(qū)大小的實(shí)驗(yàn)揭示了一個有趣的現(xiàn)象：CLNeRF在不同緩沖區(qū)大小下表現(xiàn)穩(wěn)定，即使不存儲任何歷史圖像也能獲得高性能。相比之下，基于NGP的經(jīng)驗(yàn)回放需要存儲80%以上的數(shù)據(jù)集（幾乎是除當(dāng)前時間步驟外的所有歷史數(shù)據(jù)）才能達(dá)到與CLNeRF相當(dāng)?shù)男阅堋＿@表明CLNeRF的生成式回放策略特別適合神經(jīng)輻射場任務(wù)。

研究者們還探討了不同架構(gòu)對持續(xù)學(xué)習(xí)性能的影響。令人驚訝的是，樸素訓(xùn)練和經(jīng)驗(yàn)回放在使用傳統(tǒng)NeRF架構(gòu)時表現(xiàn)更好。深入分析發(fā)現(xiàn)，這主要是因?yàn)閭鹘y(tǒng)NeRF允許從上一個模型繼承參數(shù)，而NGP由于訓(xùn)練時間過長會產(chǎn)生＂NaN＂損失和梯度爆炸問題，需要在每個時間步驟重新初始化。當(dāng)強(qiáng)制傳統(tǒng)NeRF也進(jìn)行重新初始化時，其優(yōu)勢大幅減小。

研究者們指出，CLNeRF雖然在當(dāng)前實(shí)驗(yàn)中表現(xiàn)出色，但仍有改進(jìn)空間。例如，解決NGP的＂NaN＂損失問題可能使模型繼承變得更有效，進(jìn)一步提高持續(xù)學(xué)習(xí)性能。此外，將CLNeRF擴(kuò)展到Block-NeRF規(guī)模的城市級渲染也是一個有價值的未來研究方向。

綜合來看，CLNeRF通過結(jié)合生成式回放和先進(jìn)的神經(jīng)渲染架構(gòu)，提供了一個高效的解決方案，使神經(jīng)輻射場能夠從不斷變化的場景中持續(xù)學(xué)習(xí)，而不需要存儲大量歷史數(shù)據(jù)。這一成果為許多實(shí)際應(yīng)用開辟了道路，如城市建模、室內(nèi)環(huán)境設(shè)計變更可視化，以及隨時間變化的虛擬旅游等。

參考資料

1. Cai， Z.， &； Mller， M. （2023）. CLNeRF: Continual Learning Meets NeRF. ICCV 2023.

2. Mildenhall， B.， et al. （2020）. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis.

3. Rebuffi， S.A.， et al. （2017）. iCaRL: Incremental Classifier and Representation Learning.

4. Mller， T.， et al. （2022）. Instant Neural Graphics Primitives with a Multiresolution Hash Encoding.

5. Martin-Brualla， R.， et al. （2021）. NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections.