30FPS普通相機(jī)恢復(fù)200FPS細(xì)節(jié)，4D重建方案來(lái)了

本文第一作者陳羽田，香港中文大學(xué) MMLab 博士二年級(jí)在讀，研究方向?yàn)槿S重建與生成，導(dǎo)師為薛天帆教授。個(gè)人主頁(yè)：https://yutian10.github.io

當(dāng)古裝劇中的長(zhǎng)袍在武林高手凌空翻騰的瞬間揚(yáng)起 0.01 秒的驚艷弧度，當(dāng) VR 玩家想伸手抓住對(duì)手 “空中定格” 的劍鋒，當(dāng) TikTok 爆款視頻里一滴牛奶皇冠般的濺落要被 360° 無(wú)死角重放 —— 如何用普通的攝像機(jī)，把瞬間即逝的高速世界 “凍結(jié)” 成可供反復(fù)拆解、傳送與交互的數(shù)字化 4D 時(shí)空，成為 3D 視覺(jué)領(lǐng)域的一個(gè)難題。

https://mp.weixin.qq.com/s/C1LiDwwRsfXiOhxKoG3qBA?click_id=1

然而，受限于硬件成本與數(shù)據(jù)傳輸帶寬，目前絕大多數(shù) 4D 采集陣列的最高幀率僅約 30 FPS；相比之下，傳統(tǒng)高速攝影通常需要 120 FPS 乃至更高。簡(jiǎn)單升級(jí)相機(jī)硬件不僅價(jià)格高昂，還會(huì)帶來(lái)指數(shù)級(jí)增長(zhǎng)的數(shù)據(jù)通量，難以在大規(guī)模部署中落地。另一條改變的思路是在重建階段 “補(bǔ)幀”。近期，例如 4D 高斯濺射（4D Gaussian Splatting）等動(dòng)態(tài)場(chǎng)景重建方法能在簡(jiǎn)單運(yùn)動(dòng)中通過(guò)稀疏時(shí)序輸入合成連續(xù)幀，變相提升幀率，但面對(duì)布料擺動(dòng)、高速旋轉(zhuǎn)等非線性復(fù)雜運(yùn)動(dòng)，中間幀仍會(huì)出現(xiàn)運(yùn)動(dòng)不連續(xù)、偽影明顯的問(wèn)題。

于是，一個(gè)自然且關(guān)鍵的問(wèn)題被提出：能否僅利用低幀率相機(jī)陣列，準(zhǔn)確恢復(fù)出高質(zhì)量的高速運(yùn)動(dòng) 4D 模型？正是在這一動(dòng)機(jī)下，我們提出 “異步采集 + 視頻擴(kuò)散模型修復(fù)” 的軟硬協(xié)同解決方案，為高速 4D 重建開(kāi)辟了一條低成本、高質(zhì)量的新路徑，實(shí)現(xiàn)了僅利用 30 FPS 的普通相機(jī)，恢復(fù)出相當(dāng)于 100-200 FPS 的高質(zhì)量動(dòng)態(tài)細(xì)節(jié)

https://mp.weixin.qq.com/s/C1LiDwwRsfXiOhxKoG3qBA?click_id=1

• 論文標(biāo)題：4DSloMo: 4D Reconstruction for High Speed Scene
• with Asynchronous Capture
• 項(xiàng)目主頁(yè)：https://openimaginglab.github.io/4DSloMo
• 論文：https://arxiv.org/pdf/2507.05163
• 代碼：https://github.com/OpenImagingLab/4DSloMo

硬件革新：異步捕捉，讓相機(jī) “錯(cuò)峰拍攝”

核心思路，是突破單個(gè)相機(jī)的速度瓶頸，通過(guò)讓多個(gè)相機(jī)協(xié)同工作，實(shí)現(xiàn)一種 “接力式” 的拍攝方案。傳統(tǒng)的捕捉方案是讓相機(jī)陣列的所有相機(jī)在同一時(shí)刻拍照。而本文的異步捕捉 (Asynchronous Capture) 方案，則是人為地給不同相機(jī)或相機(jī)組設(shè)置一個(gè)微小的啟動(dòng)延遲。

傳統(tǒng)同步方案（左），所有相機(jī)在同一時(shí)間點(diǎn)（如 t=0, t=0.04s）捕捉。我們的異步方案（右），通過(guò)錯(cuò)開(kāi)相機(jī) 2 的啟動(dòng)時(shí)間，在 0s 和 0.04s 之間插入了一個(gè)新的捕捉點(diǎn)（t=0.02s），有效幀率直接翻倍。

想象一下，8 臺(tái) 25 FPS 的相機(jī)，如果我們將它們分成 4 組，每組交替啟動(dòng)，就能將時(shí)間切片切得更細(xì)，實(shí)現(xiàn) 100 FPS 的有效捕捉幀率；如果分成 8 組，甚至能達(dá)到 200 FPS！整個(gè)過(guò)程無(wú)需任何額外的硬件成本，卻在時(shí)間維度上獲得了前所未有的信息密度。

軟件革新：視頻擴(kuò)散模型，為 4D 重建 “精裝修”

異步捕捉雖然解決了時(shí)間分辨率的問(wèn)題，但也帶來(lái)了一個(gè)新的挑戰(zhàn)：在任何一個(gè)特定的時(shí)間點(diǎn)，參與拍攝的相機(jī)數(shù)量變少了，這會(huì)導(dǎo)致 “稀疏視角” 問(wèn)題，從而在初步的 4D 重建結(jié)果中產(chǎn)生 “浮塊” 等視覺(jué)偽影。為了解決這個(gè)問(wèn)題，我們訓(xùn)練了一個(gè)專門(mén)用于修復(fù) 4D 重建偽影的視頻擴(kuò)散模型 (Artifact-fix Video Diffusion Model)。

該模型的核心功能是接收一個(gè)包含重建偽影的視頻作為輸入 ，并生成一個(gè)精修后的高質(zhì)量視頻作為輸出。這里的關(guān)鍵思想是，作為輸入的視頻雖然在視覺(jué)上不完美，但它為擴(kuò)散模型提供了修復(fù)所需的關(guān)鍵時(shí)空上下文 (Spatio-temporal Context)—— 即場(chǎng)景的正確空間結(jié)構(gòu)和物體的核心運(yùn)動(dòng)信息。模型利用這些上下文作為引導(dǎo)，專注于去除偽影并補(bǔ)全細(xì)節(jié)。

為了實(shí)現(xiàn)這一功能，我們構(gòu)建了一個(gè)針對(duì)性的訓(xùn)練數(shù)據(jù)集。我們通過(guò)在高質(zhì)量的 4D 數(shù)據(jù)上模擬異步捕捉過(guò)程，生成包含典型偽影的降質(zhì)視頻 。隨后，我們將這些降質(zhì)視頻與原始的真值視頻 (Ground Truth) 配對(duì)，通過(guò)對(duì)一個(gè)大規(guī)模預(yù)訓(xùn)練視頻模型進(jìn)行微調(diào) (Fine-tuning)，使其學(xué)習(xí)從包含偽影的輸入到清晰輸出的映射關(guān)系。

與常見(jiàn)的圖像擴(kuò)散模型相比，我們使用視頻模型的核心優(yōu)勢(shì)在于保證 “時(shí)間一致性 (Temporal Consistency)”。逐幀修復(fù)容易在連續(xù)幀之間引入紋理閃爍等不一致問(wèn)題，而我們的視頻模型能夠利用時(shí)序先驗(yàn)，在去除偽影的同時(shí)，生成在時(shí)間維度上連貫、平滑的動(dòng)態(tài)結(jié)果。

整體流程：一個(gè) “重建 - 優(yōu)化” 的迭代框架

我們的方法將硬件捕捉與 AI 算法相結(jié)合，構(gòu)建了一個(gè)迭代式的優(yōu)化框架：

1.初步重建 (Initial Reconstruction)：首先，利用異步捕捉的視頻數(shù)據(jù)，重建一個(gè)初步的 4D 高斯模型。該模型能捕捉高速動(dòng)態(tài)，但存在視覺(jué)偽影。

2.生成偽真值 (Pseudo Ground Truth Generation)：接著，使用初步模型渲染出包含偽影的視頻。這些視頻將作為我們視頻擴(kuò)散模型的條件輸入。

3.視頻增強(qiáng) (Video Enhancement)：將渲染視頻送入視頻擴(kuò)散模型。模型負(fù)責(zé)去除偽影并提升視頻質(zhì)量，輸出增強(qiáng)后的視頻。

4.模型優(yōu)化 (Model Optimization)：最后，將增強(qiáng)后的高質(zhì)量視頻作為新的監(jiān)督信號(hào) (Supervision Signal)，用于進(jìn)一步優(yōu)化 4D 高斯模型，從而顯著提升最終的重建質(zhì)量。

整體框架：異步視頻 → 初步重建 → 視頻增強(qiáng) → 優(yōu)化 4D 模型。

方法效果

在 DNA-Rendering 和 Neural3DV 兩大公開(kāi)數(shù)據(jù)集的測(cè)試中，我們的方法在峰值信噪比（PSNR）、結(jié)構(gòu)相似性（SSIM）和感知質(zhì)量（LPIPS）三項(xiàng)核心指標(biāo)上，超越了包括 K-Planes, 4DGS, GS4D 在內(nèi)的多種當(dāng)前頂尖（SOTA）方法。

https://mp.weixin.qq.com/s/C1LiDwwRsfXiOhxKoG3qBA?click_id=1

為了在真實(shí)世界中驗(yàn)證我們的想法，我們專門(mén)搭建了一套包含 12 個(gè) 25 FPS 相機(jī)的多視角捕捉系統(tǒng)。實(shí)驗(yàn)證明，即使在真實(shí)、復(fù)雜的異步捕捉環(huán)境下，我們的方法依然能夠穩(wěn)健地重建出高質(zhì)量、時(shí)空一致的 4D 內(nèi)容。

https://mp.weixin.qq.com/s/C1LiDwwRsfXiOhxKoG3qBA?click_id=1

https://mp.weixin.qq.com/s/C1LiDwwRsfXiOhxKoG3qBA?click_id=1