全球首個「鏡頭×光照」雙控4D視頻生成框架，單目視頻秒變電影級

僅憑一段隨手拍攝的單目視頻，是否能夠讓鏡頭在空間中自由飛行，讓光線隨意變換，讓原本固定的真實場景在全新的視角與照明條件下被再次「拍攝」？這一過去被視作科幻設想的問題，如今迎來了明確答案。

近日，新加坡南洋理工大學 S-Lab、北京智源人工智能研究院（BAAI）、華中科技大學、清華大學智能產業研究院（AIR）等多家科研機構聯合推出Light-X —— 全球首個實現「鏡頭 × 光照」雙維度可控 的 4D 視頻生成框架。Light-X 讓「按用戶意圖重新導演一段視頻」成為現實：既能自由規劃鏡頭軌跡、生成任意新視角內容，也能靈活調整光源方向、亮度與風格 —— 從電影級布光到賽博霓虹氛圍，都能在一段普通視頻中輕松實現。

• 論文名稱：Light-X : Generative 4D Video Rendering with Camera and Illumination Control
• 論文鏈接：https://arxiv.org/abs/2512.05115
• 項目主頁：https://lightx-ai.github.io/
• 開源代碼：https://github.com/TQTQliu/Light-X

https://mp.weixin.qq.com/s/YIMpcZd7OKW7cobQQ6UkFw

研究背景

現實世界的視覺體驗由幾何、運動和光照共同構成，而我們日常拍攝的單目視頻，只是這一復雜四維時空的二維投影。若能在拍攝后重新控制鏡頭位置、自由調節光照條件，那么普通視頻就能具備「可重拍攝」、「可再導演」的能力。無論是電影制作、虛擬拍攝，還是 AR/VR 內容生成，都將受益匪淺。

現有研究大多沿著兩條彼此獨立的路線發展：

• 視頻重打光：如 Light-A-Video 在單幀 IC-Light 的基礎上擴展到視頻級光照編輯，但仍難以兼顧光照質量與時間一致性，更無法支持視角變化。
• 相機可控的視頻生成：最近的 TrajectoryCrafter、ReCamMaster 等方法能夠生成全新鏡頭，但完全不涉及光照變化。

然而，真實場景的觀感由幾何、運動和光照共同決定，僅操控其中單一因素難以實現真正自然、可信的重渲染。在單目視頻中同時實現「鏡頭 × 光照」聯合控制，是此前從未被解決的問題。

其核心挑戰主要包括：

• 缺乏成對數據：真實世界幾乎不存在「同一動態場景 × 多光照 × 多視角」的視頻數據，使模型難以同時學習光照調節與視角變化的聯合控制規律。
• 多維因素耦合：光照變化、相機運動與場景幾何相互影響，任一維度的變化都可能引入光照閃爍或幾何不穩定。要在生成新視角的同時保持光照逼真與時序連貫性，其難度遠高于單獨完成其中任一任務。

在這一背景下，Light-X 的提出填補了關鍵空白：它第一次在單目視頻場景中統一解決了相機軌跡控制與光照控制，讓視頻具備真正意義上的 4D 多維可編輯能力。

方法架構

Light-X 的核心思路，是將相機控制與光照控制先解耦，再在擴散模型中統一融合，從而在單目視頻中實現真正的「鏡頭 × 光照」雙可控生成。

顯式解耦相機與光照

Light-X 首先從輸入視頻中分別構建兩條分支：1）動態點云（用于相機控制）：從視頻估計深度，反投影成隨時間變化的動態點云。再根據用戶的相機軌跡，將其投影成新視角的幾何渲染圖和可見性掩碼。2）重打光點云（用于光照控制）：對輸入視頻選取某一幀做重光照，再反投影成光照點云，并投影到目標視角，得到光照渲染與光照掩碼。通過分別構建「幾何分支」和「光照分支」，Light-X 在建模階段將兩種因素成功解耦。

聯合條件的視頻擴散模型

在生成階段，Light-X 會將兩條分支的線索統一輸入擴散模型：1）細粒度幾何與光照線索：幾何渲染提供場景結構與運動信息；光照渲染提供逐像素的光照變化線索。2）全局光照 token 保持風格一致：模型從重光照幀中提取全局光照 token，用于維持長時間段的光照風格、亮度和方向一致性。

圖 1 Light-X 框架總覽

數據構建

為訓練具備「鏡頭 × 光照」聯合控制能力的模型，Light-X 需要成對的幾何對齊、多光照、多視角訓練數據。然而真實世界幾乎不存在這樣的數據。為此，我們構建了Light-Syn，一種從單目視頻自動合成訓練數據的流程。

退化：把真實視頻變成「輸入視頻」

Light-Syn 以普通視頻作為目標視頻，然后通過現有算法合成一個品質更低的「輸入視頻」。

逆向映射：恢復訓練所需的條件線索

基于退化過程的記錄，Light-Syn 自動生成：

• 對齊的幾何渲染與可見區域
• 稀疏的重光照視頻
• 重光照后的渲染與掩碼

這些信號構成 Light-X 學習「該看到什么」和「光該如何變化」的條件。

多來源數據覆蓋更多場景

Light-Syn 構建的數據來自三類視頻：

• 靜態場景視頻（多視角幾何更穩定）
• 動態場景視頻（運動更真實）
• AI生成視頻（光照風格更豐富）

這種多來源設計讓模型既能學到真實的運動結構，又能適應多樣化的光照風格。

圖 2 數據管線 Light-Syn 總覽

方法框架和數據管線靈活性

得益于 Light-X 的統一建模方式，它可以同時支持多種形式的光照輸入，包括：HDR 環境光，參考圖光照，文本 / 背景圖光照，不同光照模式在訓練中通過軟掩碼區分，使同一個模型即可泛化到多種光照條件，無需為每種模式分別訓練。

圖 3 多模態光照數據構建與條件機制示意圖

實驗結果

Light-X 在兩個核心任務上進行了系統評測：（1）鏡頭 × 光照聯合控制 和 （2）視頻重打光。在所有基準上，Light-X 都顯著優于現有方法。

鏡頭 × 光照聯合控制

由于此前沒有能同時做「新視角生成 + 重光照」的方法，論文構建了多種組合式 baseline，例如 TrajectoryCrafter + IC-Light、Light-A-Video + TrajectoryCrafter 等。如表 1 和圖 4 所示，Light-X 在圖像質量、視頻平滑性以及用戶偏好等多項指標上均取得顯著領先，實現了當前最優的聯合控制效果。

表 1 鏡頭 × 光照聯合控制任務的定量結果。用戶偏好表示選擇我們方法的參與者比例

https://mp.weixin.qq.com/s/YIMpcZd7OKW7cobQQ6UkFw

圖 4 鏡頭 × 光照聯合控制的視頻對比

視頻重打光

表 2 和圖 5 展示了視頻重打光任務的定量和定性結果。相比 IC-Light、Light-A-Video 等方法，Light-X 在圖像質量、時間一致性和用戶偏好上均取得明顯優勢，整體呈現出更高的光照真實性與視頻穩定性。

表 2 視頻重打光任務的定量結果

https://mp.weixin.qq.com/s/YIMpcZd7OKW7cobQQ6UkFw

圖 5 視頻重打光的視頻結果對比

消融實驗

消融實驗（表 3）從數據構建、模型結構與光照機制條件設計三個方面進行分析。結果表明：多源數據（靜態、動態與 AI 生成）對于提升新視角質量、運動穩定性及光照多樣性至關重要；細粒度光照線索與全局光照控制顯著改善光照一致性和穩定性；訓練策略中的軟掩碼與單幀重打光設計同樣關鍵，可避免光照域混淆并提升時序一致性。

表 3 消融實驗定量結果

https://mp.weixin.qq.com/s/YIMpcZd7OKW7cobQQ6UkFw

圖 6 Light-X 多維度控制能力展示

https://mp.weixin.qq.com/s/YIMpcZd7OKW7cobQQ6UkFw

圖 7 Light-X 支持交互式調節視頻中的光照區域與方向，實現細粒度、可控的重打光效果

總結

Light-X 提出了首個能夠從單目視頻同時控制鏡頭運動與光照的 4D 視頻生成框架。通過將相機與光照因素顯式解耦，利用動態點云提供幾何與運動先驗，并通過重打光幀構建光照線索，Light-X 在統一的擴散模型中實現了穩定、高保真的聯合調控。同時提出了 Light-Syn 數據管線，使模型無需真實的多視角、多光照采集即可完成訓練。大量實驗表明，Light-X 在「鏡頭 × 光照」聯合控制和視頻重打光任務上均顯著優于現有方法，并能靈活適配多種光照模式。

盡管如此，Light-X 仍依賴單幀重打光質量和深度估計精度，在極端光照、錯誤深度或大范圍相機運動下仍可能受到影響。此外，擴散模型的多步去噪也帶來一定的計算成本。未來工作可探索更強的視頻生成 backbone、更穩健的幾何建模策略以及長視頻生成技術，以進一步提升質量與適用性。