視頻生成技術(shù)：多視角展現(xiàn)真實(shí)身份與光照的新突破

第一作者徐源誠是 Netflix Eyeline 的研究科學(xué)家，專注于基礎(chǔ) AI 模型的研究與開發(fā)，涵蓋多模態(tài)理解、推理、交互與生成，重點(diǎn)方向包括可控視頻生成及其在影視制作中的應(yīng)用。他于 2025 年獲得美國馬里蘭大學(xué)帕克分校博士學(xué)位。

最后作者于寧是 Netflix Eyeline 資深研究科學(xué)家，帶領(lǐng)視頻生成 AI 在影視制作中的研發(fā)。他曾就職于 Salesforce、NVIDIA 及 Adobe，獲馬里蘭大學(xué)與馬普所聯(lián)合博士學(xué)位。他多次入圍高通獎(jiǎng)學(xué)金、CSAW 歐洲最佳論文，并獲亞馬遜 Twitch 獎(jiǎng)學(xué)金、微軟小學(xué)者獎(jiǎng)學(xué)金，以及 SPIE 最佳學(xué)生論文。他擔(dān)任 CVPR、ICCV、ECCV、NeurIPS、ICML、ICLR 等頂會(huì)的領(lǐng)域主席，以及 TMLR 的執(zhí)行編輯。

在電影與虛擬制作中，「看清一個(gè)人」從來不是看清某一幀。導(dǎo)演通過鏡頭運(yùn)動(dòng)與光線變化，讓觀眾在不同視角、不同光照條件下逐步建立對(duì)一個(gè)角色的完整認(rèn)知。然而，在當(dāng)前大量 customizing video generation model 的研究中，這個(gè)最基本的事實(shí)，卻往往被忽視。

• 論文地址: https://arxiv.org/pdf/2510.14179
• 項(xiàng)目主頁: https://eyeline-labs.github.io/Virtually-Being/

被忽視的核心問題：Multi-view Identity Preservation

多視角身份一致、鏡頭環(huán)繞與多人物示例

近年來，視頻生成領(lǐng)域中關(guān)于人物定制（customization）的研究迅速發(fā)展。絕大多數(shù)方法遵循一種相似范式：給定一張或少量人物圖像 → 生成包含該人物的視頻。這種范式隱含了一個(gè)關(guān)鍵假設(shè)：只要人物在某個(gè)視角下看起來像，就等價(jià)于「身份被保留」。但在真實(shí)的視頻與電影語境中，這個(gè)假設(shè)并不成立。

為什么單視角身份是不夠的？

• 身份是強(qiáng)烈依賴視角的（view-dependent）

面部輪廓、五官比例、體態(tài)與衣物形態(tài)，都會(huì)隨觀察角度發(fā)生系統(tǒng)性變化。

• 相機(jī)運(yùn)動(dòng)會(huì)持續(xù)暴露未見過的外觀區(qū)域

單張或少量圖像無法覆蓋側(cè)臉、背面以及連續(xù)視角變化過程中的外觀一致性。

• 多人場景會(huì)放大任何身份錯(cuò)誤

當(dāng)多個(gè)角色同框時(shí)，哪怕輕微的身份漂移都會(huì)變得非常明顯。

因此，在具有真實(shí) 3D 相機(jī)運(yùn)動(dòng)的視頻中，「identity preservation」本質(zhì)上是一個(gè) multi-view consistency 問題，而不是單幀相似度問題。

然而，令人遺憾的是，顯式關(guān)注 multi-view identity preservation，在當(dāng)前的視頻定制化生成研究中仍然幾乎沒有被系統(tǒng)性地解決。

核心立場：學(xué)習(xí)一個(gè)人的身份，必須學(xué)習(xí)他在多視角與多光照下的樣子

Virtually Being 的核心論點(diǎn)非常明確：如果希望模型真正「學(xué)會(huì)一個(gè)人的身份」，那么它必須看到這個(gè)人在不同視角（multi-view）和不同光照（various lighting）下的穩(wěn)定外觀。

換句話說，看清一個(gè)人，不是看清一張臉，而是理解這個(gè)人在空間中如何被觀察，在光線變化下如何呈現(xiàn)。身份不是一個(gè)靜態(tài)的 2D 屬性，而是一個(gè) 4D（空間 + 時(shí)間）一致的概念，這正是 Virtually Being 所要系統(tǒng)性解決的問題。

方法概覽：用 4D 重建構(gòu)建真正的多視角身份監(jiān)督

為了解決 multi-view identity 被長期忽視的問題，我們從數(shù)據(jù)層面重新設(shè)計(jì)了人物定制流程。

多視角表演采集，而非單視角參考

• 使用專業(yè)體積捕捉系統(tǒng)采集真實(shí)人物表演：75 相機(jī)面部捕捉陣列、160 相機(jī)全身捕捉陣列；
• 捕捉人物在受控條件下的動(dòng)態(tài)表演，為高質(zhì)量重建提供輸入。

4D Gaussian Splatting 作為數(shù)據(jù)生成器

• 對(duì)捕捉到的表演進(jìn)行 4D Gaussian Splatting (4DGS) 重建；
• 在重建結(jié)果上渲染大量視頻：覆蓋連續(xù)變化的相機(jī)軌跡、具備精確的 3D 相機(jī)參數(shù)標(biāo)注、保證同一人物在不同視角下的身份一致性。

通過這一過程，視頻生成模型在訓(xùn)練階段不再依賴零散的圖像線索，而是反復(fù)觀察同一個(gè)人在多視角、連續(xù)鏡頭運(yùn)動(dòng)下應(yīng)當(dāng)如何保持外觀一致。

兩階段訓(xùn)練：先理解鏡頭，再理解「這個(gè)人」

為了在身份定制的同時(shí)保持穩(wěn)定的鏡頭控制能力，我們采用了一個(gè)清晰解耦的兩階段訓(xùn)練策略。

階段一：相機(jī)感知預(yù)訓(xùn)練（Camera-aware Pretraining）

基于 ControlNet 架構(gòu)，引入完整 3D 相機(jī)參數(shù)（Plücker 表示），在大規(guī)模公開視頻數(shù)據(jù)上訓(xùn)練模型，使其學(xué)會(huì)相機(jī)運(yùn)動(dòng)如何影響視角變化與時(shí)間結(jié)構(gòu)。這一階段的目標(biāo)，是讓模型牢固掌握電影級(jí)的鏡頭語言。

階段二：多視角身份定制（Multi-view Customization）

在預(yù)訓(xùn)練模型基礎(chǔ)上進(jìn)行微調(diào)，使用 4DGS 渲染的多視角視頻作為定制數(shù)據(jù)，為每個(gè)身份引入專屬 token，將身份與多視角外觀顯式綁定，最終模型在推理時(shí)能夠精確遵循輸入的 3D 相機(jī)軌跡，在未見過的視角下仍然穩(wěn)定呈現(xiàn)同一個(gè)人。

光照真實(shí)感：身份感知不可分割的一部分

除了視角，光照同樣是「看清一個(gè)人」的關(guān)鍵維度。

在真實(shí)電影中，人物身份并不是在單一光照條件下被認(rèn)知的，而是在不同室內(nèi)外環(huán)境，側(cè)光、逆光、柔光等變化，不同光比與色溫條件下逐步被觀眾確認(rèn)。

在 Virtually Being 中，我們通過引入基于 HDR 的視頻重打光數(shù)據(jù)，顯著增強(qiáng)了生成視頻中的光照真實(shí)感。在 4DGS 渲染基礎(chǔ)上，對(duì)同一人物生成多種自然光照條件，覆蓋真實(shí)拍攝中常見的照明變化范圍，使模型學(xué)會(huì)在光照變化下，人物身份仍應(yīng)保持穩(wěn)定。

實(shí)驗(yàn)結(jié)果顯示，引入重光照數(shù)據(jù)后，生成視頻在用戶研究中 83.9% 被認(rèn)為光照更自然、更符合真實(shí)拍攝效果，缺乏該數(shù)據(jù)時(shí)，人物往往呈現(xiàn)平坦、缺乏層次的合成感。

多人物生成：multi-view identity 才能支撐真實(shí)互動(dòng)

在多人物視頻生成中，multi-view identity preservation 的重要性進(jìn)一步被放大。

只有當(dāng)模型對(duì)每個(gè)角色在不同視角與光照條件下的身份都有穩(wěn)定建模時(shí)，人物才能自然同框，空間關(guān)系才能保持一致，互動(dòng)才不會(huì)顯得拼接或混亂。

Virtually Being 支持兩種多人物生成方式：

• 聯(lián)合訓(xùn)練（Joint Training）：通過少量同框數(shù)據(jù)增強(qiáng)互動(dòng)真實(shí)性；
• 推理階段組合（Noise Blending）：在無需重新訓(xùn)練的情況下靈活組合多個(gè)身份。

實(shí)驗(yàn)結(jié)論：multi-view + relighting 是身份一致性的關(guān)鍵因素

系統(tǒng)性實(shí)驗(yàn)表明，使用 multi-view 數(shù)據(jù)訓(xùn)練的模型，在 AdaFace 等身份指標(biāo)上顯著優(yōu)于僅使用 frontal-view 數(shù)據(jù)的模型以及其他 video customization 的方法。缺失 multi-view 或 relighting 數(shù)據(jù)，都會(huì)導(dǎo)致身份一致性與真實(shí)感明顯下降。用戶研究結(jié)果同樣明確偏好具備 multi-view 身份穩(wěn)定性的生成結(jié)果。

總結(jié)：重新定義視頻生成中的「身份」

Virtually Being 并不僅僅提出了一個(gè)新框架，而是明確提出并驗(yàn)證了一個(gè)長期被忽視的觀點(diǎn)：在視頻生成中，身份不是一張圖像，而是一個(gè)人在多視角與多光照條件下保持穩(wěn)定的 4D 表現(xiàn)。通過系統(tǒng)性地引入 multi-view 表演數(shù)據(jù)與真實(shí)光照變化，我們?yōu)?customizing video generation model 提供了一條更貼近電影制作實(shí)際需求的解決路徑。