《現(xiàn)代電影技術(shù)》｜陶學(xué)愷等：技術(shù)降本與創(chuàng)作增效：AI驅(qū)動(dòng)下的虛擬攝制技術(shù)研究

本文刊發(fā)于《現(xiàn)代電影技術(shù)》2025年第5期

作者簡(jiǎn)介

陶學(xué)愷：浙江傳媒學(xué)院電視與視聽藝術(shù)學(xué)院講師、碩士生導(dǎo)師，主要研究方向：影視技術(shù)、影視制作、影視色彩；

王嘉樂：浙江傳媒學(xué)院電視與視聽藝術(shù)學(xué)院碩士研究生在讀，主要研究方向：虛擬攝制。

摘要

為解決虛擬攝制技術(shù)存在的高額投入制約產(chǎn)業(yè)規(guī)模化應(yīng)用的問題，本文結(jié)合短片《夢(mèng)境迷航》的創(chuàng)作實(shí)踐，對(duì)基于人工智能（AI）技術(shù)的虛擬攝制降本增效路徑進(jìn)行了系統(tǒng)探討，并提出投影介質(zhì)光學(xué)特性與攝影機(jī)參數(shù)的量化控制模型，實(shí)現(xiàn)了《夢(mèng)境迷航》中AI輔助投影顯示系統(tǒng)精準(zhǔn)校準(zhǔn)及攝影機(jī)曝光參數(shù)的精確控制。研究表明，AI技術(shù)在縮短影視生產(chǎn)周期、提升影像品質(zhì)、影視數(shù)字資產(chǎn)的快速生成等方面展現(xiàn)出顯著優(yōu)勢(shì)，能有效實(shí)現(xiàn)虛擬攝制的降本增效；所提出的量化控制模型可為虛擬影像生產(chǎn)中的精確曝光控制提供可行方案。

關(guān)鍵詞

人工智能（AI）技術(shù)；虛擬攝制流程；影像生產(chǎn)效能

1引言

虛擬攝制作為電影工業(yè)的一項(xiàng)革命性進(jìn)展，其核心在于深度整合Unreal Engine等實(shí)時(shí)渲染引擎、高精度攝影機(jī)追蹤技術(shù)以及LED背景墻，從而構(gòu)建出一個(gè)能讓創(chuàng)作者在拍攝現(xiàn)場(chǎng)即時(shí)觀察到最終或接近最終畫面效果的視覺環(huán)境。這種技術(shù)范式實(shí)現(xiàn)了從動(dòng)態(tài)預(yù)演（PreViz）到拍攝環(huán)節(jié)的實(shí)時(shí)視覺反饋與交互，使導(dǎo)演、攝影師等主創(chuàng)能直接基于演員表演與虛擬場(chǎng)景融合后的實(shí)時(shí)畫面進(jìn)行構(gòu)圖、光線及表演調(diào)度等藝術(shù)決策，顯著提升了創(chuàng)作自由度與制作效率，并將大量傳統(tǒng)上屬于后期特效合成的工作前置到實(shí)拍階段[1]，即 In?Camera VFX。以影視劇集《曼達(dá)洛人》[2]等項(xiàng)目為代表的成功實(shí)踐，已充分證明虛擬攝制在處理復(fù)雜視覺效果、優(yōu)化制作流程上的巨大價(jià)值。然而，當(dāng)前主流的、基于高規(guī)格LED的虛擬攝制方案，動(dòng)輒數(shù)百萬(wàn)乃至數(shù)千萬(wàn)美元的建設(shè)投入，且需持續(xù)的專業(yè)團(tuán)隊(duì)運(yùn)維成本投入，造成了顯著的行業(yè)壁壘，極大地限制了這項(xiàng)變革性技術(shù)向更廣泛的影視項(xiàng)目，尤其是中低成本制作領(lǐng)域的滲透與普及。

近年來(lái)，隨著人工智能（AI）技術(shù)的迅猛發(fā)展，面對(duì)虛擬攝制高成本的現(xiàn)實(shí)挑戰(zhàn)，AI技術(shù)無(wú)疑為探索更具經(jīng)濟(jì)效益和靈活性的虛擬攝制路徑提供了新的契機(jī)。AI技術(shù)在圖像、視頻乃至三維模型生成方面的快速發(fā)展，展現(xiàn)了其自動(dòng)化、高效率產(chǎn)出多樣化數(shù)字內(nèi)容的強(qiáng)大能力，恰好能與虛擬攝制降本增效的需求形成互補(bǔ)。本文的主要內(nèi)容旨在梳理AI技術(shù)的加持下，通過對(duì)低成本投影方案的虛擬攝制項(xiàng)目《夢(mèng)境迷航》的實(shí)踐案例進(jìn)行系統(tǒng)性研究，總結(jié)提煉AI技術(shù)在低成本實(shí)際應(yīng)用中實(shí)現(xiàn)降本增效、提質(zhì)升級(jí)的具體機(jī)制與可行路徑。

2AI驅(qū)動(dòng)下的虛擬攝制效能優(yōu)化研究

AI技術(shù)正通過其獨(dú)特的自動(dòng)化生成、模式識(shí)別和快速迭代能力，對(duì)虛擬攝制流程中資源使用密集、時(shí)間消耗大的環(huán)節(jié)進(jìn)行重塑，從而在生產(chǎn)周期、影像品質(zhì)、數(shù)字資產(chǎn)規(guī)模化及場(chǎng)景構(gòu)建成本等關(guān)鍵效能指標(biāo)上帶來(lái)系統(tǒng)性優(yōu)化。

2.1 AI助力前期概念設(shè)計(jì)與預(yù)覽

在傳統(tǒng)虛擬攝制流程下，前期籌備階段動(dòng)輒數(shù)月。AI對(duì)此階段重塑效能體現(xiàn)得淋漓盡致，通過賦能概念設(shè)計(jì)與動(dòng)態(tài)預(yù)演這兩個(gè)關(guān)鍵環(huán)節(jié)，可顯著壓縮傳統(tǒng)電影制作中較為漫長(zhǎng)的生產(chǎn)周期。

傳統(tǒng)流程下，美術(shù)概念圖與場(chǎng)景氣氛?qǐng)D的制作遵循嚴(yán)密的線性協(xié)作流程，創(chuàng)作者們前期需經(jīng)歷高密度的劇本細(xì)讀、設(shè)定研討等創(chuàng)意溝通，概念藝術(shù)家在此基礎(chǔ)上需經(jīng)歷數(shù)輪畫面調(diào)整，從而錨定電影視覺基調(diào)，形成便于其他部門理解的視覺藍(lán)本，同時(shí)直接影響場(chǎng)景建構(gòu)、現(xiàn)場(chǎng)拍攝與后期制作等的技術(shù)實(shí)現(xiàn)與美學(xué)呈現(xiàn)。AI技術(shù)的介入重構(gòu)了傳統(tǒng)創(chuàng)作模式，人機(jī)協(xié)同的工作方式優(yōu)化了傳統(tǒng)的創(chuàng)意實(shí)現(xiàn)流程，生產(chǎn)效率飛速躍升，創(chuàng)意表達(dá)得到極大拓展。在Midjourney、Stable Diffusion等AI工具的參與下，創(chuàng)作者輸入文本描述，即可在幾分鐘內(nèi)獲得數(shù)十種視覺方案[3]。這種效率的量級(jí)提升，使視覺風(fēng)格探索和關(guān)鍵鏡頭設(shè)計(jì)的周期從周縮短至天甚至小時(shí)，極大加速了創(chuàng)意決策過程[3]。線性工作流正逐漸消解，創(chuàng)意生成與視覺呈現(xiàn)已幾乎實(shí)現(xiàn)同步推進(jìn)，藝術(shù)家可借助AI工具對(duì)畫面進(jìn)行替換場(chǎng)景元素、改變環(huán)境氛圍等的局部動(dòng)態(tài)調(diào)整，加速創(chuàng)意迭代。AI的參與將藝術(shù)家從體力勞動(dòng)中釋放出來(lái)，延伸了創(chuàng)意邊界。

動(dòng)態(tài)故事板是實(shí)現(xiàn)影片動(dòng)態(tài)預(yù)演的核心環(huán)節(jié)，也是分鏡頭腳本發(fā)展的下一階段，導(dǎo)演和分鏡師根據(jù)文字劇本繪制出可視的故事板，對(duì)于特效鏡頭多、拍攝難度大的項(xiàng)目，為驗(yàn)證其可行性、及時(shí)調(diào)整畫面內(nèi)容等，需對(duì)靜態(tài)的故事板進(jìn)行復(fù)雜建模與動(dòng)畫制作，生成動(dòng)態(tài)預(yù)演。傳統(tǒng)的動(dòng)態(tài)預(yù)演與三維動(dòng)畫的制作幾乎無(wú)差，制作成本高，制作效率難以保證。Runway或Pika Labs等AI視頻生成工具能夠根據(jù)文本或圖像快速生成動(dòng)態(tài)片段，2024年9月，貓眼娛樂發(fā)布了首個(gè)針對(duì)長(zhǎng)劇本的AI動(dòng)態(tài)故事板生成工具——神筆馬良。AI技術(shù)的參與使制作動(dòng)態(tài)故事板或動(dòng)態(tài)預(yù)演視頻的效率遠(yuǎn)高于使用傳統(tǒng)3D動(dòng)畫技術(shù)，為鏡頭設(shè)計(jì)提供了更即時(shí)的動(dòng)態(tài)參考。更有異于傳統(tǒng)動(dòng)態(tài)預(yù)演的是，AI智能生成聲音極大地豐富了影片動(dòng)態(tài)預(yù)演的效果，打破了傳統(tǒng)動(dòng)態(tài)預(yù)演的失語(yǔ)狀態(tài)。

2.2 AI助力數(shù)字資產(chǎn)快速生成

在好萊塢影片的制作體系中，后期制作周期平均占據(jù)項(xiàng)目總周期的34%，奇幻片后期耗時(shí)遠(yuǎn)遠(yuǎn)超過其他類型片，大概在一年左右[4]。以電影《復(fù)仇者聯(lián)盟4：終局之戰(zhàn)》為例，電影中共有2698個(gè)鏡頭，其中2496個(gè)鏡頭涉及視覺特效[5]。從廣義角度而言，一切與電影表意、電影制作相關(guān)的語(yǔ)言元素和有形資產(chǎn)都可以被數(shù)字化，包括攝影機(jī)、演員角色、空間場(chǎng)景、人物造型以及與視聽相關(guān)的一切圖形、符號(hào)、音樂、音效等[6]。虛擬攝制技術(shù)雖有后期前置優(yōu)勢(shì)，但高質(zhì)量數(shù)字資產(chǎn)的前期準(zhǔn)備工作依然是高度勞動(dòng)密集和時(shí)間密集型過程[1]。AI技術(shù)的介入，尤其是在資產(chǎn)制作環(huán)節(jié)，能夠顯著壓縮時(shí)間成本。

傳統(tǒng)三維資產(chǎn)創(chuàng)建流程復(fù)雜，需經(jīng)過概念設(shè)計(jì)、建模、UV展開、材質(zhì)繪制、骨骼綁定等環(huán)節(jié)，耗時(shí)數(shù)周甚至數(shù)月，且高度依賴資深特效師的手工操作，而AI技術(shù)通過多模態(tài)學(xué)習(xí)框架重構(gòu)了生產(chǎn)范式。例如，環(huán)球墨非（北京）科技有限公司自主研發(fā)了Mofy Lab技術(shù)平臺(tái)，通過三維重建技術(shù)和AI交互技術(shù)，將真實(shí)世界中的人、物、場(chǎng)轉(zhuǎn)換為虛擬世界通用的數(shù)字資產(chǎn)，分辨率達(dá)到4K級(jí)別[7]。

（1）紋理材質(zhì)的快速生成。Adobe Substance 3D Sampler等工具利用AI，可從一張照片快速生成完整的基于物理的渲染（Physically Based Rendering, PBR）材質(zhì)，將原本需要數(shù)小時(shí)甚至數(shù)天的紋理繪制工作縮短到分鐘級(jí)。其文本到紋理（Text?to?Texture）功能允許藝術(shù)家通過自然語(yǔ)言描述（如“帶有復(fù)雜旋轉(zhuǎn)雕刻的拋光金屬”）即時(shí)生成PBR材質(zhì)，系統(tǒng)可自動(dòng)輸出四種參數(shù)化材質(zhì)變體供選擇。這種基于深度學(xué)習(xí)（DL）的生成方式，不僅將傳統(tǒng)制作中需要數(shù)小時(shí)的手動(dòng)紋理繪制工作壓縮至分鐘級(jí)，更突破了物理原型、庫(kù)存圖像等傳統(tǒng)創(chuàng)作手段的限制。

（2）背景深度通道的高效產(chǎn)出。利用AI生成高分辨率背景圖像或帶有深度信息的圖層，其效率遠(yuǎn)超傳統(tǒng)手工數(shù)字繪景（Matte Painting）或簡(jiǎn)單3D建模[8]。一個(gè)復(fù)雜的2D背景圖生成可能僅需幾分鐘計(jì)算時(shí)間。通過Stable Diffusion等工具將線稿生成3D圖像，再使用Marigold模型[9]提取深度信息。需配合ControlNet約束重繪細(xì)節(jié)，并通過ZBrush調(diào)整模型高度與拋光參數(shù)，即可快速實(shí)現(xiàn)高精度深度圖像通道。

（3）基礎(chǔ)3D模型與掃描輔助。雖然當(dāng)前通過文生3D（Text?to?3D）直接生成3D模型的精度仍受限于拓?fù)浣Y(jié)構(gòu)合理性，但其在快速原型構(gòu)建領(lǐng)域已顯現(xiàn)實(shí)用價(jià)值。結(jié)合神經(jīng)輻射場(chǎng)（NeRF）與3D高斯?jié)姙R（3DGS）等前沿技術(shù)，三維場(chǎng)景的重建和渲染僅需使用一個(gè)視頻或一組多視角照片[10]。以《黑神話：悟空》為代表的次世代游戲作品，正是通過這類技術(shù)實(shí)現(xiàn)了古建筑場(chǎng)景的高效數(shù)字化，其掃描建模效率較傳統(tǒng)流程提升顯著。值得關(guān)注的是，3DGS技術(shù)憑借數(shù)百倍于傳統(tǒng)方法的渲染速度，正在推動(dòng)實(shí)時(shí)高精度三維重建的工業(yè)化應(yīng)用。

2.3 AI 技術(shù)增強(qiáng)影像細(xì)節(jié)表現(xiàn)

在影像質(zhì)量方面，AI技術(shù)憑借其在微觀細(xì)節(jié)與質(zhì)感表現(xiàn)上的獨(dú)特優(yōu)勢(shì)正逐步提升影像品質(zhì)標(biāo)準(zhǔn)，其在高精度超分辨率影像修復(fù)、質(zhì)感還原與程序化細(xì)節(jié)生成等層面的突破，為在有限預(yù)算下實(shí)現(xiàn)影像的高品質(zhì)表現(xiàn)開辟了可行路徑。基于深度學(xué)習(xí)的超分辨率算法可對(duì)低分辨率素材進(jìn)行紋理重建與損傷修復(fù)，AI超分辨率工具Topaz Video AI[10]在提升低分辨率素材或數(shù)字資產(chǎn)中紋理的清晰度方面展現(xiàn)出卓越效能。針對(duì)素材的降噪，AI算法依托先進(jìn)的圖像識(shí)別技術(shù)，對(duì)畫面中的各類元素加以甄別，在消除數(shù)字傳感器噪點(diǎn)的同時(shí)，保留皮膚紋理、物品質(zhì)感與自然環(huán)境細(xì)節(jié)，有效平衡畫質(zhì)純凈度與真實(shí)感。程序化生成技術(shù)結(jié)合物理仿真模型，可批量創(chuàng)建符合場(chǎng)景邏輯的微觀元素。結(jié)合AI的理解能力，可指導(dǎo)程序化工具生成更自然、更符合場(chǎng)景邏輯的微觀細(xì)節(jié)。對(duì)于大規(guī)模群體場(chǎng)景，算法通過生物運(yùn)動(dòng)學(xué)分析，為每個(gè)數(shù)字角色賦予差異化行為特征，顯著提升背景人群的真實(shí)性。AI技術(shù)賦能的精細(xì)化制作模式，使中小預(yù)算項(xiàng)目有機(jī)會(huì)實(shí)現(xiàn)高品質(zhì)的影像呈現(xiàn)，為行業(yè)創(chuàng)作生態(tài)注入新的可能性。

3AI驅(qū)動(dòng)下的低成本實(shí)踐探索

為將理論探討付諸實(shí)踐，驗(yàn)證AI技術(shù)在低成本虛擬攝制流程中的實(shí)際效能與面臨的挑戰(zhàn)，筆者團(tuán)隊(duì)策劃并執(zhí)行了實(shí)驗(yàn)性短片項(xiàng)目《夢(mèng)境迷航》。該項(xiàng)目以AI為核心技術(shù)驅(qū)動(dòng)，選擇了成本相對(duì)更可控的投影方案進(jìn)行虛擬攝制，旨在探索一條適用于中小型制作團(tuán)隊(duì)的智能化虛擬攝制新路徑。

《夢(mèng)境迷航》是一部5分鐘的科幻短片，從創(chuàng)意到成片在48小時(shí)內(nèi)完成，獲得了首屆中國(guó)創(chuàng)新影像大賽三等獎(jiǎng)等多個(gè)獎(jiǎng)項(xiàng)。其核心創(chuàng)意圍繞主角駕駛飛船在沙漠中找到返航的線路，視覺上要求快速切換并呈現(xiàn)出超現(xiàn)實(shí)、日夜、晴雨變化。考慮到項(xiàng)目的實(shí)驗(yàn)性質(zhì)和嚴(yán)格的預(yù)算控制要求，我們放棄了高成本的LED背景墻方案，轉(zhuǎn)而考慮低成本的投影或綠幕方案。但綠幕方案需盡可能區(qū)分演員與幕布顏色，這導(dǎo)致演員的妝造面臨部分局限。現(xiàn)場(chǎng)拍攝時(shí)綠幕的顏色也會(huì)在燈光下溢出到演員周圍的物件上，對(duì)后期摳像造成影響[11]。最終團(tuán)隊(duì)采用民用級(jí)激光投影儀方式構(gòu)建虛擬攝制環(huán)境。演員在投影幕布前方限定區(qū)域內(nèi)表演，攝影機(jī)配合HTC VIVE Mars實(shí)時(shí)追蹤系統(tǒng)進(jìn)行拍攝，力求在現(xiàn)場(chǎng)獲得盡可能完成度高的虛實(shí)結(jié)合畫面（圖1）。

圖1　《夢(mèng)境迷航》短片虛擬攝制技術(shù)流程

3.1 短片拍攝的技術(shù)流程

在劇本創(chuàng)意階段，使用GPT?4來(lái)進(jìn)行創(chuàng)意快速生成，再結(jié)合創(chuàng)意團(tuán)隊(duì)的偏好進(jìn)行篩選。把軟件Previs Pro[12]中生成的故事板靜幀圖像導(dǎo)入Runway[13]中，再配合提示詞（Prompt）以生成多個(gè)關(guān)鍵鏡頭的預(yù)演視頻。預(yù)演視頻可用于快速驗(yàn)證鏡頭設(shè)計(jì)、轉(zhuǎn)場(chǎng)方式和整體節(jié)奏。這一階段極大壓縮了傳統(tǒng)手繪故事板和3D動(dòng)態(tài)預(yù)演動(dòng)畫的制作時(shí)間。除此之外，利用GPT?4對(duì)已經(jīng)確定好的分鏡頭腳本進(jìn)行拍攝排序表的構(gòu)建，通過輸入“以美術(shù)道具優(yōu)先，后大景別優(yōu)先，再燈光優(yōu)先”為拍攝順序優(yōu)先級(jí)，可即時(shí)在原分鏡頭腳本基礎(chǔ)上重新排序，生成拍攝順場(chǎng)表，優(yōu)化了拍攝鏡頭安排，提升了拍攝效率。

在數(shù)字資產(chǎn)準(zhǔn)備階段，短片的沙漠場(chǎng)景中，遠(yuǎn)處背景中的山峰、沙丘等數(shù)字資產(chǎn)借助Blockade Labs推出的Skybox AI[14]工具生成。通過提示詞生成3D全景圖像，導(dǎo)入U(xiǎn)nreal Engine引擎中完成沙漠場(chǎng)景的資產(chǎn)生成。在生成的模型上，還存在材質(zhì)粗糙等問題，我們首先將粗糙的材質(zhì)盡量放置在遠(yuǎn)離虛擬攝影機(jī)的位置，再將少量更精細(xì)的模型置于靠近虛擬攝影機(jī)的位置，以解決AI生成模型粗糙的問題。而針對(duì)AI生成模型難以二次修改的問題，我們將多次生成類似風(fēng)格的AI模型分割并拼湊在一起，使整個(gè)AI模型符合短片需要。除此之外，數(shù)字人角色“小風(fēng)”的聲音資產(chǎn)生成借助字節(jié)跳動(dòng)推出的豆包大模型，配合預(yù)設(shè)好的臺(tái)詞、音色、性格設(shè)定生成的數(shù)字人角色，與主角進(jìn)行對(duì)話的方式提供對(duì)白的聲音資產(chǎn)。

在投影系統(tǒng)校準(zhǔn)階段，實(shí)驗(yàn)性地嘗試拍攝包含標(biāo)準(zhǔn)色卡的投影畫面，導(dǎo)入開源程序RoughProfiler[15]中，對(duì)比分析出色彩偏差與專業(yè)設(shè)備讀數(shù)的一致性，探索AI輔助校準(zhǔn)的可能性。初步發(fā)現(xiàn)AI分析能大致判斷色偏方向，但精度欠佳，略遜于人工通過DaVinci Resolve生成校準(zhǔn)查找表（LUT）。因此，實(shí)踐中主要采用傳統(tǒng)方法，將實(shí)拍畫面送入后期軟件DaVinci Resolve對(duì)投影儀進(jìn)行色彩和曝光校準(zhǔn)，生成校準(zhǔn)LUT。

在現(xiàn)場(chǎng)實(shí)時(shí)合成與拍攝階段，將背景素材導(dǎo)入U(xiǎn)nreal Engine，利用Aximmetry[16]等工具與投影儀和攝影機(jī)追蹤系統(tǒng)連接。演員在幕前表演，導(dǎo)演通過監(jiān)視器實(shí)時(shí)觀看初步合成畫面。現(xiàn)場(chǎng)未使用復(fù)雜的AI實(shí)時(shí)交互功能，主要依賴傳統(tǒng)方式進(jìn)行燈光調(diào)整和演員調(diào)度。

3.2 基于AI的投影系統(tǒng)精準(zhǔn)校準(zhǔn)方法

利用投影進(jìn)行虛擬攝制的成敗很大程度上取決于投影畫面能否被攝影機(jī)忠實(shí)且一致地記錄下來(lái)，這要求創(chuàng)作者對(duì)從信號(hào)源到投影畫面的顯示鏈路進(jìn)行精確的色彩和亮度校準(zhǔn)。傳統(tǒng)校準(zhǔn)流程依賴專業(yè)硬件如色度計(jì)、分光光度計(jì)等，不僅成本高且操作相對(duì)復(fù)雜，對(duì)于資源有限的團(tuán)隊(duì)構(gòu)成挑戰(zhàn)。我們嘗試探索利用AI圖像分析能力，來(lái)輔助甚至簡(jiǎn)化這一過程。

圖2　《夢(mèng)境迷航》短片AI輔助投影系統(tǒng)校準(zhǔn)流程圖

《夢(mèng)境迷航》短片AI輔助校準(zhǔn)流程（圖2）：

（1）基準(zhǔn)圖像生成與投影。使用標(biāo)準(zhǔn)色彩管理軟件生成包含一系列精確定義色塊和灰階的校準(zhǔn)圖案，例如模擬 GretagMacbeth ColorChecker SG 或自定義色塊陣列，將此圖案通過投影儀無(wú)失真地投射到投影幕布上。

（2）標(biāo)準(zhǔn)條件拍攝。在嚴(yán)格控制的環(huán)境光條件下（理想為全黑環(huán)境），使用目標(biāo)攝影機(jī)和鏡頭，以其原生色彩空間如 S?Log3/S?Gamut3.Cine和標(biāo)準(zhǔn)白平衡設(shè)置，精準(zhǔn)對(duì)焦并拍攝投影在幕布上的校準(zhǔn)圖案。確保畫面無(wú)過曝或欠曝，色塊清晰可辨。

（3）AI圖像分析。利用基于深度學(xué)習(xí)開源項(xiàng)目 RoughProfiler[15]編寫的腳本，對(duì)拍攝到的校準(zhǔn)圖案進(jìn)行色塊識(shí)別和色彩提取（圖3）。利用圖像識(shí)別算法如基于模板匹配或特征點(diǎn)檢測(cè)，自動(dòng)識(shí)別并精準(zhǔn)定位圖像中每個(gè)色塊或灰階塊的區(qū)域。在每一定位到的區(qū)域內(nèi)，計(jì)算平均RGB或Lab色彩值和亮度值。對(duì)比提取到的實(shí)際拍攝值與校準(zhǔn)圖案的理論標(biāo)準(zhǔn)值，計(jì)算出每一色塊在色度、飽和度、亮度上的偏差值ΔE。

圖3　RoughProfiler的色塊智能識(shí)別

（4）校準(zhǔn)參數(shù)/LUT生成。根據(jù)計(jì)算出的偏差數(shù)據(jù)，AI模型可通過以下方式生成校準(zhǔn)方案：如果投影儀提供精細(xì)的色彩調(diào)整選項(xiàng)如RGB增益/偏移、多點(diǎn)灰階調(diào)整，AI模型可反向推算出最優(yōu)的參數(shù)設(shè)置建議。更理想的方式是，AI模型直接根據(jù)偏差數(shù)據(jù)，利用色彩空間變換算法生成3D LUT文件。其可直接應(yīng)用于播放信號(hào)源或投影儀本身，對(duì)色彩和亮度進(jìn)行精確補(bǔ)償。

（5）驗(yàn)證與迭代。應(yīng)用生成的校準(zhǔn)參數(shù)或LUT，重復(fù)步驟（2）（3）進(jìn)行拍攝和分析，驗(yàn)證校準(zhǔn)效果。如果偏差仍超出可接受范圍（如

ΔE

在本項(xiàng)目中，我們主要實(shí)踐了上述流程的（1）—（3），即使用標(biāo)準(zhǔn)色卡拍攝，使用RoughProfiler完成色彩提取的腳本編寫。最終效果見圖4，從左至右分別為校正前圖像、校正后圖像與標(biāo)準(zhǔn)參考色卡。實(shí)踐結(jié)果表明，AI自動(dòng)識(shí)別和提取色彩是可行的，能夠量化出與肉眼觀察一致的色偏方向。但要達(dá)到生成高精度校準(zhǔn)LUT所需的分析精度和穩(wěn)定性，還需更復(fù)雜的模型訓(xùn)練和對(duì)光照、鏡頭畸變等因素的補(bǔ)償算法。盡管目前完全依賴AI進(jìn)行電影級(jí)/廣播級(jí)投影校準(zhǔn)尚不現(xiàn)實(shí)，但AI在簡(jiǎn)化校準(zhǔn)流程如自動(dòng)識(shí)別分析、提供初步診斷、輔助參數(shù)調(diào)整等方面已展現(xiàn)出潛力。未來(lái)隨著AI圖像分析和色彩科學(xué)模型的進(jìn)一步發(fā)展，開發(fā)出低成本、易于使用的AI輔助校準(zhǔn)工具是完全可能的，這將極大降低利用投影進(jìn)行虛擬攝制的技術(shù)門檻。

圖4　校正前后圖像與參考色卡對(duì)比

3.3 投影介質(zhì)光學(xué)特性與攝影機(jī)參數(shù)的量化控制模型構(gòu)建

在利用投影進(jìn)行虛擬攝制的實(shí)際拍攝中，如圖5所示，需精確控制攝影機(jī)曝光以實(shí)現(xiàn)前景主體與投影背景間和諧的亮度關(guān)系，以確保畫面融合自然、避免背景過曝或發(fā)灰。這需要對(duì)光線從投影儀出發(fā)，經(jīng)幕布反射或透射，混合環(huán)境光，最后進(jìn)入攝影機(jī)內(nèi)光線的強(qiáng)弱進(jìn)行量化。然而，精確測(cè)量所有復(fù)雜的光學(xué)參數(shù)如角度相關(guān)的雙向反射/透射分布函數(shù) （BRDF/BTDF），并建立普適的物理模型極其困難，且不適用于快節(jié)奏的拍攝現(xiàn)場(chǎng)。

圖5 　《夢(mèng)境迷航》短片虛擬攝制現(xiàn)場(chǎng)（上）與最終成像效果（下）

因此，在《夢(mèng)境迷航》項(xiàng)目中，我們采取了一種經(jīng)驗(yàn)數(shù)據(jù)驅(qū)動(dòng)的簡(jiǎn)化模型構(gòu)建方法，旨在為特定拍攝設(shè)置（固定的投影儀、幕布、攝影機(jī)、基礎(chǔ)前景布光方案）建立一個(gè)實(shí)用、快速的曝光控制參考。其核心思想是利用攝影測(cè)量中常用的 T 值光圈讀數(shù)，即曝光檔位語(yǔ)言[17]，作為統(tǒng)一的亮度衡量與控制單位，建立投影背景亮度與所需前景布光強(qiáng)度之間的相對(duì)關(guān)系。模型構(gòu)建與應(yīng)用流程如下：

（1）對(duì)拍攝場(chǎng)景進(jìn)行定光。在預(yù)設(shè)的前景布光環(huán)境下，使用標(biāo)準(zhǔn)18%灰卡來(lái)輔助確定曝光時(shí)的攝影機(jī)核心參數(shù)組合[17]，其鏡頭 T 值光圈讀數(shù)，即攝影機(jī)針對(duì)前景主體的基準(zhǔn)曝光亮度值，記為

T_ fg

（2）測(cè)量投影機(jī)的投射畫面亮度。保持前景布光條件和攝影機(jī)位置不變，使用投影儀向幕布中心區(qū)域投射一個(gè)標(biāo)準(zhǔn)18%灰的畫面。使用設(shè)置好曝光基準(zhǔn)參數(shù)的測(cè)光表，精確測(cè)量此18%灰投影畫面在幕布上的反射亮度。將測(cè)光表T 值光圈讀數(shù)，即預(yù)期測(cè)得的投影背景平均亮度值，記為

T_ proj

底子光（Base Light）是保證前景畫面最暗信息可以被記錄的標(biāo)準(zhǔn)光照環(huán)境，而建立經(jīng)驗(yàn)?zāi)Ｐ偷哪繕?biāo)是找到前景底子光相對(duì)于投影背景亮度的應(yīng)有檔數(shù)差，以獲得視覺上平衡的畫面。保持?jǐn)z影機(jī)曝光基準(zhǔn)不變，依次更改投影儀到投影幕布的距離，以改變投影反射亮度，對(duì)每種投影亮度，測(cè)量其對(duì)應(yīng)的

T_ proj

T_ proj

T_Base

T_ proj

T_Base

基于以上流程，我們發(fā)現(xiàn)在《夢(mèng)境迷航》實(shí)踐的特定設(shè)置下，采用亮度為2200ANSI流明的激光投影儀（投射比 1.5∶1），與投影幕布呈45°夾角的側(cè)投角度進(jìn)行測(cè)試。為獲得自然的融合效果，前景底子光、投影背景平均亮度、前景曝光基準(zhǔn)這三個(gè)測(cè)光表讀數(shù)

T?stop

為確保前景主體與背景融合的視覺效果，需要對(duì)前景光和背景亮度進(jìn)行恰當(dāng)匹配，再使用調(diào)色軟件以消除投影儀背景顯示質(zhì)量問題。基于此，我們提煉出一個(gè)簡(jiǎn)化的經(jīng)驗(yàn)?zāi)Ｐ停涸诨谶x定的ISO和快門速度/角度，設(shè)定好攝影機(jī)針對(duì)前景主體的基準(zhǔn)曝光

T_ fg

T_ proj

T_ proj≈T_fg×2

1

=2×T_ fg

即，

T_ proj

T_ fg

T_Base

T_ fg×2

1

≤T_Base≤T_ fg×2

1.5

或者近似為：

2×T_ fg≤T_Base≤2.83×T_ fg

即，需要設(shè)置的

T_Base

式（1）—（3）為基于實(shí)踐經(jīng)驗(yàn)的曝光模型，旨在提供一個(gè)基礎(chǔ)參考值。在實(shí)際拍攝中，最佳的亮度關(guān)系設(shè)置還需考慮投影設(shè)備的具體亮度、投影幕布材質(zhì)的反光特性、前景主體的色彩與反光率、攝影機(jī)的動(dòng)態(tài)范圍以及最終的藝術(shù)效果追求等多種因素，并進(jìn)行相應(yīng)微調(diào)。

該曝光模型研究方法提供了一種將復(fù)雜的曝光關(guān)系簡(jiǎn)化為可操作參考的有效方法。其將燈光師、攝影師的工作統(tǒng)一在同一曝光標(biāo)準(zhǔn)下，使前景與背景的亮度匹配更加直觀和可控，為其他采用投影方案的虛擬攝制案例提供曝光控制思路參考。但本次測(cè)試數(shù)值僅適用于本案例的光照環(huán)境及攝制設(shè)備，且實(shí)際效果會(huì)受到投影儀性能、投影幕布材質(zhì)、環(huán)境光控制、畫面內(nèi)容、鏡頭特性以及導(dǎo)演具體藝術(shù)要求等多種因素影響。

4AI驅(qū)動(dòng)下的虛擬攝制技術(shù)局限性分析

《夢(mèng)境迷航》短片項(xiàng)目的實(shí)踐，不僅驗(yàn)證了AI驅(qū)動(dòng)下虛擬攝制的可行性，也讓我們清晰地認(rèn)識(shí)到當(dāng)前階段該技術(shù)路徑所面臨的顯著局限性。

當(dāng)前AI技術(shù)在電影制作應(yīng)用中仍面臨關(guān)鍵的可控性與品質(zhì)瓶頸。盡管可通過提示工程（Prompt Engineering）、ControlNet及LoRA微調(diào)等手段提升可控性，然而生成內(nèi)容的細(xì)節(jié)精準(zhǔn)性仍顯不足，尤其是在處理復(fù)雜紋理和精細(xì)結(jié)構(gòu)時(shí)。此外對(duì)于動(dòng)態(tài)序列，其時(shí)空一致性也難以保證，容易出現(xiàn)閃爍和變形，這表明實(shí)現(xiàn)像素級(jí)的精準(zhǔn)控制仍然困難。同時(shí)，現(xiàn)有AI生成的圖像與視頻在分辨率、色彩深度、動(dòng)態(tài)范圍及偽影控制等方面，與電影工業(yè)嚴(yán)格的ACES色彩工作流及高碼率標(biāo)準(zhǔn)相比存在明顯差距[6]，直接應(yīng)用于大銀幕可能暴露瑕疵。此外，直接生成的3D模型資產(chǎn)常因拓?fù)浠靵y、UV缺失、材質(zhì)粗糙等問題難以融入標(biāo)準(zhǔn)綁定、動(dòng)畫與渲染流程，而NeRF、3DGS等新興重建技術(shù)雖效果顯著，卻受限于高昂的實(shí)時(shí)渲染成本、后期編輯難度及苛刻的數(shù)據(jù)采集要求。

雖然在使用投影方案作為L(zhǎng)ED屏幕的“平替”時(shí)，由于投影的成像特性，使其完全避免了傳統(tǒng)LED虛擬攝制帶來(lái)的摩爾紋問題，但投影方案的虛擬攝制方法依舊有較多的技術(shù)缺陷與實(shí)踐困難。首先，投影設(shè)備的固有亮度相較于LED屏幕存在顯著差距，在環(huán)境光較強(qiáng)的場(chǎng)景下會(huì)導(dǎo)致畫面對(duì)比度降低，暗部層次信息易丟失，因此對(duì)現(xiàn)場(chǎng)光線控制以及前景照明與背景投影亮度的精確協(xié)調(diào)提出了嚴(yán)苛要求。其次，投影技術(shù)受限于物理空間布局，需足夠的投射距離，且投影幕布材質(zhì)的增益特性往往帶有方向性，限制了觀看角度，進(jìn)而束縛了攝影機(jī)的移動(dòng)自由度和取景選擇，其靈活性不及LED屏幕。最后，投影系統(tǒng)的色彩準(zhǔn)確性管理更為復(fù)雜，其最終色彩表現(xiàn)是投影機(jī)自身光譜、投影幕布反射特性及環(huán)境光色彩相互作用的結(jié)果，實(shí)現(xiàn)精確的色彩校準(zhǔn)并維持穩(wěn)定性，比自發(fā)光的LED屏幕面臨更大困難，故而周密的環(huán)境光控制是確保投影畫面質(zhì)量不可或缺的一環(huán)。

在制作流程上，當(dāng)前將AI技術(shù)融入虛擬攝制流程面臨顯著的整合與標(biāo)準(zhǔn)化障礙。一個(gè)關(guān)鍵挑戰(zhàn)是，如何將現(xiàn)有AI工具與行業(yè)主流平臺(tái)（如Unreal Engine、Unity）以及后期制作軟件（如Nuke、DaVinci Resolve）進(jìn)行成熟且統(tǒng)一的整合，目前尚無(wú)完善的解決方案。數(shù)據(jù)交換常依賴手動(dòng)操作或非官方開發(fā)的插件，阻礙了高效的協(xié)同作業(yè)與自動(dòng)化流程。同時(shí)，AI產(chǎn)生的大量數(shù)字資產(chǎn)往往缺少規(guī)范化元數(shù)據(jù)支持，給資產(chǎn)的有效檢索、系統(tǒng)化管理和版本追蹤帶來(lái)了新的難題。更為關(guān)鍵的是，圍繞AI技術(shù)的法律、倫理與安全問題亟待解決[8]，包括訓(xùn)練數(shù)據(jù)來(lái)源的合規(guī)性、生成內(nèi)容的知識(shí)產(chǎn)權(quán)界定、算法潛在偏見以及深度偽造等技術(shù)的濫用風(fēng)險(xiǎn)，這些都需要在技術(shù)規(guī)模化應(yīng)用前建立明確的規(guī)范與審慎的考量框架。

5 結(jié)語(yǔ)與展望

當(dāng)前，AI技術(shù)深度融入電影虛擬攝制流程中雖展現(xiàn)巨大潛力，但仍面臨若干核心挑戰(zhàn)。技術(shù)層面，AI生成內(nèi)容的可控性與細(xì)節(jié)品質(zhì)尚未完全達(dá)到電影工業(yè)的嚴(yán)苛標(biāo)準(zhǔn)，尤其在動(dòng)態(tài)序列的時(shí)空一致性與高精度三維資產(chǎn)構(gòu)建上存在瓶頸。工作流程層面，AI工具與主流制作軟件間缺乏標(biāo)準(zhǔn)化、高效率的整合方案，導(dǎo)致數(shù)據(jù)流轉(zhuǎn)不暢，同時(shí)，海量AI生成資產(chǎn)的管理與元數(shù)據(jù)規(guī)范亦是難題。此外，版權(quán)歸屬、倫理規(guī)范及數(shù)據(jù)安全等非技術(shù)性問題[18]也亟待建立行業(yè)共識(shí)與標(biāo)準(zhǔn)，這些共同構(gòu)成了當(dāng)前階段AI技術(shù)在虛擬攝制領(lǐng)域規(guī)模化、高質(zhì)量應(yīng)用的主要障礙。

盡管存在上述挑戰(zhàn)，但隨著投影、綠幕等低成本顯示介質(zhì)虛擬攝制解決方案的逐步完善，與AI技術(shù)相結(jié)合的技術(shù)方案正催生前所未有的機(jī)遇。最顯著的是其在降低制作成本、提升生產(chǎn)效率方面的潛力，使虛擬攝制技術(shù)對(duì)資源有限的中小型項(xiàng)目更具可行性，從而拓寬創(chuàng)作邊界。在電影數(shù)字資產(chǎn)標(biāo)準(zhǔn)體系建立方面，我國(guó)也在積極推動(dòng)國(guó)家電影數(shù)字資產(chǎn)平臺(tái)的建設(shè)，建立并完善電影數(shù)字資產(chǎn)的標(biāo)準(zhǔn)體系，使其涵蓋數(shù)據(jù)采集、存儲(chǔ)、處理、交換等全鏈條環(huán)節(jié)的標(biāo)準(zhǔn)制定[19]。數(shù)字資產(chǎn)平臺(tái)的健康發(fā)展和數(shù)字資產(chǎn)可用量的增多，也將為AIGC大模型的訓(xùn)練提供更多訓(xùn)練數(shù)據(jù)，解決訓(xùn)練數(shù)據(jù)集不足的問題[20]。隨著技術(shù)的快速迭代與優(yōu)化，以AI技術(shù)配合低成本顯示介質(zhì)探索的虛擬攝制解決方案，有望成為加速虛擬攝制普及的關(guān)鍵助力。《夢(mèng)境迷航》對(duì)小成本虛擬攝制降本增效路徑進(jìn)行了探索，以AI技術(shù)為助力，結(jié)合低成本投影方案，成功實(shí)現(xiàn)在千元級(jí)制作成本下完成了接近標(biāo)準(zhǔn)LED虛擬攝制的效果。

展望未來(lái)，低成本虛擬攝制解決方案是大勢(shì)所趨，與AI技術(shù)結(jié)合預(yù)示著一個(gè)影像生產(chǎn)范式的到來(lái)。隨著微短劇等新形態(tài)視聽作品的數(shù)量激增，對(duì)制作效率的要求越來(lái)越高，而觀眾對(duì)于該類作品的質(zhì)量要求及審美取向也會(huì)逐漸向電影級(jí)水準(zhǔn)看齊。低成本虛擬攝制解決方案無(wú)疑可在制作質(zhì)量和成本效率上尋求合適的平衡點(diǎn)。在人才培養(yǎng)方面，低成本的虛擬攝制技術(shù)也更加容易被引入影視專業(yè)的教學(xué)及實(shí)踐創(chuàng)作中，進(jìn)一步擴(kuò)大虛擬攝制的人才儲(chǔ)備。這種技術(shù)融合不僅預(yù)示著生產(chǎn)流程的深度重塑，更對(duì)創(chuàng)意表達(dá)與敘事邊界的拓展提出了新的可能性與挑戰(zhàn)。最終，這將促進(jìn)形成一個(gè)更為多元化、動(dòng)態(tài)化且技術(shù)迭代更為迅速的影像創(chuàng)作生態(tài)系統(tǒng)。

※ 本文系中國(guó)電影電視技術(shù)學(xué)會(huì)首屆中國(guó)創(chuàng)新影像大賽三等獎(jiǎng)作品《夢(mèng)境迷航》支持技術(shù)論文。

參考文獻(xiàn)

（向下滑動(dòng)閱讀）

[1] 陳奕.全流程實(shí)時(shí)可視化：電影數(shù)字虛擬制片的創(chuàng)新與突破[J].電影藝術(shù),2022(03):116?124.

[2] HOLBEN J. The Mandalorian: This Is the Way[EB/OL]. [2025?04?23].https://theasc.com/articles/the-mandalorian.

[3] 車暢,謝辛.“趨真”生成：電影美術(shù)概念圖的AI技術(shù)應(yīng)用研究[J].現(xiàn)代電影技術(shù),2024(05):35?41.

[4] 中國(guó)電影網(wǎng).好萊塢影片制作周期揭秘 平均一部用時(shí)871天[EB/OL]. [2025?04?23]. https://www.chinafilm.com/gjhz1/4832.jhtml.

[5] GIARDINA C.‘Avengers: Endgame’ Contains 200 Aging and De?Aging VFX Shots[EB/OL]. [2025?04?23]. https://www.hollywoodreporter.com/movies/movie-news/avengers-endgame-200-aging-de-aging-vfx-shots-1227747/.

[6] 孫承健.電影數(shù)字資產(chǎn)的聯(lián)動(dòng)效應(yīng)及其產(chǎn)業(yè)價(jià)值和意義[J].當(dāng)代電影,2020(06):4?10.

[7] 孫琳,寧金輝,于明,等.虛擬數(shù)字資產(chǎn)標(biāo)準(zhǔn)化進(jìn)展及共享機(jī)制研究[J].影視制作,2024,30(07):46?50.

[8] 陳軍,王徐爾,趙建軍.AIGC在電影虛擬攝制中的應(yīng)用探索與實(shí)踐[J].現(xiàn)代電影技術(shù),2025(01):7?15.

[9] KE B, OBUKHOV A, HUANG S, et al. Repurposing Diffusion?Based Image Generators for Monocular Depth Estimation[EB/OL]. [2025?04?23]. https://arxiv.org/abs/2312.02145.

[10] 姜山,徐乙丹.AI技術(shù)在電影創(chuàng)作生產(chǎn)中的應(yīng)用分析與展望[J].現(xiàn)代電影技術(shù),2024(08):53?58.

[11] 董浚,張酌彬.電影《曼達(dá)洛人》中的LED虛擬攝影技術(shù)應(yīng)用及其發(fā)展[J].影視制作,2023,29(12):35?39.

[12] Previs Pro.Create Production?Ready Shotlists and Storyboards Fast.[EB/OL]. [2025?04?23].https://www.previspro.com.

[13] RUNWAY AI, INC.Introducing Runway Gen?4 [EB/OL].(2025?04?01) [2025?04?23].https://runwayml.com/research/introducing-runway-gen-4.

[14] Blockade Labs.Skybox AI[EB/OL].[2025?04?23]. https://skybox.blockadelabs.com.

[15] PEREIRA J. RoughProfiler[EB/OL]. (2024?09?17)[2025?04?23]. https://github.com/jpereiranet/roughprofiler.

[16] AximmetryCN. Aximmetry SE 產(chǎn)品介紹[EB/OL]. [2025?04?23]. https://www.aximmetrycn.com/aximmetryse.html.

[17] 董越,鞏如梅,雷載興,等.在攝影過程中正確理解和使用感光特性曲線[J].影視技術(shù),2005(02):18?21.

[18] 鄭根成.人工智能技術(shù)在影視創(chuàng)作中的應(yīng)用及其倫理審視[J].北京電影學(xué)院學(xué)報(bào),2024(11):75?81.

[19] 王木旺,解沛,張尚乾.國(guó)家電影數(shù)字資產(chǎn)平臺(tái)構(gòu)建的總體設(shè)想和技術(shù)框架[J].現(xiàn)代電影技術(shù),2024(10):11?15.

[20] 方捷新.人工智能技術(shù)在數(shù)字資產(chǎn)3D建模和場(chǎng)景生成領(lǐng)域的應(yīng)用研究[J].現(xiàn)代電影技術(shù),2025(02):39?44.

【項(xiàng)目信息】教育部產(chǎn)學(xué)合作協(xié)同育人項(xiàng)目“新媒體時(shí)代高校影視技術(shù)教學(xué)模式創(chuàng)新探究”（231007307180313）；浙江省影視媒體技術(shù)研究重點(diǎn)實(shí)驗(yàn)室2024開放課題“高格式影像制作技藝及傳播研究”（2020E10015）。