北大大牛團(tuán)隊(duì)最新頂會(huì)，首次讓AI能夠生成真實(shí)火焰

新智元報(bào)道

編輯：艾倫

【新智元導(dǎo)讀】北京大學(xué)陳寶權(quán)教授團(tuán)隊(duì)提出 FieryGS，被 AI 頂會(huì) ICLR 2026 接收。該框架將多模態(tài)大模型、燃燒物理仿真與 3D 高斯濺射深度融合，首次在真實(shí) 3D 重建場(chǎng)景中實(shí)現(xiàn)了物理可信、語(yǔ)義感知且可控的火焰合成，推動(dòng)數(shù)字孿生從「靜態(tài)重建」邁向「動(dòng)態(tài)物理」。

在通往「空間智能」與「世界模型」的征途上，如何讓計(jì)算機(jī)不僅能以高保真度「重建」靜態(tài)的三維孿生世界，更能深刻「理解」并精準(zhǔn)「預(yù)測(cè)」其中的物理動(dòng)態(tài)，一直是計(jì)算機(jī)圖形學(xué)與人工智能領(lǐng)域的重要研究挑戰(zhàn)。

近日，北京大學(xué)智能學(xué)院陳寶權(quán)教授團(tuán)隊(duì)的最新研究成果 FieryGS: In-the-Wild Fire Synthesis with Physics-Integrated Gaussian Splatting 被人工智能頂會(huì) ICLR 2026 接收。

這項(xiàng)工作并非視覺(jué)層面的簡(jiǎn)單合成，而是另辟蹊徑，構(gòu)建了一套將多模態(tài)大模型（MLLM）的語(yǔ)義理解能力、燃燒動(dòng)力學(xué)物理仿真與 3D 高斯濺射（3DGS）渲染技術(shù)深度耦合的框架，首次在真實(shí)世界的 3D 重建場(chǎng)景中，實(shí)現(xiàn)了物理可信、語(yǔ)義感知且高度可控的燃燒合成。

https://openreview.net/forum?id=ziKFH7whvy

01. 挑戰(zhàn)：當(dāng)「靜態(tài)重建」遇上「動(dòng)態(tài)物理」

隨著 3D Gaussian Splatting（3DGS）技術(shù)的發(fā)展，我們已經(jīng)能夠以驚人的速度和照片級(jí)的保真度將現(xiàn)實(shí)世界數(shù)字化。

然而，現(xiàn)有的 3DGS 重建場(chǎng)景本質(zhì)上是「凍結(jié)」的數(shù)字孿生——它們擁有精細(xì)的幾何與紋理，卻嚴(yán)重缺失像物理世界那樣交互和演化的能力。

當(dāng)我們?cè)噲D在這些場(chǎng)景中模擬「起火」這樣復(fù)雜的物理現(xiàn)象時(shí)，往往面臨著不可調(diào)和的技術(shù)矛盾。

一方面，傳統(tǒng)的圖形學(xué)流程（如基于 CFD 的流體動(dòng)力學(xué)與 VFX 特效軟件）雖然遵循嚴(yán)謹(jǐn)?shù)奈锢矶桑鋺?yīng)用門檻極高。

它們通常要求藝術(shù)家對(duì)場(chǎng)景進(jìn)行繁瑣的手工網(wǎng)格重建、UV 展開(kāi)及材質(zhì)屬性標(biāo)注。

面對(duì)大規(guī)模、非結(jié)構(gòu)化的、不完整的真實(shí)世界掃描數(shù)據(jù)，這種「手動(dòng)工坊」式的工作流顯然難以擴(kuò)展。

另一方面，以 Sora、Runway 為代表的視頻生成模型雖然能憑空創(chuàng)造出視覺(jué)效果炫酷的火焰視頻，但其本質(zhì)仍是基于像素概率的預(yù)測(cè)，而非對(duì)物理過(guò)程的模擬。

這些模型往往缺乏對(duì)三維幾何結(jié)構(gòu)和物理守恒規(guī)律的本質(zhì)理解，極易產(chǎn)生「物理幻覺(jué)」：例如，火焰在不可燃的金屬表面憑空燃燒，或者在生成過(guò)程中扭曲了原本的場(chǎng)景結(jié)構(gòu)。

02. FieryGS：語(yǔ)義感知與物理驅(qū)動(dòng)的新范式

FieryGS 的研究正是為了打破這一僵局。

針對(duì)上述挑戰(zhàn)，F(xiàn)ieryGS 提出了一種「語(yǔ)義感知-物理驅(qū)動(dòng)」的全新思路：與其讓 AI 去「猜測(cè)」像素的運(yùn)動(dòng)，不如讓 AI 去「理解」物理屬性，進(jìn)而利用準(zhǔn)確的物理方程來(lái)驅(qū)動(dòng)生成過(guò)程。

FieryGS 是一套物理集成的 3DGS 框架，其核心在于搭建了一座橋梁，連接了大模型的常識(shí)推理能力與傳統(tǒng)圖形學(xué)的物理仿真能力。

系統(tǒng)首先利用多模態(tài)大模型（MLLM）作為「物理常識(shí)大腦」，對(duì) 3DGS 場(chǎng)景進(jìn)行材質(zhì)物理屬性推斷；

隨后結(jié)合基于歐拉網(wǎng)格的流體力學(xué)求解器，驅(qū)動(dòng)火焰與煙霧的演化；

最后通過(guò)統(tǒng)一的體積渲染器，輸出光影逼真、物理自洽且交互可控的燃燒效果。

其完整技術(shù)管線如下圖所示：

MLLM 驅(qū)動(dòng)的零樣本物理屬性推理

要實(shí)現(xiàn)符合常識(shí)的燃燒，計(jì)算機(jī)必須具備類似人類的認(rèn)知能力：「這是什么物體？」「它由什么材質(zhì)構(gòu)成？」「它的燃燒特性如何？」。

在 FieryGS 中，靜態(tài)的 3DGS 場(chǎng)景不再是無(wú)意義的點(diǎn)云集合，而是被賦予了豐富的物理語(yǔ)義。

本工作設(shè)計(jì)了一套基于 GPT-4o 的零樣本材質(zhì)推理機(jī)制。

系統(tǒng)首先利用 3D 分割技術(shù)將場(chǎng)景中的高斯基元解耦為獨(dú)立的物體實(shí)例，隨后通過(guò)最佳視角選擇算法，將物體在該視角下的渲染圖輸入給大模型。

通過(guò)精心設(shè)計(jì)的視覺(jué)與文本提示詞，大模型化身為「物理專家」，能夠精準(zhǔn)推斷出場(chǎng)景中物體的材質(zhì)語(yǔ)義及其對(duì)應(yīng)的熱物理參數(shù)：

精準(zhǔn)區(qū)分桌上的樂(lè)高積木是易燃的塑料，而馬克杯中的勺子是耐火的金屬；

根據(jù)材質(zhì)類別，推理出相應(yīng)的可燃性（Burnability）、熱擴(kuò)散系數(shù)（Thermal Diffusivity）以及燃燒產(chǎn)生的煙霧顏色（如木材產(chǎn)生白煙，塑料產(chǎn)生黑煙）。

這種基于語(yǔ)義的物理屬性初始化，告別了傳統(tǒng)方法中昂貴耗時(shí)的人工標(biāo)注，實(shí)現(xiàn)了自動(dòng)化的場(chǎng)景物理感知，其標(biāo)注準(zhǔn)確性在多個(gè)真實(shí)復(fù)雜場(chǎng)景中得到驗(yàn)證（詳見(jiàn)論文），為后續(xù)的仿真打下堅(jiān)實(shí)基礎(chǔ)。

高效體積燃燒仿真

在獲取了精確的材質(zhì)屬性后，F(xiàn)ieryGS 引入了一個(gè)高效的歐拉網(wǎng)格流體求解器，將燃燒過(guò)程建模為嚴(yán)謹(jǐn)?shù)牧黧w動(dòng)力學(xué)與熱力學(xué)方程。

不同于視頻生成模型的像素預(yù)測(cè)，F(xiàn)ieryGS 中火焰的升騰、煙霧的擴(kuò)散，都以納維-斯托克斯方程（Navier-Stokes Equations）等物理學(xué)規(guī)律為基礎(chǔ)，受到浮力、風(fēng)力、渦流以及障礙物邊界條件的共同作用。

FieryGS 還引入了精細(xì)的炭化（Charring）模型。

燃燒不僅僅是覆蓋一層火焰特效，而是伴隨著物質(zhì)狀態(tài)的改變，溫度的擴(kuò)散的復(fù)雜有機(jī)整體。

FieryGS 模擬了熱量在物體內(nèi)部的傳導(dǎo)過(guò)程，當(dāng)溫度超過(guò)燃點(diǎn)，系統(tǒng)會(huì)計(jì)算炭化程度并實(shí)時(shí)更新高斯點(diǎn)的外觀屬性，使其表面逐漸變黑。

這種從微觀熱力學(xué)出發(fā)的建模，使得燃燒的視覺(jué)效果不再是簡(jiǎn)單的圖層疊加，而是由溫度場(chǎng)驅(qū)動(dòng)的真實(shí)材質(zhì)演變，不僅呈現(xiàn)出令人信服的物理細(xì)節(jié)，更可服務(wù)于災(zāi)害預(yù)測(cè)等重要實(shí)際需求。

統(tǒng)一體積燃燒渲染

如何將網(wǎng)格化的燃燒仿真數(shù)據(jù)與離散化的3D高斯點(diǎn)云融合，是渲染層面的巨大挑戰(zhàn)。

本工作為此提出了一套統(tǒng)一的體積渲染器（Unified Volumetric Renderer）。

這一渲染器打破了傳統(tǒng)渲染管線的邊界，實(shí)現(xiàn)了多物理場(chǎng)的光影耦合：

基于黑體輻射定律，根據(jù)仿真得到的溫度場(chǎng)計(jì)算火焰的物理自發(fā)光顏色；

根據(jù)材質(zhì)推理結(jié)果渲染不同顏色的煙霧；

通過(guò)引入 Phong 光照模型，使火焰不再是孤立的發(fā)光體，而是成為了場(chǎng)景中真實(shí)的光源。

當(dāng)火焰在木凳上燃起時(shí)，觀察者不僅能看到火光本身，還能看到火光在地面上投下的搖曳倒影，以及周圍物體因被照亮而產(chǎn)生的明暗變化。

這種光影解耦與再渲染，極大地提升了合成畫面的沉浸感。

03. 實(shí)驗(yàn)結(jié)果：逼真視效，精準(zhǔn)可控

得益于生成式 AI 與圖形學(xué)物理防戰(zhàn)的融合，F(xiàn)ieryGS 在多個(gè)真實(shí)世界場(chǎng)景（如室內(nèi)房間、公園、花園等）的測(cè)試中，展現(xiàn)出了超越現(xiàn)有基線方法的卓越性能。

與視頻生成模型相比，F(xiàn)ieryGS 不僅嚴(yán)格保持了背景幾何結(jié)構(gòu)的穩(wěn)定性，更展現(xiàn)了從點(diǎn)火、蔓延到熄滅的完整物理過(guò)程，兼具物理真實(shí)與視覺(jué)美觀。

此外，可控性是 FieryGS 的另一大核心優(yōu)勢(shì)。

不同于「抽卡式」的視頻生成，F(xiàn)ieryGS 允許用戶以參數(shù)化的方式精確控制仿真過(guò)程。

用戶可以靈活地指定起火點(diǎn)，調(diào)整風(fēng)向風(fēng)力以改變火焰蔓延方向，改變?nèi)紵龔?qiáng)度以及燃料的物理性質(zhì)等等，而系統(tǒng)總能生成符合物理邏輯的動(dòng)態(tài)反饋。

04. 從雨到火，邁向可計(jì)算的動(dòng)態(tài)孿生

FieryGS 并非一次孤立的技術(shù)嘗試。

在此之前，北京大學(xué)陳寶權(quán)教授團(tuán)隊(duì)已在 CVPR 2025 提出 RainyGS，率先探索了在真實(shí)世界 3D 重建場(chǎng)景中，引入物理一致、參數(shù)可控的降雨積水等動(dòng)態(tài)的能力。

RainyGS 以高斯表面表達(dá)為核心，將降雨、積水、漣漪等復(fù)雜流體現(xiàn)象直接綁定于高斯的幾何描述之上，實(shí)現(xiàn)了從「靜態(tài)重建」到「動(dòng)態(tài)物理」的關(guān)鍵跨越，是 Real2Sim2Real 路徑上的重要一步（項(xiàng)目主頁(yè)：https://pku-vcl-geometry.github.io/RainyGS/）。

在 RainyGS 中，團(tuán)隊(duì)驗(yàn)證了一種具有普適性的范式：以緊致、統(tǒng)一的 3DGS 表達(dá)作為橋梁，避免在仿真與渲染之間反復(fù)切換數(shù)據(jù)結(jié)構(gòu)，從而同時(shí)保證物理真實(shí)性、幾何一致性與高效性。這一思路為真實(shí)場(chǎng)景中的動(dòng)態(tài)孿生奠定了堅(jiān)實(shí)基礎(chǔ)。

FieryGS 正是在這一體系上的自然演進(jìn)與系統(tǒng)擴(kuò)展。

如果說(shuō) RainyGS 解決的是「真實(shí)場(chǎng)景中如何添加流體動(dòng)態(tài)」，那么 FieryGS 則進(jìn)一步引入了真實(shí)場(chǎng)景的語(yǔ)義理解，以及與真實(shí)場(chǎng)景深度耦合的相互物理作用，從而實(shí)現(xiàn)復(fù)雜的燃燒，這一具有物理因果鏈條的高階動(dòng)態(tài)現(xiàn)象。

通過(guò)融合多模態(tài)大模型的常識(shí)推理能力與嚴(yán)謹(jǐn)?shù)娜紵抡妫現(xiàn)ieryGS 讓數(shù)字孿生世界首次具備了理解材質(zhì)、推斷屬性、并據(jù)此演化物理過(guò)程的能力。

從雨水的下落、匯聚與反射，到火焰的點(diǎn)燃、蔓延與熄滅，這一系列工作所共同指向的，并非單一視覺(jué)效果的提升，而是一條清晰的技術(shù)主線：讓數(shù)字孿生世界不再只是「看起來(lái)真實(shí)」，而是真正遵循物理、可預(yù)測(cè)、可干預(yù)、可用于智能決策。

隨著這一以 3DGS 為核心、融合物理建模與語(yǔ)義推理的動(dòng)態(tài)孿生體系不斷演進(jìn)，其應(yīng)用邊界將持續(xù)拓展至自動(dòng)駕駛仿真、具身智能訓(xùn)練、災(zāi)害推演以及復(fù)雜空間智能系統(tǒng)之中。

RainyGS 與 FieryGS 的連續(xù)提出，正在逐步勾勒出一個(gè)更具「物理靈魂」的世界模型雛形。

參考資料：

https://openreview.net/forum?id=ziKFH7whvy