CreateAI聯(lián)合中科院自動(dòng)化所推出NeoVerse 4D世界模型

1月5日，CreateAI（OTC:TSPH）宣布，公司與中國(guó)科學(xué)院自動(dòng)化所共同研發(fā)的4D世界模型NeoVerse正式發(fā)布，相關(guān)研究論文已同步在項(xiàng)目主頁(yè)上線，供全球開(kāi)發(fā)者查閱。該模型融合diffusion與4DGS核心技術(shù)，基于100萬(wàn)段開(kāi)放場(chǎng)景（in-the-wild）單目視頻訓(xùn)練，30秒即可完成通用4D世界模型構(gòu)建，不僅打破傳統(tǒng)4D建模對(duì)昂貴多視角數(shù)據(jù)的依賴(lài)，更實(shí)現(xiàn)“重建+生成”無(wú)限迭代閉環(huán)，相關(guān)性能在標(biāo)準(zhǔn)基準(zhǔn)測(cè)試中達(dá)業(yè)界領(lǐng)先水平。

作為兼具通用性與高效性的4D建模解決方案，NeoVerse可全面覆蓋影視制作、具身智能、自動(dòng)駕駛等各類(lèi)場(chǎng)景，支持4D重建、精準(zhǔn)漫游、多視角生成、視頻編輯、三維點(diǎn)跟蹤等多元應(yīng)用，推動(dòng)4D技術(shù)從“專(zhuān)用”走向“通用”，加速其在各行業(yè)的落地普及。

VGGT高斯化：秒級(jí)完成場(chǎng)景重建

NeoVerse基于視覺(jué)幾何基礎(chǔ)變換器（VGGT）構(gòu)建免位姿輸入（pose-free）前饋式4D高斯濺射模型，摒棄傳統(tǒng)迭代式優(yōu)化路徑，無(wú)需復(fù)雜離線預(yù)處理，一次預(yù)測(cè)即可在幾秒內(nèi)完成動(dòng)態(tài)場(chǎng)景4D建模，大幅降低技術(shù)應(yīng)用門(mén)檻。

雙向運(yùn)動(dòng)建模：稀疏幀實(shí)現(xiàn)高保真渲染

模型創(chuàng)新性建模高斯基元前后向運(yùn)動(dòng)變化量，實(shí)現(xiàn)“稀疏幀重建，密集幀渲染”，在少量稀疏關(guān)鍵幀輸入的條件下渲染出連續(xù)密集的視頻畫(huà)面。在大幅提升重建效率的同時(shí)，保障動(dòng)態(tài)場(chǎng)景的時(shí)空一致性。

單目退化模擬：攻克復(fù)雜場(chǎng)景泛化難題

通過(guò)高效稀疏重建出的高斯基元進(jìn)行剔除與平均幾何濾波，NeoVerse能夠模擬出新視角下的退化渲染模式，這將與原視角的視頻構(gòu)建訓(xùn)練數(shù)據(jù)對(duì)。整個(gè)訓(xùn)練管線僅需要單目視頻，擺脫了以往對(duì)昂貴多視角數(shù)據(jù)的依賴(lài)。

“NeoVerse是我們與中科院自動(dòng)化所產(chǎn)學(xué)研協(xié)同的重要成果，更是用技術(shù)解決行業(yè)痛點(diǎn)的又一次實(shí)踐。”CreateAI首席科學(xué)家王峰表示，“大模型訓(xùn)練依賴(lài)于可擴(kuò)展的（scalable）海量數(shù)據(jù)，而多目或4D數(shù)據(jù)過(guò)于昂貴導(dǎo)致世界模型的發(fā)展速度受限。我們提出的Feedforward 4D Gaussian重建加Diffusion生成的方法，通過(guò)單目視頻即可高效地合成大量的4D數(shù)據(jù)，為4D世界模型的建立鋪平了道路。”

此次發(fā)布的NeoVerse模型支持強(qiáng)大的蒸餾LoRAs（distillation LoRAs）擴(kuò)展，在單張顯卡上可實(shí)現(xiàn)低于30秒的快速推理，具備優(yōu)異的產(chǎn)業(yè)級(jí)應(yīng)用潛力。值得一提的是，公司此前在計(jì)算機(jī)視覺(jué)領(lǐng)域已斬獲佳績(jī)，相關(guān)研究論文成功入選頂會(huì)ICCV 2025；本次依托中科院自動(dòng)化所在多模態(tài)人工智能領(lǐng)域的深厚學(xué)術(shù)積累，NeoVerse在技術(shù)創(chuàng)新性與學(xué)術(shù)領(lǐng)先性上獲得雙重保障。