![]()
兩個月前,李飛飛的World Labs分享了Marble的預(yù)覽版,該模型能通過圖像或文本提示創(chuàng)建3D世界。當(dāng)時Marble只向一小部分早期測試用戶開放
剛剛World Labs正式推出了其首款產(chǎn)品Marble,定位為空間智能未來奠定基礎(chǔ)的多模態(tài)世界模型,現(xiàn)在,任何人都可以通過一張圖片、一段視頻、一句文本提示,或一個3D布局來創(chuàng)建高保真、可持久化的3D世界,并且可以導(dǎo)出為高斯濺射
注冊體驗地址:
http://marble.worldlabs.ai
Marble是什么
李飛飛前天才發(fā)了一篇萬字長文闡述了空間智能為什么是人工智能的下一個前沿(不了解的可以看我的這篇文章),空間智能需要強(qiáng)大的世界模型來釋放其全部潛力。世界模型應(yīng)當(dāng)能夠重建、生成和模擬3D世界,并允許人類和智能體與之交互。李飛飛認(rèn)為在未來幾年,具備空間智能的世界模型將變革眾多行業(yè)
今天,World Labs正式向公眾發(fā)布了Marble——一款頂級的生成式多模態(tài)世界模型。其功能也得到了大幅擴(kuò)展:
多模態(tài)Marble:Marble現(xiàn)已支持大規(guī)模多模態(tài)輸入。它能從文本、圖像、視頻或粗略的3D布局創(chuàng)建3D世界,并允許用戶交互式地編輯、擴(kuò)展和組合這些世界。生成后,3D世界可以導(dǎo)出為高斯濺射(Gaussian splats)、網(wǎng)格(meshes)或視頻格式。這些新功能為用戶提供了精細(xì)的控制,并使生成的3D世界比以往任何時候都更加實(shí)用
Marble Labs:World Labs同步推出了一個名為Marble Labs的創(chuàng)意中心,旨在融合想象力與實(shí)驗。在這里,藝術(shù)家、工程師和設(shè)計師可以探索世界模型的邊界,展示在游戲、視覺特效(VFX)、設(shè)計、機(jī)器人等領(lǐng)域的大膽想法、真實(shí)工作流和新可能性。Marble Labs還提供深度案例研究、教程和文檔,為任何人提供學(xué)習(xí)、構(gòu)建和分享自己3D世界的工具
https://www.worldlabs.ai/labs
如何使用Marble
Marble現(xiàn)在可以從多種輸入類型創(chuàng)建3D世界,并允許用戶迭代地編輯或擴(kuò)展世界。用戶既可以從簡單的圖像或文本提示快速創(chuàng)建完整的3D世界,也可以在2D和3D中進(jìn)行交互式編輯,精確地實(shí)現(xiàn)腦海中的世界構(gòu)想
文本與圖像生成世界
最簡單的方式是通過單張圖片或簡短的文本提示創(chuàng)建3D世界。Marble能夠生成各種場景類型和藝術(shù)風(fēng)格的世界
圖像提示功能使得Marble可以輕松地與其他AI工具結(jié)合。用戶可以使用自己喜歡的圖像生成模型生成圖片,然后將其導(dǎo)入Marble,提升為一個完整的3D世界。
雖然文本和單圖提示直觀而強(qiáng)大,但在創(chuàng)作控制上有限,因為Marble必須自行創(chuàng)造輸入中未包含的所有細(xì)節(jié)
多圖像與視頻生成世界
為了實(shí)現(xiàn)更強(qiáng)的創(chuàng)作控制,Marble支持多圖像提示。用戶可以為世界的不同部分提供不同的提示圖像,Marble會將它們拼接成一個統(tǒng)一的3D世界。這讓用戶能從不同角度控制生成世界的外觀
這種方式帶來了一種全新的工作流:用戶可以使用圖像生成工具分別迭代輸入視圖,然后由Marble將它們提升為完整的3D世界,并添加視圖間的無縫過渡。
此外,多圖像提示也可用于創(chuàng)建受現(xiàn)實(shí)世界啟發(fā)的空間。通過輸入幾張從不同角度拍攝的真實(shí)地點(diǎn)照片或一段短視頻,Marble會將其組合,生成一個包含現(xiàn)實(shí)空間元素的3D世界
創(chuàng)作過程通常是高度迭代的。生成一個世界往往只是創(chuàng)作旅程的開始。Marble內(nèi)置了AI原生的世界編輯工具。編輯可以是局部的,如移除一個物體或修補(bǔ)一個區(qū)域;也可以是全局性的,如替換物體、改變視覺風(fēng)格或重構(gòu)世界的大部分結(jié)構(gòu)
Chisel:在3D中雕刻世界
對于需要更精細(xì)控制場景布局、物體精確尺寸和位置的高級用戶,World Labs推出了一個名為Chisel的實(shí)驗性編輯模式
Chisel是一個AI原生的工具,允許用戶直接在3D中雕刻Marble世界。用戶可以使用盒子或平面等粗略的3D形狀,或?qū)氍F(xiàn)有的3D資產(chǎn)來布局世界的粗糙結(jié)構(gòu)。
完成布局后,用戶可以添加文本提示來描述場景的視覺風(fēng)格或額外元素。Marble會結(jié)合這些輸入,生成一個細(xì)節(jié)完整的3D世界。
Chisel將結(jié)構(gòu)與風(fēng)格解耦。粗略的3D場景決定了世界的結(jié)構(gòu),而文本提示控制其整體風(fēng)格。兩者可以任意組合,為世界生成增添了全新的控制維度
要使用這個功能得加錢(訂閱),每個月20刀
![]()
擴(kuò)展與組合
Marble提供了兩種方法來構(gòu)建更宏大的世界:
擴(kuò)展:世界生成后,用戶可以通過一步操作使其變得更大。用戶可以選擇世界的一個區(qū)域進(jìn)行擴(kuò)展,Marble會自動創(chuàng)建更多內(nèi)容來填充該區(qū)域。擴(kuò)展不僅能增大世界,還能為特定區(qū)域增加細(xì)節(jié),改善邊緣區(qū)域的清晰度
組合:用戶可以在Marble的“組合模式”中將任意數(shù)量的世界組合在一起,構(gòu)建極其廣闊的空間。組合過程完全由用戶控制,可以精確選擇要組合的世界以及它們的相對布局
導(dǎo)出為3D和視頻
在Marble中創(chuàng)建世界后,可以將其導(dǎo)出并整合到下游項目中
高斯濺射(Gaussian splats):這是Marble世界保真度最高的表示形式。用戶可以使用World Labs的開源跨平臺渲染器Spark(已與THREE.js集成)在瀏覽器中渲染高斯濺射
三角網(wǎng)格:Marble可以生成兩種類型的網(wǎng)格:一種是用于粗略物理模擬的低保真碰撞體網(wǎng)格;另一種是旨在盡可能匹配高斯濺射視覺保真度的高質(zhì)量網(wǎng)格
視頻:用戶可以使用Marble將生成的3D世界渲染成視頻,并進(jìn)行像素級的相機(jī)控制,精確構(gòu)圖。此外,Marble還能增強(qiáng)導(dǎo)出的視頻,增加細(xì)節(jié)、移除偽影,并添加動態(tài)元素
未來的關(guān)鍵機(jī)遇在于交互性。未來的世界模型將允許人類和智能體以新的方式與生成的世界互動,從而在模擬、機(jī)器人等領(lǐng)域解鎖更多用例
參考:
https://www.worldlabs.ai/blog/marble-world-model
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.