李飛飛的「空間智能」Marble來了：?可以3D雕刻，渲染高斯濺射

兩個月前，李飛飛的World Labs分享了Marble的預覽版，該模型能通過圖像或文本提示創建3D世界。當時Marble只向一小部分早期測試用戶開放

剛剛World Labs正式推出了其首款產品Marble，定位為空間智能未來奠定基礎的多模態世界模型，現在，任何人都可以通過一張圖片、一段視頻、一句文本提示，或一個3D布局來創建高保真、可持久化的3D世界，并且可以導出為高斯濺射

注冊體驗地址：

http://marble.worldlabs.ai

Marble是什么

李飛飛前天才發了一篇萬字長文闡述了空間智能為什么是人工智能的下一個前沿（不了解的可以看我的這篇文章），空間智能需要強大的世界模型來釋放其全部潛力。世界模型應當能夠重建、生成和模擬3D世界，并允許人類和智能體與之交互。李飛飛認為在未來幾年，具備空間智能的世界模型將變革眾多行業

今天，World Labs正式向公眾發布了Marble——一款頂級的生成式多模態世界模型。其功能也得到了大幅擴展：

多模態Marble：Marble現已支持大規模多模態輸入。它能從文本、圖像、視頻或粗略的3D布局創建3D世界，并允許用戶交互式地編輯、擴展和組合這些世界。生成后，3D世界可以導出為高斯濺射（Gaussian splats）、網格（meshes）或視頻格式。這些新功能為用戶提供了精細的控制，并使生成的3D世界比以往任何時候都更加實用

Marble Labs：World Labs同步推出了一個名為Marble Labs的創意中心，旨在融合想象力與實驗。在這里，藝術家、工程師和設計師可以探索世界模型的邊界，展示在游戲、視覺特效（VFX）、設計、機器人等領域的大膽想法、真實工作流和新可能性。Marble Labs還提供深度案例研究、教程和文檔，為任何人提供學習、構建和分享自己3D世界的工具

https://www.worldlabs.ai/labs

如何使用Marble

Marble現在可以從多種輸入類型創建3D世界，并允許用戶迭代地編輯或擴展世界。用戶既可以從簡單的圖像或文本提示快速創建完整的3D世界，也可以在2D和3D中進行交互式編輯，精確地實現腦海中的世界構想

文本與圖像生成世界

最簡單的方式是通過單張圖片或簡短的文本提示創建3D世界。Marble能夠生成各種場景類型和藝術風格的世界

圖像提示功能使得Marble可以輕松地與其他AI工具結合。用戶可以使用自己喜歡的圖像生成模型生成圖片，然后將其導入Marble，提升為一個完整的3D世界。

雖然文本和單圖提示直觀而強大，但在創作控制上有限，因為Marble必須自行創造輸入中未包含的所有細節

多圖像與視頻生成世界

為了實現更強的創作控制，Marble支持多圖像提示。用戶可以為世界的不同部分提供不同的提示圖像，Marble會將它們拼接成一個統一的3D世界。這讓用戶能從不同角度控制生成世界的外觀

這種方式帶來了一種全新的工作流：用戶可以使用圖像生成工具分別迭代輸入視圖，然后由Marble將它們提升為完整的3D世界，并添加視圖間的無縫過渡。

此外，多圖像提示也可用于創建受現實世界啟發的空間。通過輸入幾張從不同角度拍攝的真實地點照片或一段短視頻，Marble會將其組合，生成一個包含現實空間元素的3D世界

創作過程通常是高度迭代的。生成一個世界往往只是創作旅程的開始。Marble內置了AI原生的世界編輯工具。編輯可以是局部的，如移除一個物體或修補一個區域；也可以是全局性的，如替換物體、改變視覺風格或重構世界的大部分結構

Chisel：在3D中雕刻世界

對于需要更精細控制場景布局、物體精確尺寸和位置的高級用戶，World Labs推出了一個名為Chisel的實驗性編輯模式

Chisel是一個AI原生的工具，允許用戶直接在3D中雕刻Marble世界。用戶可以使用盒子或平面等粗略的3D形狀，或導入現有的3D資產來布局世界的粗糙結構。

完成布局后，用戶可以添加文本提示來描述場景的視覺風格或額外元素。Marble會結合這些輸入，生成一個細節完整的3D世界。

Chisel將結構與風格解耦。粗略的3D場景決定了世界的結構，而文本提示控制其整體風格。兩者可以任意組合，為世界生成增添了全新的控制維度

要使用這個功能得加錢（訂閱），每個月20刀

擴展與組合

Marble提供了兩種方法來構建更宏大的世界：

擴展：世界生成后，用戶可以通過一步操作使其變得更大。用戶可以選擇世界的一個區域進行擴展，Marble會自動創建更多內容來填充該區域。擴展不僅能增大世界，還能為特定區域增加細節，改善邊緣區域的清晰度

組合：用戶可以在Marble的“組合模式”中將任意數量的世界組合在一起，構建極其廣闊的空間。組合過程完全由用戶控制，可以精確選擇要組合的世界以及它們的相對布局

導出為3D和視頻

在Marble中創建世界后，可以將其導出并整合到下游項目中

高斯濺射（Gaussian splats）：這是Marble世界保真度最高的表示形式。用戶可以使用World Labs的開源跨平臺渲染器Spark（已與THREE.js集成）在瀏覽器中渲染高斯濺射

三角網格：Marble可以生成兩種類型的網格：一種是用于粗略物理模擬的低保真碰撞體網格；另一種是旨在盡可能匹配高斯濺射視覺保真度的高質量網格

視頻：用戶可以使用Marble將生成的3D世界渲染成視頻，并進行像素級的相機控制，精確構圖。此外，Marble還能增強導出的視頻，增加細節、移除偽影，并添加動態元素

未來的關鍵機遇在于交互性。未來的世界模型將允許人類和智能體以新的方式與生成的世界互動，從而在模擬、機器人等領域解鎖更多用例

參考：

https://www.worldlabs.ai/blog/marble-world-model