洞悉 Omniverse：開放世界基礎(chǔ)模型為物理 AI 開發(fā)生成合成世界

NVIDIA 最近發(fā)布了 NVIDIA Cosmos 開放世界基礎(chǔ)模型（WFM）的更新，旨在加速物理 AI 模型的測(cè)試與驗(yàn)證數(shù)據(jù)生成。借助 NVIDIA Omniverse 庫(kù)和 Cosmos，開發(fā)者可以大規(guī)模生成基于物理學(xué)的合成數(shù)據(jù)。

Cosmos Predict 2.5 現(xiàn)在將 Text2World、Image2World 和 Video2World 三個(gè)獨(dú)立的模型統(tǒng)一為一個(gè)輕量級(jí)架構(gòu)，能夠從單個(gè)圖像、視頻或提示生成一致且可控的多機(jī)位視頻世界。

Cosmos Transfer 2.5 能夠?qū)崿F(xiàn)高保真、空間可控的世界間風(fēng)格轉(zhuǎn)換，以增加數(shù)據(jù)多樣性。開發(fā)者可以在多機(jī)位的仿真環(huán)境中添加新的天氣、光照和地形條件。Cosmos Transfer 2.5 的體積縮小到上一代的 1/3.5，性能更快的同時(shí)，在提示對(duì)齊和物理精度方面都有所提升。

這些 WFM 可以集成到在 NVIDIA Isaac Sim 開源機(jī)器人仿真框架中運(yùn)行的合成數(shù)據(jù)流程中，該框架基于 NVIDIA Omniverse 平臺(tái)構(gòu)建，以生成逼真的視頻，縮小仿真與現(xiàn)實(shí)之間的差距。開發(fā)者可以參考由四部分構(gòu)成的合成數(shù)據(jù)生成流程：

• NVIDIA Omniverse NuRec 神經(jīng)重建庫(kù)，可通過(guò)智能手機(jī)拍攝的圖像，在 OpenUSD 環(huán)境中重建真實(shí)世界的數(shù)字孿生。
• SimReady 資產(chǎn)，用于為數(shù)字孿生填充物理精確的 3D 模型。
• Isaac Sim 中的 MobilityGen 工作流，用于生成合成數(shù)據(jù)。
• NVIDIA Cosmos，用于擴(kuò)充生成數(shù)據(jù)。

從仿真到現(xiàn)實(shí)世界，了解企業(yè)與開發(fā)者如何使用合成數(shù)據(jù)：Skild AI，Serve Robotics，Zipline，光輪智能，F(xiàn)S Studio，Robots for Humanity 等領(lǐng)先的機(jī)器人和 AI 公司及開發(fā)者已經(jīng)在使用這些技術(shù)來(lái)加速物理 AI 開發(fā)。

以上為摘要內(nèi)容，點(diǎn)擊鏈接閱讀完整內(nèi)容：

洞悉 Omniverse：開放世界基礎(chǔ)模型為物理 AI 開發(fā)生成合成世界 | NVIDIA 英偉達(dá)博客