深度解析世界模型：新范式的路線之爭，實時交互與物理仿真

作者：Cage、Haozhen

我們相信 26 年會是多模態技術的大年，其中視頻生成會快速進步讓應用大規模落地，而世界模型則會有研究上的科學突破，甚至開始從 research 走向 production。

在相當長的一段時間內， World Model 這一概念始終處于較為混沌的狀態；直到近半年，隨著技術路徑逐漸收斂，尤其是在具身智能與真實交互場景中出現了初步落地的案例，世界模型的輪廓開始變得清晰。

如果和語言模型對比：語言模型解決的是語義層面的壓縮和推理，預測下一個 token；世界模型是在解決下一步更根本的問題，AI agent 是否能真正理解時間與空間，并進行預測下一幀、下一個行動。如果和視頻生成模型對比：世界模型在交互性、實時性、長時記憶和物理合理性這四點上都需要更進一步。

于是行業中的玩家開始在這些提升方向有了各自的 bet， World Model 領域逐步分化出兩條路線：一條以實時視頻生成為核心，服務文娛、游戲等 for human 的消費者場景；另一條以顯式 3D 結構為中心，服務機器人、自動駕駛等 for AI 的領域。

本文沿著這個路線分化展開，拆解兩條路線的技術趨勢和落地場景，并通過四象限框架梳理當前主要大公司和創業公司玩家的真實定位，來討論世界模型會以怎樣的產品形態進入市場。

01.

世界模型是什么？

目前市場上對世界模型的定義有很多：

? 前 Meta AI 科學家 Yann LeCun 將世界模型類比為人腦中的分區和內部 representation，能夠模擬未來一系列行動，并預測行動對世界的改變；

? Nvidia 對世界模型的定義是理解現實世界中物理規則和空間特性的神經網絡。

我們深入研究后對世界模型給出這樣的定義：能理解時間和空間規律，且能夠根據當前環境和動作，模擬未來世界演化的模型。

為什么世界模型在變得越來越重要？背后至少有三個明顯的趨勢：

1. 語言畢竟只是有損壓縮，語言 base 的智能進步開始遇到局限，空間可能是下一個重要的智能來源。

2. 架構融合與算法進步：Autoregressive Transformer 與 Diffusion 模型的算法優化進步很快，這兩者的融合效果更好了，使得生成模型具備了智能層面的 scaling law。

3. 具身智能的需求倒逼： 機器人行業依靠現實世界的數據采集難以滿足指數級的 Scaling Law 的需求，需要一個高保真的虛擬世界。

02.

世界模型 vs 視頻生成，在哪里更進一步？

世界模型和視頻生成模型的進步息息相關，同時兩者之間的邊界還不夠清晰。我們梳理下來以下幾點是世界模型范式下最需要提高的：

1. 長時記憶：能否生成持續、連貫的長時間記憶

當前視頻生成模型通常只能生成十秒級的視頻片段，理想的 world model 應該具備無固定時長限制的持續生成能力，并在長時間跨度內保持全局一致性。幾十秒前生成的場景布局和物體狀態，在后續生成中仍應被穩定保留，而不會出現物體憑空消失或位置突變的現象。

但目前 Transformer 受限于有限的序列長度，簡單的拉長上下文不僅會讓內存爆炸，還會導致推理逐漸變慢、交互延遲增加。

因此業界開始探索其他方式，目前一種常見的方式是引入顯式的3D 結構表征，將環境以 NeRF 或 Gaussian Splatting 等形式存儲為“外部記憶庫”，比如每隔一定幀生成環境的 3D 要素并存儲，以供后續參考，類似“生成-重建-再生成”的循環。

長時記憶仍然是 world model 和 LLM 業界公認的核心難題：隱式記憶機制不可避免地存在信息遺失，而顯式記憶在面對動態 4D 場景時又會遭遇表示和維護成本過高的問題。這一領域的技術突破，將決定世界模型能否邁向“開放世界級別的持續模擬”。

2. 交互性：能否隨時接受外部動作指令

World model 不僅要生成世界，還需要用戶可以指導世界的生成，模型必須支持在任意幀動態注入動作信號（例如玩家按鍵、機器人關節指令等），并據此影響后續畫面。

這個挑戰在于訓練數據需要同時包含視頻幀序列和對應的動作。針對互聯網無標簽視頻，DeepMind 的 Genie 系列創新性地提出潛在動作空間（Latent Action）概念，模型可以從純視頻中無監督學出隱含的“動作因子”，讓大型無標簽視頻也開始參與用于交互模型訓練。

另外還有一些工作使用的是游戲引擎數據，這類數據有明確的動作標簽，可以用于訓練條件化的視頻生成模型。但無論哪種方法，在這一路線下，支持動作條件控制的視頻生成能力都是構建可玩的世界模型的必要條件。

3. 實時性

對于交互式應用來說，需要保證用戶每次操作后的反饋延遲夠低。一般來說，直播場景通常可容忍約 1 秒延遲，而游戲對交互延遲的要求一般需低于 0.1 秒，VR 等沉浸式應用在理想情況下應控制在 0.01 秒以內。而只要用到擴散模型就需要每幀數十步去噪，優化推理比較難達到 30FPS 以上，更不用說將延遲控制在 0.1 秒以內了。

從落地角度來看，實時性往往決定了此類產品能否應用于游戲、VR 等場景，因此目前業界正在嘗試通過蒸餾和架構改進來解決這個問題：DMD （Distribution Matching Distillation） 將 50 步擴散壓縮為 4 步，大幅提升幀率；Self-Forcing、APT2 等訓練策略讓模型在訓練時就模擬自身推理過程，從而直接優化延遲與魯棒性，在單卡上實現了 17FPS、亞秒級延遲且保持高畫質。

Self Forcing 是一種自回歸視頻擴散模型的訓練范式，它在訓練階段讓模型像推理時那樣基于自己生成的輸出（而不是真實幀）進行下一步預測，從而消除訓練與測試（推理）之間的分布不匹配問題，從而提升長序列生成質量、穩定性和實時性。

4. 物理合理性

對娛樂應用而言，只要“視覺上過得去”就可以了；但對自動駕駛、機器人等高風險領域，模擬結果必須符合真實物理規律，否則可能誤導下游 AI 決策。

雖然當前的視頻模型在常規物理現象上已有一定“隱式理解”，例如 Veo3 在視頻中展現了相當合理的動力學效果。然而，在訓練數據罕見的極端物理條件下（如超高速碰撞、復雜關節力學），生成模型還是容易出現物理幻覺。

為提升生成結果的物理一致性，目前研究者們已從多個方向展開探索：最常見的是在生成階段之后引入物理約束的后處理機制，或直接結合可微物理引擎對結果進行校正。例如 NVIDIA 的 Cosmos 在擴散模型生成視頻后，利用內置的 PhysX 引擎對幀間運動進行修正，使物體運動符合基本的碰撞與重力規律。

03.

兩種路線：空間 vs 時間

在世界模型還沒有成功 scale up 的情況下，學界和業界都有了很多重要的早期探索。探索很難面面俱到，不同團隊和科學家會有自己最希望 bet 和優化的目標，比如前面說的實時性和物理準確性很難在當下同時實現。

因此我們觀察到出現了兩種路線的世界模型：

? 更在乎實時性的視頻世界模型，主要適用于文娛、游戲等 to C 的場景；

? 更注重物理準確性的 3D 世界模型，更多用在機器人、自動駕駛等 for agent 的領域。

路線一：實時視頻世界模型

這一路線下實時性是最核心的優化目標，同時還需要保證模型的可交互性和一定的長時記憶，物理合理性相對是排在最后的。因此這類模型的訓練數據也會以帶有交互行為的視頻數據流為主，很多團隊從 Minecraft 這樣的第一視角游戲數據出發。

于是在這一路線下的應用場景會偏向于文娛、游戲這樣的 to C 場景，具體來說可以分成三類：

1）互動內容創作和新型“引擎”

這個形態未來可以演進為一種視頻版的 Unity / Unreal：

? 簡單的關卡設計可能會減少復雜的 3D 建模流程，而是轉變為“畫出場景并走兩圈采集數據”；

? 引擎的核心也將從傳統的 3D 實時渲染，轉向由視頻世界模型（video world model）驅動的生成式推理，以視頻原生的方式完成世界模擬與內容生成。

2）直播和虛擬形象

在這個場景中，主播只需上傳人臉或角色素材，世界模型即可在運行時實時驅動虛擬形象，虛擬形象的動作與表情由攝像頭或動作捕捉設備直接輸入。

3) AR/VR

在這個場景中，世界模型更接近于一種“動態背景生成器”的角色：它可以替代部分傳統的環境建模工作，負責生成和更新用戶所處的虛擬環境，而用戶的視角變化與交互動作則由頭顯和控制器等硬件實時提供。

從商業化節奏來看，我們認為世界模型在未來 1–3 年內更可能以 SDK 或 API 形態給 MCN、游戲工作室和獨立開發者做插件，有機會演進為“新型引擎 + 工程服務”的組合方案，與 Unity / Unreal 等傳統引擎形成互補甚至并行關系。進一步放眼 3–5 年周期，可能會出現 video-native engine 平臺公司，也有可能以爆款新形態內容的形式走向用戶。

路線二：3D/4D 結構化

這條路線對前文所說的交互性、持久性、實時性這三個特點也都比較關注，但最在意的還是物理世界的準確性。

這一類方法通常先采用 NeRF、3D 高斯散點（3D Gaussian Splatting）等顯式 3D 表示對場景進行建模，再訓練生成模型直接輸出這些 3D 表示，最后通過渲染得到不同視角下的圖像。斯坦福李飛飛團隊的 World Labs 就是典型代表：模型生成的并非視頻幀序列，而是可供轉動視角的 3D 場景表示。

這條路徑的優勢在于 3D 一致性強：在多視角條件下，物體的形狀與空間位置能夠保持穩定，整體幾何拓撲關系清晰可辨。這一特性對機器人導航、AR 數字孿生等應用尤為關鍵，使 agent 能夠在生成環境中可靠地完成定位、路徑規劃與避障等任務。同時，顯式 3D 表示與物理引擎結合，可以在幾何結構之上疊加質量、碰撞等物理屬性，從而進一步提升環境的真實性與可交互性。

但劣勢在于數據獲取和計算成本高。一方面，大規模且標注完善的 3D 場景數據遠少于 2D 視頻，數據獲取成本高；另一方面，這些模型通常參數巨大且推理復雜，需要專用硬件支持。這一路徑的適用場景往往是帶有強幾何約束的仿真。對于這些場景，視覺逼真度可以適當犧牲，但空間定位和測量必須可靠。比如機器人室內導航，需要生成一個房間或建筑物的 3D 模型供機器人探索，要求門窗、墻體位置精確。

如果要降低這種端到端獲取數據的成本，可以考慮和現有的經典物理模擬方法結合。NVIDIA 的 Cosmos 就是在生成模型中融合經典物理模擬的典范。

Cosmos 能根據文本、圖像等輸入生成物理一致的視頻或狀態序列，特色在于內置物理守護（guardrails）機制，比如利用 PhysX 引擎對生成結果進行約束過濾，以剔除穿模、違背能量守恒等不合理現象。NVidia 一如既往地把自己的產品定位為開放平臺，允許開發者微調模型來適配自己特定的機器人或仿真需求。

04.

市場玩家的四象限格局

基于上述兩條發展路徑，我們進一步將市面上的玩家以四象限框架分類。

? 橫軸表示世界模型的表示形式：左側以直接生成視頻像素為主（Video-based），右側則采用顯式的 3D 或物理結構表示，例如 3D Gaussian Splatting；

? 縱軸表示模型的主要服務對象：上半部分面向人類用戶，側重文娛、游戲、XR 與內容創作等體驗型應用，下半部分則主要服務于 AI 與機器人，用于仿真、訓練與評估等智能體相關任務。

在這個四象限下：

? Decart、Odyssey 等偏娛樂與游戲的視頻生成模型主要分布在左下象限；

? World Labs 等強調可漫游空間體驗與 3D 內容生成的公司位于右下象限；

? General Intuition 和其他視頻導航類世界模型會落在左上象限；

? Cosmos、Tesla 世界模型等機器人世界模型，集中在右上象限。

1. World Labs

World Labs 可以說是當前硅谷世界模型領域估值最高的初創公司之一，公司核心愿景建立在李飛飛提出的 Spatial Intelligence 理論之上。她認為僅掌握語言邏輯的 AI 是不完整的，真正的智能必須具備在三維空間中感知、推理、行動并構建世界模型的能力。

World Labs 強調 3D 一致性（3D Consistency）與持久性（Persistence）。在 Sora 這樣模型生成的視頻中，如果攝像機旋轉 180 度再轉回來，原本在那里的物體可能會消失或變形（物理幻覺）。而 World Labs 致力于構建的模型，生成的不是一系列像素的堆疊，而是一個具有內部幾何結構和物體恒常性的“世界”。

? 技術架構：LWM 與 RTFM

World Labs 的技術護城河在于獨創的大世界模型（Large World Models，LWMs），特別是核心推理引擎，即實時幀模型（Real-Time Frame Model，RTFM）。

RTFM 不是簡單地預測下一幀像素，而是要學習成為一個神經渲染器 Neural Renderer。這個技術的特點在于：

1. 端到端學習物理規律：RTFM 是一個自回歸的 Diffusion Transformer，在海量視頻數據上進行端到端訓練。它不需要人工編寫的光線追蹤代碼或物理引擎，而是通過觀察數據，自動學習了光照反射、陰影投射、透視變換等復雜的物理現象；

2. 隱式 3D 表征：與傳統的 NeRF（神經輻射場）或 3D Mesh 不同，RTFM 不一定在顯存中構建一個顯式的 3D 模型，相反，它將輸入的 2D 圖像轉化為高維的神經激活狀態（KV Cache），這種狀態隱式地包含了場景的 3D 結構；

3. 空間記憶：為了解決長時記憶和場景一致性問題，RTFM 引入了“姿態幀”（Posed Frames）的概念，也就是模型生成的每一幀都帶有空間坐標信息，當用戶在虛擬世界中漫游時，模型會根據當前的視角位置，從記憶庫中檢索空間上鄰近的幀作為上下文。

RTFM 的思路其實是模糊了計算機視覺中長期存在的兩個獨立領域：三維重建（Reconstruction）與生成（Generation）。

1. 當輸入視點密集時，模型表現為高質量的重建算法（類似 NeRF），精確還原真實場景。

2. 當輸入視點稀疏時，模型則平滑過渡到生成模式，利用學習到的先驗知識“腦補”出未見區域的合理幾何結構。

? 產品：Marble

World Labs 的首個對外披露產品名為 Marble。這是一個基于瀏覽器的交互式 3D 世界生成平臺，用戶只需上傳一張圖片或輸入一段文字，Marble 就能生成一個可交互、可漫游的三維場景。

與其他僅提供在線視頻流的模型不同，Marble 生成的是可下載的完整 3D 環境，支持導出為高斯點云、網格模型或視頻等格式。這種方式減少了場景“morphing”漂移不一致的問題，用戶還可以對生成世界進行 AI 原生編輯：例如利用 Chisel 工具先搭好空間結構，再由 AI 填充視覺細節，實現對生成內容更精細的控制。Marble 支持多模態輸入（文本、圖像、視頻或 360°全景），也可通過導入 3D 草圖精確控制布局，隨后持續生成任意長度的世界。

此外，與傳統的全景圖不同，Marble 生成的世界允許用戶自由移動視角，且場景中的光影、反射會隨著視角的改變而實時渲染，呈現出極高的物理真實感。

目前 Marble 已開放免費和訂閱模式，定價層級根據每月生成次數和功能權限劃分，為游戲開發者、影視內容創作、VR 場景搭建等提供工具支持。

目前 World Labs 融資總額約為 2.3 億美元，估值超過 10 億美元。主要投資方包括領投的 a16z、NEA 和 Radical Ventures，以及戰略投資方 NVIDIA（NVentures）、AMD Ventures 和 Adobe Ventures，其中 NVIDIA 和 AMD 的加入表明 World Labs 模型對算力基礎設施有深度依賴并具備潛在的硬件優化合作可能，Adobe 的投資則暗示 World Labs 在創意工具領域的落地前景。此外，投資方還有 Geoffrey Hinton、Jeff Dean 和 Eric Schmidt 等個人投資者。

2. General Intuition

General Intuition 是一個公益性公司（Public Benefit Corporation），作為游戲短視頻平臺 Medal 的衍生公司，與其它公司直接銷售世界模型不同，General Intuition 并沒有試圖去生成“給人看”的視頻，而是專注于利用海量的游戲數據，訓練能夠進行時空推理（Spatial-Temporal Reasoning）的 agent，用于游戲 NPC 和機器人等領域。

General Intuition 最大的優勢就在于 Medal 獨特的數據源：每年可獲得約 20 億個游戲視頻片段，主產品擁有 1000 萬 MAU，覆蓋了數萬種不同的游戲環境，從寫實風格的射擊游戲到抽象風格的獨立游戲。據報道，OpenAI 曾出價 5 億美元試圖收購 Medal，目的就是為了獲取這一龐大的游戲數據集。

公司的核心理念在于：視頻游戲是訓練 AGI 的最佳合成數據源。因為傳統的視頻數據（如 YouTube）是被動的，缺乏動作標簽。而游戲數據天然包含了“狀態-動作-獎勵”的閉環。玩家的每一次按鍵（Action）導致屏幕畫面的變化（State Change），這種因果關系是訓練 agent 的核心。

而且 Medal 平臺上每天上傳的數百萬游戲片段中，不僅有高光時刻，還有大量的失敗、Bug、物理碰撞測試等“邊緣情況”。這些數據對于訓練 AI 理解物理邊界和魯棒性至關重要。

? 技術架構：從像素到行動的端到端學習

General Intuition 的模型訓練專注于視覺輸入（Visual Input）到動作輸出（Action Output）的映射。也就是說，agent 不會訪問游戲的底層代碼或 API，而是像人類一樣只“看”屏幕像素來做出決策。這種“像素級”的訓練方式理論上有更強的遷移能力。因為現實世界中的機器人同樣沒有“上帝視角”或底層 API，它們也只能通過攝像頭（視覺傳感器）來感知環境，因此在《使命召喚》中訓練出的導航與避障策略，理論上可以遷移到現實世界的無人機或機器狗身上。

目前公司正在構建的基礎模型就是為了賦予 Agent“通用直覺”（General Intuition）。這種直覺不僅僅是識別物體，更是理解物體在時間和空間中的運動規律，比如理解當前動作會導致何種物理后果；在未見過的復雜環境中進行路徑規劃，而無需預先構建高精地圖。

? 團隊與融資

General Intuition 在今年 10 月完成了 1.34 億美元的種子輪融資，這一金額遠超常規種子輪規模，顯示了資本對公司數據價值和技術路線的高度認可。此次融資由 Khosla Ventures 和 General Catalyst 領投，其中 Vinod Khosla（Khosla Ventures 創始人）作為 OpenAI 的早期投資人，再次下注 General Intuition ，也表明了他將“基于游戲數據的 Agent 訓練”視為繼 LLM 之后的重要機會。

公司創始人兼 CEO Pim de Witte 同時也是 Medal 的創始人，這種創始人延續性確保了 General Intuition 能夠無縫接入 Medal 的數據生態。此外，團隊還匯聚了來自 DeepMind、Epic Games 以及發表過 DIAMOND、IRIS 等世界模型相關論文的頂尖研究員，為公司的技術研發提供了強有力的支持。

3. Decart

Decart 是一家由以色列技術團隊創建的 AI 初創公司，2024 年 10 月首次公開亮相并宣布獲得 2100 萬美元種子輪融資（紅杉資本領投，Zeev Ventures 參與）。公司總部在舊金山，在以色列設有研發運營。2024 年 12 月，Decart 又快速完成 3200 萬美元的 A 輪融資（Benchmark 領投，紅杉和 Zeev 跟投），投后估值提高到 5 億美金以上。

公司創始人兼 CEO Dean Leitersdorf 年僅 26 歲，擁有以色列理工學院快速完成本碩博學位的背景；聯合創始人 Moshe Shalev 曾在以色列國防軍 8200 部隊構建 AI 情報系統，有資深工程經驗。

公司在推出核心產品前，就通過一款面向企業端的 GPU 訓練推理優化軟件實現了數百萬美元營收，公司結束 stealth 狀態時已經實現盈利。這款軟件據稱可將模型訓練推理成本從每小時 100 美元降至 0.25 美元。憑借基礎設施技術帶來的現金流，Decart 得以全力研發 AI 生成引擎。

Decart 發布的最引人注目的成果就是首個可交互“開放世界”AI 模型 Oasis。Oasis 可以看作 AI 驅動的沙盒游戲引擎：無需任何傳統游戲引擎或預設關卡，完全可以由 AI 根據用戶操作即刻“生成”游戲世界。這個模型以大量 Minecraft 游戲視頻為訓練數據，采用 Transformer 結合擴散模型的架構，自回歸地逐幀生成畫面。

當玩家通過鍵盤、鼠標發送操作時（如行走、破壞方塊），Oasis 會實時輸出下一幀的游戲畫面，并在這一過程中同時模擬物理和游戲規則，實現基本的物理碰撞和物件交互效果。也就是說，Oasis 在無需任何預編程腳本的情況下，做到了從鍵盤、鼠標輸入到畫面輸出的端到端實時閉環，每幀生成間隔約 40 毫秒，達到接近 25 幀/秒的速度。

這意味著 Oasis 完全拋棄傳統游戲引擎，驗證了純 AI“視頻生成引擎”的可行性。用戶甚至可以上傳一張圖像讓模型生成對應風格的世界，從而定制自己的關卡。

為了支持如此高強度的實時生成，Decart 對模型架構和推理框架進行了專門優化，并與硬件初創公司 Etched 合作：后者即將推出的 “Sohu” AI 芯片據稱可將 Oasis 提升至 4K 分辨率，并可以以當前成本支持 10 倍用戶量。

我們認為，作為第一個吃螃蟹的人，Oasis 當前還有明顯局限，比如在畫面質量上，生成環境較模糊、分辨率低；在持久性上，模型容易“遺忘”先前生成的布局，例如玩家轉身再回頭看，身后的地形可能已變樣。這些問題本質上是長程記憶和全局一致性不足，Decart 團隊已在研究通過滑動窗口或顯式內存等方案改進模型的時空一致性。

4. Odyssey

如果說 Decart 追求的是速度與效率，那么 Odyssey 追求的則是極致的真實感（Photorealism）與可編輯性（Editability）。他們代表了“高保真重建派”，目標是為電影、3A 游戲和虛擬制片提供工業級的世界模型資產。

Odyssey 推出的 Explorer 模型是一個能夠將單一圖像轉化為高保真 3D 場景的生成模型。但與其他競品不同，Explorer 生成的結果是可以導出并編輯的 3D 資產，而非一段死視頻。

? 高質量數據驅動的 3D 資產

Odyssey 采取了目前業內最“重”的數據采集策略，他們開發了一套重達 25 磅的專業采集背包，集成了 6 個高分辨率攝像頭以實現 360 度全景覆蓋，并配備 2 個高精度 LiDAR（激光雷達）傳感器和 IMU（慣性測量單元）。通過這一硬件系統，Odyssey 能夠采集最高達 13.5K 分辨率的視覺數據，并同步獲得精確的物理深度信息，從而構建高質量的 Ground Truth 數據集。這種依賴真實世界重裝備采集的數據護城河，是任何純軟件公司無法比擬的護城河。

Odyssey 的核心算法采用了 3D 高斯潑濺（3D Gaussian Splatting）技術。與 NeRF 的神經網絡隱式表達不同，3DGS 使用數百萬個帶有顏色、透明度和方向的“橢球體”（高斯球）來表示場景。

一方面，這個技術的優勢在于渲染速度快，可以支持實時渲染。另一方面，相比于 Sora 等模型，這個技術讓 Odyssey 的可編輯性非常強，因為場景是由離散的高斯球組成的，藝術家可以直接在 Unreal Engine 或 Blender 中對這些球體進行移動、刪除或修改。這使得生成的資產可以無縫接入現有的好萊塢 VFX 工作流。

? 團隊與融資

公司創始人是 Oliver Cameron （CEO） 和 Jeff Hawke （CTO）。兩人均為自動駕駛領域的資深人士（曾任職于 Voyage，Cruise，Wayve）。他們將自動駕駛領域嚴苛的數據采集方法論帶入了創意產業。公司的董事會成員包括 Ed Catmull。作為 Pixar（皮克斯）的聯合創始人、圖靈獎得主，Ed Catmull 的加入是對 Odyssey 技術路線最強有力的背書。這表明 Odyssey 的目標直指電影工業的變革。

去年 12 月，Odyssey 完成 1800 萬美元的 A 輪融資，本輪由 EQT Ventures 領投，GV（Google Ventures）和 Air Street Capital 跟投。

排版：夏悅涵