單塊GPU造永恒虛擬世界，游戲行業要變天？

還記得電影《頭號玩家》里的“綠洲”嗎？主角韋德·沃茲戴上VR設備就能在虛擬游戲宇宙里享受科幻級的沉浸式體驗。如果想要創建這樣一個能持久探索的虛擬世界，不僅需要百人團隊手工建模，還得投入百萬算力，達到實時交互更是難上加難，但如今的空間智能技術，正把這種有記憶的虛擬空間從銀幕搬進現實。

電影《頭號玩家》劇照

近日，被譽為“AI教母”的華人科學家、斯坦福大學教授李飛飛的創業公司World Labs推出一款生成式世界模型RTFM（Real-Time Frame Model），該模型支持單圖像生成3D場景并能與用戶交互實時生成視頻，最關鍵的亮點是它可以在單個H100 GPU上運行，通俗理解就是“用一張顯卡運行一個世界”。

01

《頭號玩家》照進現實

對比傳統3D建模，RTFM像是一個能記住整個世界的大腦，根據輸入的素材就可以直接“想象”出一個永久存在的3D空間，并且能實時生成任何角度的畫面。

李飛飛轉發World Labs官方推文

其亮點在于持久化建模能力，傳統AI生成的畫面一旦視角切換就會重置，但RTFM規避了這一弊端，為模型施加了“空間記憶”，即為每個生成的畫面賦予三維坐標和方向，即使鏡頭轉向別處，模型也能通過這些坐標記住物體的位置。當你需要探索新區域時，系統也不會將整個世界的所有細節都重新計算一遍，而是只調取附近區域的畫面作為參考，既節省算力又保證了場景的一致性。

與此同時，模型還會確保時間連續性，生成的3D虛擬世界就像現實世界一樣，離開后再回來，不僅景觀、物品等場景元素仍在原地，光影變化也符合時間流逝的規律，能精準呈現反射、陰影等復雜視覺效果。

總結一點就是系統的自適應能力變強了，而這源于模型對動態環境的理解，也就是AI借助海量視頻對空間規律的學習。例如通過觀察人類走路的視頻，去理解“地面是平的”“物體之間存在遮擋關系”“行進時需要繞開阻礙物”等常識。

這樣就告別了傳統的手工建模，從“先造3D世界，再拍2D照片”轉變為“先看2D照片，再猜3D世界”，讓模型得以舉一反三來存儲整個世界的信息，需要拓展畫面時，在原本基礎上通過“回憶”補充新的視角就能滿足建模需求。也就是說當輸入的視頻和照片素材足夠多，模型就能精準還原真實場景，即使輸入信息不足，它也可以基于已有建模根據空間規律“腦補”出合理的畫面。

RTFM另一個亮點在于算力革命，堪稱重新定義了實時3D的門檻。

眾所周知，視頻生成所面臨的算力壓力相當重，這一點可從目前AI視頻生成有限的時長和遲緩的響應速度中體現，而生成式世界模型的算力需求，遠比普通實時視頻生成更苛刻。若沿用現有視頻架構，其支撐場景連續性的核心——上下文token處理量，會直接飆升至上億級別。這不僅意味著單塊消費級GPU完全無法承載，即便動用專業算力集群，也需持續調用大量硬件資源才能勉強運行。

拋開硬件采購、電力消耗等成本不談，單是當前算力基礎設施的響應效率其實就難以達標。上億token的實時計算耗時，遠超虛擬世界實時交互所需的毫秒級延遲要求，最終會導致場景卡頓、視角切換時物體“消失”，根本無法實現持久化探索的需求。

想要同時支撐場景記憶、實時渲染、細節還原三重需求，還得保證響應速度，兼顧對投入成本的控制，絕非易事。正因如此，實現在單塊H100 GPU上生成3D世界的革新意義才尤為重大。

02

空間智能潛力開掘

如果這種空間智能技術得以普及，會對哪些行業帶來影響？

首要的是內容生成領域爆發的生產力革命，例如，傳統游戲開發需要長達數月的時間和高昂的投入成本來構建場景，在RTFM中只需開發者上傳草圖即可實時生成3D開放世界，游戲創作的門檻進一步降低，中小團隊甚至個人開發者也能參與優質內容制作。

影視與廣告方面同樣如此，導演可通過RTFM快速搭建虛擬片場，實時調整鏡頭角度和場景細節，替代傳統綠幕和后期合成，節省制作成本。品牌商也可利用該技術創建沉浸式虛擬展廳，讓用戶體驗產品的360度交互。

建筑設計方面的方案調整也會便利得多，從CAD平面圖直接轉化為3D模型，既節省制作成本，又能大幅壓縮設計周期。

自動駕駛、無人機訓練、機器人訓練、數字孿生工廠等需要高精度環境模擬的智能體學習場景也會獲益，因為這意味著模型能通過單目攝像頭實時重建周邊環境的三維結構，預測被遮擋行人的位置、飛行路徑上的障礙物、抓取工件時的姿態偏差、車間裝配過程中的空間干涉等，從而優化感知魯棒性（系統在面對環境變化和干擾時，能夠維持其核心功能和結構的能力）。

數字孿生工廠的環境模擬

空間智能的發展很大程度上影響著具身智能系統的水平，因為業界堅持具身設計，就是為了完全模擬人類的生活，以便機器在真實世界里的場景中發揮作用，甚至實現替代，那么“理解空間”就是繞不開的能力挑戰。

正如李飛飛在演講中所言：“僅僅看是不夠的，看，是為了行動和學習。”

從“看得到”到“看得懂”，再到“能行動”，作為具身智能的關鍵拼圖，空間智能的核心價值在于打通數字世界與物理世界的壁壘。當AI能像人類一樣理解空間規律，它便不再是孤立的算法，而是真正融入生產、生活的協作伙伴，推動智能體走出實驗室加快落地。

微信訂閱

歡迎郵局訂閱2026年《電腦報》

訂閱代號：77-19

全年訂價：400.00元 零售單價：8元

郵局服務熱線：11185

編輯｜張毅

主編｜黎坤

總編輯｜吳新

爆料聯系：cpcfan1874（微信）

壹零社：用圖文、視頻記錄科技互聯網新鮮事、電商生活、云計算、ICT領域、消費電子，商業故事。《中國知網》每周全文收錄；中國科技報刊100強；2021年微博百萬粉絲俱樂部成員；2022年抖音優質科技內容創作者