李飛飛：語言太窄，裝不下三維世界

在AI播客Latent Space近日發布的一期對話中，World Labs聯合創始人李飛飛與Justin Johnson深入探討了"空間智能"這一概念——他們認為這將是大語言模型之后AI發展的下一個前沿。

李飛飛常被稱為"AI教母"，這位斯坦福教授在2006年發布了ImageNet視覺數據庫的學術成果，由此開啟了教會計算機像人類一樣"看"的探索，并點燃了一波AI發展的浪潮。就在三天前的11月24日，思科投資宣布向World Labs注資，李飛飛在聲明中表示："World Labs只有一個熱情驅動著我們：推進AI以增強人類潛能并創造現實世界的影響。"

World Labs在2024年9月走出隱身模式時，已獲得2.3億美元融資。如今公司估值已超過10億美元，成為空間智能領域當之無愧的領跑者。而這期播客錄制的時間點恰在Marble正式商業化發布之際——Marble是World Labs的第一款商業化生成式世界模型產品，能夠從文本、照片、視頻或3D布局生成可編輯的3D環境。

1. 從ImageNet到空間智能：一條跨越十三年的路徑

"當我加入李飛飛實驗室的那個學期，正是AlexNet發布的那個學期。"Johnson在播客中回憶道。那是2012年，由Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton組成的SuperVision團隊，憑借AlexNet在ImageNet大規模視覺識別挑戰賽中以15.3%的top-5錯誤率奪冠，比第二名高出超過10.8個百分點。

這里的"top-5錯誤率"是ImageNet競賽的核心指標：給模型一張圖片，它會輸出五個最可能的答案，只要正確答案在這五個里面就算對。15.3%的錯誤率意味著84.7%的圖片都能被正確識別——在當時，這個成績遠超所有傳統方法，震驚了整個學術界。

李飛飛正是ImageNet的創建者。ImageNet的完成是訓練AlexNet的關鍵——這個數據集包含超過1400萬張標注圖像，涵蓋22000多個類別。2012年的這場勝利，標志著深度學習從一個被多數人認為不切實際的美好想法，轉變為具有實際應用價值的技術路徑。

Johnson是李飛飛最優秀的學生之一。博士畢業后，他先后在Facebook擔任研究科學家，又在密歇根大學擔任助理教授直到2024年。兩年多前，師生二人重新聚首，發現彼此都在思考同一個問題：語言模型之后是什么？

"我們獨立地都在關注大模型的發展，思考語言模型之外還有什么，"李飛飛說，"構建世界模型、空間智能——這對我們來說是自然而然的方向。"

2. "深度學習的整個歷史，某種意義上就是計算擴展的歷史"

Johnson在播客中給出了一個驚人的數據對比。

從AlexNet訓練時使用的GPU到今天，單卡性能已經提升了約一千倍。而現在訓練大模型動輒使用成百上千甚至上萬張GPU。"我們今天能調動的計算量，比我讀博剛開始時多了大約一百萬倍。"

這種計算能力的指數級增長，讓深度學習從一個學術概念變成了席卷全球的技術革命。語言模型是過去幾年里"真正開始運轉得相當好"的領域。但當我們想要處理視覺數據、空間數據、世界數據時，需要處理的信息量要大得多。

"我最近做了個計算，"Johnson說，"如果你每天24小時不停說話，以每分鐘150個詞的平均語速，大約能產生21.5萬個token。但你生活的這個世界的帶寬比這大得多。"

這里的token是語言模型處理文本的基本單位，大致相當于一個詞或詞的一部分。21.5萬個token聽起來很多，但換算成中文大約是十幾萬字——一個人一天不眠不休能說的全部內容。而你每天用眼睛看到的信息量、用身體感知到的空間信息，遠遠超過這個數字。

這就是空間智能存在的意義——語言是一個低帶寬、有損的通道，無法完整描述我們身處的三維物理世界。

3. 空間智能不是"傳統智能"的對立面

有人問李飛飛：當Dario Amodei說"我們有一個裝滿愛因斯坦的數據中心"時，他指的是傳統智能而非空間智能，這兩者有什么區別？

"首先，我不理解那句話，"李飛飛笑著回應，"一個裝滿愛因斯坦的數據中心——我就是不明白它的意思。"

她接著給出了自己的解釋框架：人類智能本身就是多元的。心理學家Howard Gardner在1960年代就提出了"多元智能"理論——語言智能、空間智能、邏輯智能、情感智能。"所以對我來說，空間智能是語言智能的補充，而不是與'傳統智能'對立——我不知道'傳統'是什么意思。"

她舉了DNA結構發現的例子。Francis Crick和James Watson推導雙螺旋結構的過程，很大程度上依賴于對分子和化學鍵在三維空間中排列方式的推理。"那種能力，很難還原為純粹的語言。"

但這種能力又無處不在。"每一天，我在這里試圖抓住一個杯子?？吹奖?、看到它所處的環境、看到我自己的手、張開手指讓幾何形狀匹配杯子、觸碰正確的著力點——所有這些都是深度空間性的。我在嘗試用語言敘述這個過程，但另一方面，那些敘述的語言本身并不能幫你真的拿起一個杯子。"

4. 當5.4億年遇上50萬年：視覺為何被低估

"作為一個視覺科學家，我總是發現視覺被低估了，"李飛飛說，"因為它對人類來說太輕松了。你作為嬰兒睜開眼睛，就開始看這個世界。我們似乎天生就擁有這種能力。"

學習語言則不同——你必須付出努力學習如何書寫、如何運用語法、如何表達。"這讓它感覺很難。而大自然花了更多時間去優化的東西——感知和空間智能——卻被人類低估了。"

她給出了一個時間尺度的對比：視覺和空間智能經過了5.4億年的進化優化；而語言發展最寬泛的估計，大概只有50萬年。

"今年夏天我剛去過非洲，"她說，"那些小動物，出生后幾分鐘內就必須站起來行動，否則就會被獅子抓住。在自然界，你知道進化花了5.4億年來優化感知和空間智能。"

5. Marble：窺見World Labs模型能力的第一扇窗

"Marble是我們模型的一瞥，"李飛飛解釋說，"它是這段旅程的起點。它是世界上第一個以這種保真度生成3D世界、并交到公眾手中的同類模型。"

與許多其他世界基礎模型不同——包括World Labs自己的實時幀模型RTFM——Marble讓用戶生成持久的世界，并將其下載為3D模型，而非即時生成。這意味著你可以精確控制攝像機位置、錄制場景、編輯特定元素。

"我注意到一個非常有趣的工具——你可以在場景內部錄制，"播客主持人指出。李飛飛立刻解釋了其中的含義："能夠錄制意味著對攝像機位置的精確控制。要有精確的攝像機位置，就必須有三維空間感。否則你不知道如何定向攝像機、如何移動攝像機。這是這類模型的自然結果。"

Johnson補充了技術細節：Marble原生輸出的是高斯散點（Gaussian splats）——一種用大量半透明小粒子來表示三維場景的方法。假設把一個場景"打碎"成幾百萬個彩色小光斑，每個光斑都有自己在空間中的位置、朝向和顏色，亮度從中心向邊緣逐漸衰減，無數光斑疊加在一起就還原出完整的三維世界。這種表示方式的優勢在于渲染速度極快，在iPhone上也能實時顯示，在VR頭顯中也能流暢運行。

"我們也可以導出為其他格式——三角形網格、視頻——"Johnson說。三角形網格是3D圖形的另一種經典表示方式，用無數個小三角形拼接成物體表面，是游戲引擎和電影特效行業的通用格式。"這很酷，因為你可以把這些3D資產放入各種傳統工作流。你可以把三角形網格放進游戲，把高斯散點用于VFX鏡頭的合成。"

6. 模型"理解"物理嗎？——一個需要謹慎使用的詞

播客中提到了一篇哈佛論文，研究者向LLM輸入大量軌道運動模式，然后讓模型預測行星繞太陽的軌道。模型生成的結果看起來很好，但當你要求它畫出力的矢量時，一切都變得混亂——它并沒有真正學會牛頓力學。

這個例子揭示了一個關鍵問題：模型可以通過學習大量數據來"模仿"正確的結果，但這不等于它理解了背后的規律。行星軌道是橢圓形的，這一點模型可以從數據中學到；但"為什么是橢圓形"——因為引力與距離平方成反比——這個因果關系模型并沒有掌握。所以當你問一個它沒見過的問題（比如畫出任意時刻的力的方向），它就露餡了。

"如果你用'理解'這個詞來指你所理解的方式，"李飛飛說，"我相當確定模型并不理解。模型是從數據中學習，從模式中學習。"

但這是否重要？

"至少對于目前的用例來說，我認為不重要——假設它渲染出你需要的東西是完美的，"她繼續說，"問題在于使用場景。如果用例是生成虛擬電影或制作的背景，你只需要看起來合理的東西，那可能不重要。但如果你是建筑師，要用這個來設計一座真正要建造的建筑，那就確實重要了——你需要正確地建模力，不希望建成后東西塌掉。"

Johnson指出了另一個關鍵差異："這些模型是一種與人類智能非常不同的智能形式。人類智能的有趣之處在于，我能在某種程度上反省自己的思維過程，然后我相信我的思維過程可能與其他人相似，所以當我觀察別人的行為時，我推斷他們的內部心理狀態可能與我觀察到的自己的內部狀態相似。"

"但這些模型像是一種外星形式的智能——它們能做真正有趣的事情，展現真正有趣的行為。但不管它們有什么內部認知或內部自我反思的等價物——如果存在的話——都與我們做的完全不同。"

7. 學術界的資源失衡：一個比"開放vs封閉"更重要的問題

播客主持人問了一個尖銳的問題：在今天的商業壓力下，你還能重做ImageNet嗎？當你融了那么多錢，如果你有最好的數據集，你有什么動機去公開它？

"我確實有擔憂，"李飛飛回應，"但不太是關于壓力，更多是關于學術界資源的失衡。"

這是一個與World Labs公司無關的話題。作為斯坦福大學"以人為本AI研究院"的創始聯合主任，她一直在與政策制定者合作，推動公共部門和學術界AI研究的資源投入。她與特朗普第一屆政府合作推動了國家AI研究資源（NAIR）法案，旨在建立國家AI計算云和數據倉庫。

"我認為問題不在于開放vs封閉、產品化vs開源，"她說，"問題是學術界本身嚴重缺乏資源，研究者和學生沒有足夠的資源來嘗試這些想法。"

Johnson從另一個角度補充了這個討論："五到十年前，你確實可以在實驗室里用幾塊GPU訓練最先進的模型。但因為那項技術如此成功、規模擴展得如此之大，你現在不能用幾塊GPU訓練最先進的模型了。這不是壞事，這是好事——意味著技術真的奏效了。"

這意味著對學術界角色的重新定位。"不應該是試圖訓練最大的模型、擴展最大的東西。應該是嘗試瘋狂的想法、新想法、古怪的想法——大部分不會成功。我認為那里有很多可做的事。"

8. Transformer的真實身份：不是序列處理器，而是集合處理器

在被問到空間智能是否需要徹底拋棄當前的技術棧時，Johnson給出了一個出人意料的回答。

"我認為Transformer實際上不是序列模型，而是集合（set）模型。"

這聽起來反直覺——ChatGPT明明就是一個詞接一個詞地生成文本，怎么不是處理序列的？

Johnson的論證是這樣的：Transformer內部有兩類操作。第一類是"逐token操作"，比如前饋網絡（FFN）、QKV投影、層歸一化，這些對每個token獨立進行，根本不關心其他token的存在，就像給一堆蘋果逐個打蠟，每個蘋果的處理互不影響。第二類是token之間通過注意力機制（Attention）的交互，但這個操作有一個關鍵的數學性質：置換等變（permutation equivariant）——如果你把輸入的token順序打亂，輸出也會以完全相同的方式被打亂。注意力機制只關心"誰和誰在交互"，不關心"誰排在前面"。

那Transformer為什么能處理語言這種明顯有順序的東西？答案是位置編碼（Positional Encoding）——一個額外"貼"上去的信息，告訴模型"這個token在第1位""那個token在第5位"。沒有位置編碼，Transformer根本分不清"我愛你"和"你愛我"。

換句話說，Transformer的"核心引擎"本身是處理集合的，序列處理能力是通過位置編碼這個"外掛"實現的。

這個技術細節之所以重要，是因為它回答了一個實際問題：現有架構能不能用來處理三維空間數據？如果Transformer本質上是"序列處理器"，處理3D數據就很別扭——三維空間不是一條線，怎么強行排成序列？但如果它本質上是"集合處理器"，問題就簡單了：三維空間中的一堆點、一堆高斯散點，本來就是一個集合。只需要設計合適的位置編碼來表達三維坐標關系，現有技術棧的很大一部分就可以直接復用。

這就是為什么李飛飛說"注意力機制還在，不需要修復沒壞的東西"。

但Johnson也指出了一個更長遠的問題。今天的神經網絡架構是圍繞矩陣乘法設計的，因為GPU特別擅長做矩陣乘法。但硬件的擴展正在接近物理極限——"即使從Hopper到Blackwell，每瓦性能幾乎沒變。他們主要是增加晶體管數量、增大芯片尺寸、增加功耗。"（Hopper和Blackwell是NVIDIA兩代GPU架構的代號，分別對應H100和B200系列顯卡。）

當單卡性能無法繼續提升時，擴展的方式就變成了堆更多卡。計算的基本單元不再是單張GPU，而是由成千上萬設備組成的分布式集群。Johnson的問題是：如果硬件形態變了，是不是應該有與之匹配的新計算原語和新架構？

"這種問題不是三個月能解決的，"他說，"但如果你坐下來花幾年時間認真思考，也許能取得突破。這正是學術界完美匹配的長期研究方向。"

9. 空間智能與語言智能：互補而非替代

播客主持人追問：視覺和語言建模真的那么不同嗎？DeepSeek最近嘗試了一個瘋狂的做法——直接從像素建模文本，直接在上面訓練，這可能是未來的方向。

這里需要解釋一下"從像素建模文本"是什么意思。傳統語言模型的工作方式是把文字切分成token（比如把"我愛你"切成"我""愛""你"三個符號），每個token對應一個數字ID，模型學習這些ID之間的關系。但DeepSeek-OCR等研究嘗試了完全不同的路徑：把文字渲染成圖片，讓模型直接從像素學習語言，徹底繞過token這一層。Andrej Karpathy（特斯拉前AI總監、OpenAI創始團隊成員）對這個方向大加贊賞，認為像素輸入可能比傳統token更優——壓縮率更高、上下文窗口更短，還能保留字體、顏色、排版等傳統token會丟失的格式信息。

如果這條路走通，是不是意味著視覺和語言可以統一處理？主持人的問題正是在追問這一點。

"我認為它們是不同的，"李飛飛堅持說，"我確實認為這些生成模型的架構會共享很多可分享的組件，但深度三維四維的空間世界有一種結構層次，與純粹的一維生成信號根本不同。"

她的意思是：即使你可以把文字變成像素來處理，文字本質上還是一維的序列——一個字接一個字。而真實的三維世界有完全不同的結構：上下左右前后的空間關系、物體之間的遮擋、物理規律的約束。換一種編碼方式，并不能消除這種根本性的結構差異。

Johnson則從另一個角度切入，他稱之為"像素極大主義"："語言看起來是一種獨立的東西，但我們終究是用眼睛在看語言。我們視網膜上的感光細胞，本質上就是生物版的像素傳感器。我們看著文字，覺得它是一串離散的符號，但這種感覺只存在于我們的頭腦中。文字在物理世界中的真實存在方式，是印在紙上、顯示在屏幕上的圖案——我們用眼睛看到的，其實是圖像。"

這個觀點需要停下來想一想。當你閱讀這行文字時，物理上到底發生了什么？屏幕上的像素發出光，光進入你的眼睛，視網膜上密密麻麻的感光細胞——大約1.2億個——各自捕捉一小塊光信號，轉化成神經脈沖傳給大腦。對眼睛來說，"這是一個漢字"和"這是一張風景照"沒有任何區別，都是一片光點的圖案。把光點解讀為"文字"還是"圖片"，是大腦做的事，不是眼睛看到的物理現實。

Johnson想說的是：既然人類本來就是用"看圖"的方式在閱讀文字，為什么AI非要先把文字切成token？直接讓模型看圖，不是更接近人類處理信息的方式嗎？而且切成token確實會丟東西——同樣一句話，用宋體印刷還是用手寫體，排成一行還是分成兩段，某個詞加粗還是標紅，這些視覺信息在token序列里全都消失了，但在像素圖像里完整保留著。

但這不意味著要拋棄語言模型。"即使你那樣做——也有一種實用性的考量：人們使用語言，人們想用語言與系統交互。即使從實用角度，構建讓人們能與之交談的系統、產品、模型也是有用的。我不認為那會消失。"

李飛飛補充說："甚至我們的模型Marble今天也把語言作為輸入——它是深度多模態的。在很多用例中，這些模型會協同工作。也許有一天我們會有一個通用模型。"

這段討論的深層問題是：AI應該在什么層次上理解世界？純語言模型在最高層次的符號抽象上工作；從像素建模文字往下走了一層，但信息本質上仍是一維的；而空間智能要做的，是直接在三維物理世界的層次上工作——那里有語言無法完整捕捉的結構、關系和規律。這也是為什么李飛飛要創建World Labs，而不是繼續在語言模型的路上走下去。

10. 從創意工具到機器人訓練：Marble的應用版圖

如果你訪問World Labs的主頁，有一個叫做Marble Labs的頁面，展示了不同的用例——視覺效果、游戲、模擬。在模擬類別中，他們展示了這項技術如何幫助機器人訓練。

"機器人訓練真的缺乏數據，"李飛飛解釋說，"高保真的真實世界數據絕對至關重要，但你就是得不到大量那樣的數據。另一個極端是純粹的互聯網視頻數據，但你缺乏訓練具身智能體所需要的可控性。所以模擬和合成數據實際上是一個非常重要的中間地帶。"

她在這個領域工作多年，最大的痛點一直是：從哪里獲得這些合成模擬數據？你必須策劃資產、構建這些復雜的場景，而在機器人學中你需要大量不同的狀態。Marble實際上是一個有潛力幫助生成這些用于具身智能體訓練的合成模擬世界的工具。

Johnson則開玩笑說他在Slack上發過一個視頻："誰想用Marble規劃下一次廚房改造？這個用例其實已經很好用了。只要拍兩張你廚房的照片，在Marble中重建它，然后用編輯功能看看如果換臺面、換地板、換櫥柜，那個空間會是什么樣子。"

"我們有早期測試用戶正在用API構建室內設計用例，"李飛飛補充道。

Q&A核心歸納

Q1：空間智能與語言智能的核心差異是什么？

空間智能是機器感知、推理、移動和交互于三維空間的能力。語言是一個低帶寬、有損的通道——你可以嘗試用語言敘述拿起一個杯子的過程，但那些敘述本身無法幫你真正拿起杯子。自然界花了5.4億年進化優化視覺和空間智能，而語言發展最多只有50萬年。當今的大語言模型直接跳到了最高層次的抽象推理，而空間智能是要打開那個黑箱，承認我們在直接跳到完全抽象的語言和推理形式時可能丟失了什么。

Q2：World Labs的世界模型與其他視頻生成模型有何不同？

關鍵區別在于"持久性"和"可控性"。Marble生成的是持久的、可下載的3D環境，而非即時生成即消失的世界。你可以精確控制攝像機位置和角度，可以錄制場景，可以編輯特定元素——這些都源于模型對三維空間的理解。輸出格式包括高斯散點（用大量半透明粒子表示三維場景）和三角形網格（用小三角形拼接成物體表面的傳統3D格式），可以無縫集成到游戲引擎、VFX工作流中。這是"空間一致性"與"幀序列生成"的根本區別。

Q3：現有的AI技術棧能否用于空間智能，還是需要推倒重來？

不需要推倒重來。Transformer的核心架構本質上是處理"集合"而非"序列"的——它對順序的感知完全依賴額外添加的位置編碼。這意味著只要設計合適的三維位置編碼，現有架構就能處理空間數據。但長遠來看，隨著硬件從單GPU向大規模分布式集群演進，可能需要探索與新硬件形態更匹配的計算原語和架構——這類需要數年時間的基礎研究，正是學術界應該承擔的角色。