李飛飛最新萬字訪談：未來五年，Transformer 可能被淘汰

編輯重點君

11月24日，斯坦福大學教授、World Labs創始人李飛飛參加播客訪談，詳細闡述了她對空間智能（Spatial Intelligence）的構想，并討論她與楊立昆在世界模型（World Models）上的不同觀點流派問題。

在世界模型的構建上，李飛飛與前Meta首席科學家楊立昆（Yann LeCun）的理念常被外界視為兩種流派。楊立昆傾向于讓模型學習世界的抽象“隱式表征”，而不必還原每一幀像素；而李飛飛的Marble則力求從抽象的內部表征中產生顯式表征，明確輸出可視化的3D世界。

李飛飛并不認為兩者是對立關系，她表示如果最終要構建一個通用的世界模型，隱式表征和顯式表征最終都是必要的。World Labs采用的是“刻意為之”的顯式輸出，因為其商業目標服務于游戲開發、視覺特效和建筑設計等領域的人類創作者，他們的日常工作需要一個可視化的、可交互的3D輸出結果。但在模型內部，RTFM同樣包含隱式表征。她認為，未來的架構將是兩者的混合體。

作為World Labs的創始人，李飛飛在訪談中透露了公司的首個產品Marble，以及其背后的技術底座“實時幀模型”（RTFM）。與單純生成視頻的模型不同，Marble致力于生成具有一致性和持久性的3D空間，其模型不僅是多模態的，支持文本、圖像、視頻甚至粗略的3D布局作為輸入，更重要的是它試圖在推理過程中保持物體一致性。

她說，目前的LLM主要通過海量的文本數據學習，雖然語言模型令人驚嘆，但人類大量的知識是無法僅通過語言捕捉的。為了構建真正的通用人工智能，AI必須走出文本的限制，通過視覺和行動去體驗物理世界。人類的學習過程本質上是具身（Embodied）的，我們在沒有語言的情況下與世界大量互動，感知光線、觸覺、重力和空間關系。

當被問及目前的AI是否真正“理解”物理世界時，李飛飛認為，目前大多數生成式視頻中展現的水流或樹木擺動，并非基于牛頓力學計算，而是基于海量數據的統計學涌現。雖然AI可能通過數據擬合出運動定律，但要達到愛因斯坦提出相對論那種層面的抽象，目前的Transformer架構尚未展現出足夠的證據。

對于技術的演進速度，李飛飛認為在五年內，我們有望看到AI在理解物理世界方面取得重大進展。她描繪了一個基于“多重宇宙”（Multiverse）的未來圖景：通過大幅降低3D內容生成的門檻，人類可以低成本地創造出無數個平行世界，這些數字平行世界將成為人類物理體驗的無限延伸，重塑娛樂、教育、遠程協作以及科學探索等多個領域場景。

李飛飛訪談內容劃重點：

1. 空間智能是核心

僅靠語言不足以構建通用人工智能（AGI）。人類大量智能（如空間推理、急救反應）是非語言的。AI必須獲得“空間智能”（Spatial Intelligence），要像生物一樣，擁有深度感知的空間能力，建立起看、做和想象之間的完整閉環。

2.世界模型的新范式

World Labs 的核心產品 Marble 與普通視頻生成模型的最大區別在于“物體恒常性”（Object Permanence）。在 Marble 生成的世界里，當你轉身再轉回來，背后的物體依然存在且保持原狀，而不是像夢境一樣隨機變形。

李飛飛團隊提出了“實時幀模型”（RTFM），其目標是在單張 H100 GPU 的算力約束下，實現高效的 3D 空間推理。這是為了構建一個在幾何上一致、在時間上持久的“數字容器”，為未來能夠理解物理法則的 AI 打下地基。

3. 與楊立昆和而不同

楊立昆主張世界模型要做抽象理解的“隱式表征”，李飛飛的Marble則力求從抽象的內部表征中產生顯式表征。李飛飛認為隱式表征和顯式表征最終必須融合，但目前 World Labs 刻意選擇輸出顯式 3D 表征，目的是賦能人類。

未來的AI 不應只是一個黑盒，而應成為游戲開發者、建筑師和藝術家的“神經空間引擎”（Neural Spatial Engine）。它融合了傳統物理引擎（如Unreal）的確定性規則和生成式 AI 的統計創造力，讓普通人也能瞬間構建復雜的 3D 交互世界。

4. 視覺領域的“Next Token”難題

語言模型有完美的“預測下一個Token”作為目標函數。但在視覺領域，“預測下一幀”雖然強大但并不完美，因為它將三維世界壓縮為二維，丟失了結構信息。尋找視覺領域的“通用任務函數”仍是未解之謎。

5. AI目前還不懂物理

AI生成的物理現象（如重力、碰撞）多源于統計規律的模仿，而非對物理定律的因果理解。現有的Transformer架構可能難以產生如“相對論”般的高級抽象，未來五年，行業需要尋找一種新的架構突破，讓 AI 從統計相關性跨越到真正的因果邏輯和物理推理。

以下為李飛飛訪談實錄：

主持人：歡迎收聽本期播客。在這一集中，我很榮幸再次與人工智能先驅李飛飛博士對話。幾年前我曾在播客上邀請過飛飛，我也推薦大家去聽那一期節目。

在今天的對話中，我們將探討她關于“世界模型”（World Models）的見解以及“空間智能”（Spatial Intelligence）的重要性——這些都是打造真正理解現實世界并能與之互動的 AI 的關鍵要素。雖然大型語言模型（LLMs）已經非常驚人，但大量（甚至大部分）人類知識并未被文字所捕捉。為了實現更廣義的人工智能，模型需要親身體驗世界，或者至少通過視頻來學習。我們還討論了她的創業公司 World Labs 以及他們的第一個產品 Marble。Marble 可以從模型的內部表征生成令人難以置信的復雜 3D 空間。

1.從計算機視覺到空間智能的演進

主持人：我想先把話題從Marble 和你們那個能生成一致且持久的、供觀眾漫游的 3D 世界的新模型上移開，多談談你為什么把重點放在世界模型和空間智能上。為什么這是超越單純語言學習的必要條件？

另外，你的方法與楊立昆的方法有何不同？你現在的世界模型工作，究竟是你過去在環境智能（Ambient Intelligence）工作的延伸，還是平行的另一條路線？

李飛飛：過去幾年我一直思考的空間智能工作，實際上是我整個計算機視覺職業生涯重點的延續。

我之所以強調“空間智能”，是因為我們的技術已經發展到了這樣一個階段：其復雜程度和深層能力已經不再停留在僅僅“盯著”一張圖像的層面，甚至不僅僅是簡單的視頻理解。現在的核心是深度感知的空間，這與機器人學、具身智能（Embodied AI）以及環境智能都緊密相連。從這個角度看，這確實是我在計算機視覺與 AI 領域職業生涯的自然延伸。

主持人：正如你和其他許多人所指出的，語言模型是從以文本編碼的人類知識中學習的，但那只是人類知識的一個非常有限的子集。人類的學習是通過在沒有語言的情況下與世界大量互動獲得的。因此，如果我們要超越當前這些雖然了不起但仍有局限的大型語言模型，開發出能對世界有更直接體驗、能更直接從世界中學習的模型就顯得尤為重要。

談到具體方法，以Marble 為例，你的做法是將模型學到的世界內部表征提取出來，并創建一個與之對應的外在視覺現實。而楊立昆的方法主要是建立內部表征，讓模型能夠學習運動物理定律之類的東西。這之間有平行關系嗎？這兩種方法是互補的，還是有重疊？

李飛飛：首先，我不會把自己和楊立昆對立起來。我認為我們在智力上處于同一個連續體中，只是對空間智能和世界建模采取了不同的切入點。

如果你讀過我最近發表的那篇關于“空間智能”的長文（我稱之為宣言），我在這一點上說得很清楚。我認為，如果最終要構建一個通用的、全能的世界模型，隱式表征（Implicit Representation）和某種程度的顯式表征（Explicit Representation）最終可能都是必要的，尤其是在輸出層。

例如，World Labs 目前的世界模型 Marble 確實會顯式地輸出 3D 表征，但在模型內部，它同時也包含隱式表征。老實說，我認為這兩者最終都是不可或缺的。

在輸入模態方面也是如此。是的，從視頻中學習非常重要，畢竟整個世界可以看作是大量連續幀的輸入。但真正的智能，無論是對于動物還是機器，不僅僅是被動觀看。它還涉及到動作、互動的具身體驗，以及觸覺、聲音、氣味、物理力（Physical Forces）、溫度等。因此，我認為這在本質上是深度多模態的（Deeply Multimodal）。

Marble 作為一個模型只是第一步。在我們幾天前發布的那篇技術報告中，我們要表達得相當明確：多模態既是一種學習范式，也是一種輸入范式。目前學術界對此有很多討論，這也展示了該領域正處于早期且令人興奮的階段。可以說，我們在確切的模型架構和表征方式上的探索還遠未結束。

2.超越文本：多模態輸入與學習范式

主持人：在你那個世界模型中，輸入主要是視頻嗎？

李飛飛：如果你體驗過Marble，你會發現我們的世界模型輸入是相當多模態的。你可以只使用純文本，也可以使用一張或多張圖像，可以處理視頻，甚至可以輸入粗略的 3D 布局（比如盒子或體素）。它是多模態的，而且我認為隨著我們的推進，這方面的能力會進一步加深。

文本只是一種形式。是的，但這正是我們產生分歧的地方。大多數動物并不是通過復雜的語言來學習的，但人類是。不過，我們今天的AI 世界模型（World Models）將從大量的語言輸入以及其他模態中學習，它并非僅僅通過語言來進行信息的壓縮和傳遞。

主持人：這也是大型語言模型（LLMs）的一個限制，即模型在訓練后參數就固定了。所以它們不會持續學習，盡管在測試時的推理階段會有一定程度的學習。這是你在構建世界模型時試圖解決的問題嗎？因為我們可以推測，世界模型在遇到新環境時應當是不斷學習的。

李飛飛：是的，持續學習（Continuous Learning）范式確實非常重要。對于生物來說就是如此，這也是我們人類學習的方式。即使在生物學習中，也存在在線學習與離線學習的區別。在我們目前的世界模型形式中，仍然更多地處于批量或離線學習模式。但我們絕對持開放態度，尤其是未來涉及到在線學習和多模態融合時。

主持人：那會是怎樣的？會是一個完全不同的架構，還是僅僅是工程實現的問題？

李飛飛：我會保持開放的心態。我認為會是兩者的混合。顯然這需要優秀的工程實現，比如微調（Fine-tuning）和在線學習，但也可能會出現新的架構。

主持人：你能談談實時幀模型（Real-Time Frame Model）嗎？以及你們在世界模型方面的工作？

李飛飛：你指的是我們幾周前發布的一篇技術博客，那是專門深入探討我們的實時幀模型的。World Labs 是一個以研究為主的組織，雖然我們也關心產品，但現階段大量工作是以模型為先的。我們正著重研究如何推進空間智能（Spatial Intelligence）。這項特定的工作實際上是專注于如何實現基于幀的生成，并盡可能保持幾何一致性和持久性。

在早期的基于幀的生成操作中，當你向前移動視角時，往往會失去那種物體持久性。在這個特定案例中，我們努力實現平衡，并在推理期間以計算高效的方式完成這一點，即在推理時僅使用單個H100 GPU。我們不太清楚其他基于幀的模型的情況，因為他們沒透露推理時使用了多少芯片，但我們假設那是相當大的算力消耗。

3.尋找空間智能的“通用任務函數”

主持人：在你的那篇“宣言”里，你談到了需要一個“通用任務函數”（General Task Function）。這類似于語言模型中的“下一個 Token 預測”（Next Token Prediction）。它是否帶有預測元素？

李飛飛：生成式AI 最重大的突破之一，確實是發現了“下一個 Token 預測”這個目標函數。這是一個非常優美的表述，因為語言是以序列化方式存在的，你可以將語言 Token 化為這種序列表示。你用于下一個 Token 預測的學習函數，正是推理時所需要的。無論是人類還是計算機生成語言，實際上都是一個接一個地把標記向前推進。擁有一個與最終實際執行任務完全（100%）對齊的目標函數是極好的，因為它使優化可以完全針對目標進行。

但在計算機視覺或世界建模中，情況沒那么簡單。語言本質上是人類生成的，自然界中并不存在你盯著看的“語言”，哪怕你最終學會了閱讀，那也是因為它已經被生成了。但我們與世界的關系要更加多模態：世界就在那里等著你去觀察、解讀、推理并與之交互。人類還有一種“心眼（Mind's Eye）”，能夠構建不同版本的現實、想象并生成故事。這要復雜得多。

主持人：那么，定義這個通用任務的是什么？或者說，我們可以使用的通用目標函數是什么？有什么能像“下一個 Token 預測”一樣強大嗎？是 3D 重建嗎？

李飛飛：這是一個非常深刻的問題。有些人實際上會爭辯說，世界建模的通用任務可能就是對世界進行3D 重建。如果這是目標函數并且我們達成了它，很多事情就會水到渠成。但我并不這么認為，因為大多數動物的大腦并不一定會進行精確的三維重建，然而老虎或人類在空間上卻是如此強大的視覺智能體。

“下一幀預測”確實有一定力量。首先有大量用于訓練的數據；其次，為了預測下一幀，你必須學習世界的結構，因為世界不是白噪聲，幀與幀之間存在大量結構連接。

但這也令人不滿意，因為你把世界當作二維的，這種壓縮方式非常糟糕。即使你做得完美，3D 結構也只是隱式的，這種基于幀的方式會丟失很多信息。所以在這方面仍有很多探索空間。

主持人：我得問你，你們把模型命名為RTFM（Real-Time Frame Model），這是個玩笑嗎？

李飛飛：這確實是一次絕妙的“表演”。名字不是我起的，是我們的一位研究員，他在命名方面真的很有天賦。我們覺得用那個名字玩個梗很有趣。

主持人：但是RTFM 是在預測下一幀，并且具有三維一致性，對吧？

李飛飛：是的。

主持人：這就是模型所學內部表示有趣的地方。比如我看著電腦屏幕，即使看不見背面，我也知道它長什么樣，因為我腦海中有它的內部表征。這就是為什么你可以在屏幕這個二維平面上移動物體，卻能看到它的另一面。模型擁有三維物體的內部表征，即使它當前的視角看不見物體的背面。當你說到空間智能時，這是否包括自然的物理法則？比如理解你不能穿過一個固體物體？或者如果站在懸崖邊，它知道那是邊緣，如果走過去會掉下去而不是浮在空中？

李飛飛：你描述的既有物理層面也有語義層面。從懸崖掉下去很大程度上取決于重力定律，但穿墻而過則基于材質和語義（固體與非固體）。目前作為一個現有模型，RTFM 還沒有把重點放在顯式的物理學上。

大部分的“物理”實際上是從統計中涌現的。許多生成式視頻模型展示的水流或樹木移動，并不是基于牛頓力學定律和質量計算出來的，而是基于對大量統計模式的遵循。World Labs 目前仍然專注于生成和探索靜態世界，但我們也將探索動態，其中很多將是統計學習。

我不認為今天的AI 有能力在不同層次上進行抽象并推導物理規律。另一方面，我們有像 Unreal 這樣的空間物理引擎，其中有明確的物理定律在起作用。最終，這些游戲引擎/物理引擎將與世界生成模型融合成我稱之為“神經空間引擎（Neural Spatial Engine）”的東西。我們正朝著那個方向前進，但現在還處于早期階段。

4.顯式表征的價值：賦能創作者與產業

主持人：我不是想讓你和楊立昆對立。但你似乎關注的是從抽象的內部表征中產生顯式表征，而楊立昆只是關注內部表征。

李飛飛：在我看來它們會完美結合。我們同時探索兩者。輸出顯式表征其實是一種非常刻意的方法，因為我們希望這對人有用。

我們希望這對那些在創作、模擬和設計的人有用。如果你看看當今的行業，無論你是在制作視覺特效（VFX）、開發游戲、設計室內、還是為機器人或自動駕駛車輛進行仿真（數字孿生），這些行業的工作流程都非常依賴 3D。我們希望這些模型對個人和企業都絕對有用。

主持人：這就回到了持續學習的話題。比如一個機器人上的模型，通過攝像機在世界中移動獲取數據，最終它不僅學習場景，還理解空間的物理性，然后與語言結合？這是否需要持續學習？

李飛飛：絕對如此。尤其是當接近某個用例時，持續學習至關重要。這可以通過多種方式實現：在語言模型中，將上下文本身作為輸入就是一種持續學習（作為記憶）；此外還有在線學習和微調。在空間智能領域，無論是個性化機器人還是具有特定風格的藝術家，最終都會推動這項技術在不同時間尺度上變得更具響應性，以滿足具體用例的需求。

5.未來展望：AI模型的技術跨越

主持人：你現在的進展非常快，特別是想到你曾在新澤西經營過干洗店，雖然那是很短的一段時間，但這種跨越真是令人驚嘆。你對這項技術五年后的發展程度有什么判斷嗎？比如模型內部是否會內置某種物理引擎，或者擁有更長時間尺度的學習能力，從而建立起更豐富的內部表征？也就是說，模型是否會開始真正理解物理世界？

李飛飛：實際上，作為一名科學家，很難給出一個精確的時間預測，因為有些技術的進展比我預期的快得多，而有些則慢得多。但我認為這是一個非常好的目標，而且五年確實是一個相當合理的估計。我不知道我們會不會更快實現，但在我看來，這比猜測五十年要靠譜得多，當然也比猜測五個月要靠譜。

主持人：你能否稍微談談，為什么你認為“空間智能”（Spatial Intelligence）是下一個前沿？正如我們所知，包含在文本中的人類知識只是全部人類知識的一個子集。雖然它非常豐富，但你不能指望一個 AI 模型僅通過文本就能理解世界。能具體談談為什么這很重要嗎？以及 Marble 和 World Labs 是如何與這個更大的目標相關聯的？

李飛飛：從根本上講，技術應該幫助人類。與此同時，理解智能科學本身是我能想到的最迷人、最大膽、最有雄心的科學探索，這是屬于21世紀的探索課題。

無論你是被科學的好奇心吸引，還是被用技術幫助人類的動機驅動，這都指向了一點：我們的大量智能，以及我們工作中的大量智能是超越語言的。我曾半開玩笑地說，你無法用語言去滅火。在我的宣言里，我舉了幾個例子：無論是空間推理、DNA 雙螺旋結構的推導，還是一名急救人員在快速變化的情況中與團隊協作滅火，很多內容都超越了語言。

所以，從應用角度來看這是顯而易見的；作為一項科學探索，我們應該盡最大努力去破解如何發展空間智能技術，帶我們進入下一個層次。從宏觀角度來看，這就是驅動我的雙重動機：科學發現以及為人類制造有用的工具。

我們可以更深入地探討一下其實用性。無論是在談論創造力、模擬、設計、沉浸式體驗、教育還是醫療保健，甚至是制造業，利用空間智能可以做的事情實在太多了。實際上，我很興奮，因為許多關心教育、沉浸式學習和體驗的人告訴我，Marble（我們需要發布的首個模型）激發了他們思考如何將其用于沉浸式體驗，使學習更具互動性和趣味性。這是如此自然，因為還不會說話的兒童完全就是通過沉浸式體驗來學習的。即便作為成年人，我們的生活也大多沉浸在這個世界中，雖然包括聽說讀寫，但也包括實踐、互動和享受。

主持人：是的。Marble 讓所有人都印象深刻的一點是，它不僅僅是生成下一幀畫面，而是在一個空間中移動，而且它僅在一塊 H100 GPU 上運行。我在你其他的演講中聽到你提到過“體驗多重宇宙”（experiencing the multiverse）。大家一開始都很興奮，直到意識到這需要巨大的計算量和昂貴的成本。你真的認為這是朝著為教育創建虛擬世界邁出的一步嗎？因為看起來你們已經能夠減少計算負擔了。

李飛飛：首先，我真的相信在推理方面我們會加速，我們將變得更高效、更優秀、規模更大、質量更高。這是技術的趨勢。我也相信多重宇宙的概念。就我們所知，整個人類歷史的經驗只存在于一個世界里，確切地說是地球這個物理實體。雖然有極少數人登上過月球，但也就僅此而已。我們在3D 空間中建設文明、生活、做所有事情。

但隨著數字革命和數字爆炸，我們正把生活的一部分轉移到數字世界中，這兩者有很多交叉。我并不想描繪一種我們放棄了物理世界的反烏托邦圖景，也不會描繪一種每個人都戴著頭盔、永遠無法欣賞真實世界的極端烏托邦式虛擬世界，那是生命最充實的部分，我會拒絕這兩種極端觀點。

但從實用角度以及對未來的設想來看，數字世界是無邊無際的。它是無限的，它為我們提供了物理世界無法允許的更多維度和體驗。例如，我們討論過關于學習的問題。我真希望能以更互動、更沉浸的方式學習化學。我記得大學化學課有很多關于分子排列、理解對稱性和分子結構不對稱性的內容。我真希望能在沉浸式體驗中親自感受那些東西。

我遇到的許多創作者，我意識到在他們的腦海中，每一瞬間都有無數的想法，但他們受制于工具的限制。例如使用Unreal Engine（虛幻引擎），要把腦中的一個世界表達出來需要花費數周甚至數小時的工作時間。無論你是制作一部奇幻音樂劇，還是為新生兒設計臥室，如果我們允許人們像在物理世界中一樣，充分利用數字宇宙去反復嘗試、交流和創造，那將非常有趣。

此外，數字時代也在幫助我們打破物理邊界和勞動的限制。比如遠程操控機器人。我完全可以想象創作者通過具身化的化身（Avatar）在全球協作，通過機械臂或任何形態以及數字空間，使他們既能在物理世界中工作，也能在數字世界中工作。電影行業也將被徹底改變，現在的電影是被動體驗，盡管很美好，但我們將改變獲得娛樂的方式。所以這一切都需要多重世界。

主持人：還有關于瞬移或者遙操作機器人，比如有人在談論在小行星上開采稀土。如果你不需要親身到場，而是能遠程操作機器人，那就在那些空間里實現了。你所談論的是創建人們可以體驗的3D 空間的顯式表征。在你的模型中，這個模型自身在多大程度上“理解”它所處的空間？它是內化了這些信息，還是僅僅是將其顯式地投射出來？

這是一個朝著真正理解世界的人工智能努力的過程。不僅僅是對三維空間有一個表示，而是真正理解物理定律，理解它所看到的東西，甚至包括這些東西的價值、有用性，以及如何操縱物理世界。你認為目前已經存在多少這樣的理解？要讓那些模型真正理解這個世界，還需要發生什么？

李飛飛：這是一個很棒的問題。“理解”是一個很深刻的詞。當AI “理解”某樣東西時，它本質上與人類的理解不同。部分原因是我們是非常不同的存在。人類是具身的（embodied），是在一個有形的身體里存在的。例如，當我們真正理解“我的朋友很高興”時，這不僅僅是抽象的理解。你能感受到你體內發生的化學反應，釋放快樂激素，心跳加速，情緒改變。那種理解層次與抽象的AI Agent非常不同。

AI Agent能夠正確地分配意義并建立聯系。例如，在 Marble 我們的產品中，你可以進入世界生成的高級模式進行編輯。你可以預覽這個世界并說：“我不喜歡這張沙發是粉色的，把它換成藍色。”然后它就把它改成藍色。它是否理解“藍色沙發”和“更改”這個詞的含義？是的。因為沒有這種理解，它就無法執行任務。

但它是否像你我一樣理解關于沙發的一切？包括沙發的用途、甚至無用的信息？它有關于沙發的記憶嗎？它會把“沙發”這個概念推廣到許多其他事物上嗎？不，它沒有。作為一個模型，它的能力有限，只能根據要求創建一個包含藍色沙發的空間。

所以我認為AI 確實能“理解”，但不要將這種理解誤解為擬人化的、人類層面的理解。這種理解更多是語義層面的，而不是那種光線打在視網膜上產生感知體驗的理解。

主持人：我看過你和Peter Diamandis 以及埃里克·施密特（Eric Schmidt）的討論。其中有一點讓我印象深刻，是關于 AI 可能具有創造力或用于輔助科學研究的討論。當時給出的類比是：如果在愛因斯坦發現相對論之前就有人工智能，AI 能推理出那一發現嗎？對于 AI 來說，要具有這種科學推理層面的創造力，還缺少什么？

李飛飛：我認為我們更接近于讓AI 推導出雙螺旋結構，而不是提出狹義相對論。部分原因是我們已經看到了很多出色的蛋白質折疊相關工作。推斷雙螺旋結構的表示更扎根于空間和幾何。

而狹義相對論的表述是在抽象層面上。我們在物理中看到的所有事物，從牛頓定律到量子力學，都是將作用抽象到因果層面。比如質量、力這些概念，是被抽象到不再僅僅是純粹統計模式生成的層次。語言可以是統計性的，3D 或 2D 世界的動力學可以是統計性的，但對力、質量、磁性以及因果關系的抽象，并非純粹的統計性，而是非常深刻的因果性和抽象性。

我和Eric 在臺上都在說，如果我們把所有關于天體觀測的數據、衛星數據都聚合起來交給當今的 AI，它也許能通過數據推導并擬合出牛頓運動定律。

主持人：既然AI 如果給出數據就能推斷出運動定律，那你為什么認為它無法推導出相對論那些定律呢？

李飛飛：當我們說那些定律被“推導”出來時，牛頓不得不推導、抽象出諸如“力”、“質量”、“加速度”以及那些基本常數的概念。那些概念處于一個我還沒有在目前的AI 中見過的抽象層面。

如今的AI 可以利用大量數據，但在那個層面的抽象表示、變量或關系上，還沒有太多證據表明它能做到。我并不了解 AI 中發生的一切，如果我被證明是錯的，我很樂意接受。但我還沒聽說過有任何工作能在 Transformer 模型的架構中做到那種層次的抽象。我看不出那種抽象能從哪里來，這就是我對此表示懷疑的原因。這需要構建內部抽象的內部表征，以及應用邏輯知識的規則。這可能需要我們在基礎架構和算法上取得更多進展。

主持人：這正是我想問的。你一直在和人們討論后Transformer（post-transformer）架構。你是否預期會出現一種新的架構能解鎖其中一些能力？

李飛飛：我同意，我確實認為我們會有架構上的突破。我不認為Transformer 是 AI 的最后一項發明。在宏觀的時間尺度上，與宇宙歷史相比，人類存在的時間并不長，但在我們簡短的歷史中，我們從未停止創新。所以我不認為Transformer 是 AI 的最終算法架構。

主持人：你曾提到，你曾設想如果你能讓一個AI 系統為圖像打標簽或生成說明，那本該是你職業生涯的巔峰。當然你早就超越了這一點。那么現在，你想象中未來職業生涯的巔峰成就從今天開始會是什么？

李飛飛：我確實認為開啟“空間智能”很重要。創建一個真正將感知與推理相連接的模型：從“看見”到“做”，包括規劃和想象，并將想象轉化為創造。那會非常了不起。一個能同時做到這三點的模型。