跨維智能賈奎：下一個十年是物理世界的 AGI

2016 年，賈奎結(jié)束海外學(xué)業(yè)回國，投身計算機(jī)視覺研究。彼時大量人才涌入人臉識別與圖像理解賽道，他卻轉(zhuǎn)身選擇了一條幾乎無人涉足的方向。

接下來的五年里，他反復(fù)追問兩個看似簡單的問題：3D 數(shù)據(jù)的本質(zhì)是什么？Physical AGI 的定義又是什么？在他看來，這些圍繞三維世界展開的探索才是核心命題。

選擇冷門方向也意味著要付出長期「坐冷板凳」的代價。

在那些等待的日子里，他一遍遍推演模型、反復(fù)驗(yàn)證假設(shè)，也不斷重構(gòu)自己對世界的理解，但幾乎從未動搖過。「如果你做的就是你喜歡的事情，那為什么要換呢？」這是他判斷一個人是否幸運(yùn)的標(biāo)準(zhǔn)，簡單得近乎樸素。

他對世界模型的理解同樣帶著一種近乎直覺的準(zhǔn)確。

他認(rèn)為 Physical AGI 之所以被稱為物理通用人工智能，關(guān)鍵在于它必須真正進(jìn)入物理世界，并最終落到一個具體的智能終端上。

人從不同的視角觀察世界，看到的往往只是現(xiàn)實(shí)的一個個鏡像。當(dāng)無數(shù)片面、零散的信息疊加在一起，世界便顯得極為復(fù)雜。但在賈奎眼里，物理世界是簡潔的。如果能觸達(dá)其中的真實(shí)機(jī)理，它會像愛因斯坦的 E=mc2 一樣輕盈。只有找到這種本質(zhì)規(guī)律，才可能構(gòu)建出真正科學(xué)的世界模型。

2025 年底，跨維智能開源了核心技術(shù) EmbodiChain——一條在線數(shù)據(jù)流與模型生產(chǎn)線，實(shí)現(xiàn)了完全基于 100% 生成式合成數(shù)據(jù)訓(xùn)練的虛擬物理模型。在這個世界里，讓 AI 去學(xué)習(xí)物理世界的本質(zhì)規(guī)律，環(huán)境、對象、機(jī)器人本體都可以持續(xù)演進(jìn)。

通往終點(diǎn)的路徑不止一條。跨維選擇的是一條更長遠(yuǎn)的路：先創(chuàng)造「世界」，再讓 AI 深入物理世界的每一個角落，最終構(gòu)建出通往 Physical AGI 的可持續(xù)之路。

通往 Physical AGI

Q：請先介紹下自己以及跨維現(xiàn)在在做的事。

賈奎：從 2021 年創(chuàng)立至今，跨維智能一直致力于解決 AI 與三維物理世界的交互問題。

2001 年，我就開始研究計算機(jī)視覺。從 2016 年起，我開始探索如何利用 AI 進(jìn)行 3D 建模與生成，以及如何通過合成數(shù)據(jù)訓(xùn)練模型，驅(qū)動機(jī)器人完成靈巧作業(yè)。

一個重要的技術(shù)節(jié)點(diǎn)是在 2019 年，我們發(fā)表了一個端到端模型，它能夠完全依靠混合數(shù)據(jù)訓(xùn)練，實(shí)現(xiàn)對未知物體的精準(zhǔn)抓取。這些技術(shù)積淀為我們 2020 年籌備創(chuàng)立公司打下了基礎(chǔ)，當(dāng)時真格也作為天使投資方加入。

這幾年，隨著 Physical AI 的興起和大模型的加持，跨維智能的底層技術(shù)、產(chǎn)品與業(yè)務(wù)也經(jīng)歷了一個從穩(wěn)健到加速發(fā)展的周期。如今，我們逐步形成了一套多維協(xié)同的產(chǎn)品矩陣：以 DexVerse? 引擎為技術(shù)底座，配合 KINGFISHER 視覺傳感器、Dexforce W1 人形機(jī)器人本體，以及 PickWiz 機(jī)器人大腦軟件。

回到跨維智能的核心信仰：Develop a sustainable road towards Physical AGI（構(gòu)建一條通往 Physical AGI 的可持續(xù)道路）。我們希望走出一條可持續(xù)的路徑，以持續(xù)的原創(chuàng)技術(shù)推動 AI 深入物理世界的每一個角落，在不同行業(yè)中創(chuàng)造真正的價值。

Q：你目前怎么理解 Physical AI？在創(chuàng)業(yè)過程中有什么變化？

賈奎：我始終認(rèn)為 Physical AI 是一件需要在實(shí)踐中推進(jìn)的事情。只有不斷做技術(shù)、做產(chǎn)品，才能真正走近它。人是一個典型的高級生物智能體。人的認(rèn)知智能與身體形態(tài)的關(guān)系正對應(yīng)著今天大語言模型與 Physical AGI 的關(guān)系。

從技術(shù)來看，目前我們?nèi)宰裱珊Ａ繑?shù)據(jù)、大模型和強(qiáng)算力支撐的 AI 范式。這種范式受惠于 90 年代以來互聯(lián)網(wǎng)所累積的文本、圖像和視頻，因此大語言模型和多模態(tài)在 2022-25 年間實(shí)現(xiàn)了快速積累。

但 Physical AGI 是下一個十年，甚至更長周期的命題。它對數(shù)據(jù)的要求不僅是數(shù)量的增加，更是數(shù)據(jù)產(chǎn)生范式的一次根本性變化。

實(shí)現(xiàn) Physical AGI 的基本數(shù)據(jù)要素可能來自于真實(shí)機(jī)器人的數(shù)據(jù)采集，也可能借由視頻生成，或者是我們團(tuán)隊非常擅長的 3D 生成式技術(shù)以及生成式仿真（Generative Simulation）等前沿范式。

另一方面，Physical AI 必須落地在實(shí)際的智能體上，在家庭、工廠等真實(shí)應(yīng)用場景中運(yùn)行。這又對終端智能體的功能提出了不同訴求。

無論是從技術(shù)還是應(yīng)用角度，Physical AGI 都比目前大家看到的大模型和 AI Agent 應(yīng)用更難。但它的天花板更高，想象空間更大，對整個社會經(jīng)濟(jì)和人類行為的牽引作用也更大。

正在洗牌的跨維機(jī)器人

Q：你在設(shè)計跨維智能人形機(jī)器人的本體構(gòu)型時有哪些考量？

賈奎：Physical AGI 之所以被稱為物理通用人工智能，核心在于它必須進(jìn)入物理世界，并最終落到一個具體的智能終端上。

這個終端的形態(tài)則取決于它應(yīng)用場景的第一性原理。如果是應(yīng)用在工廠里的機(jī)器人，它不一定非要具備人形，它的核心訴求是能否穩(wěn)定、高精度地完成既定作業(yè)任務(wù)。

在一些商業(yè)服務(wù)場景，機(jī)器人的演進(jìn)路徑會變得更像人類。在社會生活或商業(yè)服務(wù)中，人是在打造自己的 IP 和人設(shè)，因?yàn)槟阗u的不僅僅是功能，還有品牌價值。如果我們將眼光跳出數(shù)字人，去觀察物理世界真實(shí)存在的人，就會發(fā)現(xiàn)營造機(jī)器人 IP，讓它本身產(chǎn)生衍生價值，是一件非常重要的事情。

至于家庭場景，大家對機(jī)器人有多維度的訴求。首先是解決實(shí)際的家務(wù)問題，比如我們希望在下班后，它能把鞋柜整理好；或者在家里有小朋友的情況下，能把散落一地的玩具收拾妥當(dāng)。這是對它工具屬性的需求。

但如果機(jī)器人具備了人形形態(tài)，人們會有更高的陪伴訴求。這種陪伴涵蓋了語言的交流、情感的互通，甚至包括外形是否可愛、是否有溫度。這就是為什么目前有人專門研究「有溫度」的機(jī)器人，或者在外觀設(shè)計上追求極致美感。

如果你想要打造一個既能解決實(shí)際問題，又能與人產(chǎn)生良性互動的深度產(chǎn)品，兼顧外形設(shè)計與交互邏輯至關(guān)重要。

實(shí)現(xiàn)世界模型

Q：你怎么看現(xiàn)在幾種不同的數(shù)據(jù)采集方式？

賈奎：行業(yè)普遍期待，大語言模型中觀察到的 Scaling Law 也能在 Physical AI 上出現(xiàn)。但這里有一個前提：如果沒有足夠量級的數(shù)據(jù)支撐，單純增加模型規(guī)模或算力意義不大。

因此，具身智能當(dāng)下面臨的首要問題，是如何提升數(shù)據(jù)產(chǎn)生的效率。

在 2024-25 年間，行業(yè)逐漸形成了一種共識：通過搭建數(shù)采場、利用真機(jī)遙操來獲取訓(xùn)練數(shù)據(jù)。但這種方式的效率依然有限。后來也出現(xiàn)了像 UMI（Universal Manipulation Interface，通用操作接口）這樣更高效的本體采集方案，不過這種路徑究竟能訓(xùn)練出多強(qiáng)的模型還有待驗(yàn)證。

另一條被寄予厚望的路徑是視頻生成。像 Sora 這樣的模型在內(nèi)容創(chuàng)作領(lǐng)域已經(jīng)展現(xiàn)出強(qiáng)大的能力，但視頻生成的本質(zhì)是二維結(jié)果。從技術(shù)范式來看，基于擴(kuò)散模型的視頻生成本質(zhì)還是在 RGB 像素空間中建模，缺乏明確的物理因果結(jié)構(gòu)。這意味著它在精度、穩(wěn)定性和物理一致性上，很難達(dá)到嚴(yán)格的工程標(biāo)準(zhǔn)。

我們的目標(biāo)是一方面充分利用模型與算力帶來的生成效率，另一方面又保證生成內(nèi)容具備嚴(yán)格的三維物理真實(shí)性。圍繞這一點(diǎn)，我們也做了嚴(yán)謹(jǐn)?shù)脑硇则?yàn)證。結(jié)果證明，完全基于 100% 生成式合成數(shù)據(jù)訓(xùn)練出來的模型，在真實(shí)應(yīng)用中確實(shí)可以跑通。

我們真正應(yīng)該關(guān)注的不是某一種數(shù)據(jù)獲取方式本身的優(yōu)劣，而是哪一種數(shù)據(jù)范式，能夠讓 AI 大模型的 Scaling Law 真正運(yùn)轉(zhuǎn)起來。

Q：當(dāng)時 Sora 發(fā)布的時候，你有什么感受？

賈奎：Sora 發(fā)布時一個很重要的傳播理念就是世界模型。

但世界模型這一概念早在 2018 年就在強(qiáng)化學(xué)習(xí)領(lǐng)域被提出了。它的核心邏輯是，如果要進(jìn)行高效的強(qiáng)化學(xué)習(xí)，系統(tǒng)必須具備一個內(nèi)在的模型來模擬世界，從而學(xué)習(xí)并產(chǎn)生優(yōu)秀的策略。盡管這一理念在學(xué)術(shù)界早已存在，但此前一直沒有大眾化。

Sora 的驚艷之處在于它生成的視頻在外觀、動態(tài)和場景表現(xiàn)力上遠(yuǎn)超以往，但它依然是在 RGB 像素空間內(nèi)進(jìn)行擴(kuò)散模型的學(xué)習(xí)。OpenAI 試圖說明，如果我們的模型不是世界模型的話，為何能產(chǎn)生如此逼真的視頻結(jié)果？

Physical AI 所需模型的服務(wù)對象不是人類的眼睛，而是具體的任務(wù)執(zhí)行，比如機(jī)器人要如何精準(zhǔn)地拿起一杯咖啡并遞到你手上。

這與單純的二維視覺觀感完全不同。具備基礎(chǔ)機(jī)器學(xué)習(xí)或工程知識的人都明白，二維圖像只是三維世界在特定視角下的投影，這意味著信息在投影過程中必然發(fā)生缺失。生成的視頻看起來很精美，但一旦切換視角，往往會暴露出大量的失真。

目前的視頻生成視覺模型從根本上無法解決生成結(jié)果在 3D 形狀準(zhǔn)確性、物理準(zhǔn)確性以及動態(tài)因果準(zhǔn)確性上的問題。

Q：目前世界模型處在一個怎樣的進(jìn)程？

賈奎：這是一個大家都想要實(shí)現(xiàn)的目標(biāo)。但究竟該如何實(shí)現(xiàn)，我認(rèn)為首先要把問題想清楚。目前業(yè)界對于「什么是世界模型」依然缺乏一個公認(rèn)且精確的定義。

在定義尚未統(tǒng)一時，人們只能用結(jié)果來評價一個模型是否真正具備世界模型的能力。如果你的模型是世界模型，它在無人駕駛場景中就應(yīng)該始終能夠準(zhǔn)確避障、規(guī)劃路徑；在機(jī)器人作業(yè)中，也應(yīng)該精準(zhǔn)且穩(wěn)定地完成抓取與操作。

Q：跨維實(shí)現(xiàn)世界模型的優(yōu)勢是什么？

賈奎：我們的世界模型從 AI 架構(gòu)建模方式的底層邏輯上就確保了絕對的三維穩(wěn)定性。如果從統(tǒng)計學(xué)或數(shù)學(xué)的角度來看，這個物理世界非常簡潔。

為什么大家卻覺得它復(fù)雜？因?yàn)槲覀冊谕ㄟ^不同的視角觀察世界，包括人的眼睛和各種感知傳感器，而這些觀測結(jié)果都只是真實(shí)世界的鏡像。這些鏡像提供的往往是片面的信息，當(dāng)無數(shù)片面且瑣碎的信息交織在一起時，就會讓人產(chǎn)生世界極其復(fù)雜的錯覺。

但實(shí)際上，如果你能觸達(dá)世界內(nèi)蘊(yùn)的真實(shí)機(jī)理，它就像愛因斯坦的 E=mc^2 一樣簡潔明了。只有找到了這種真正正確、簡潔的本質(zhì)規(guī)律，你才能構(gòu)建出真正科學(xué)的世界觀。

我們的核心邏輯正是通過 AI 去學(xué)習(xí)這種本質(zhì)規(guī)律，而不是粗暴地利用海量視頻進(jìn)行堆砌訓(xùn)練。因?yàn)榇罅康囊曨l本質(zhì)上只是不同視角下的景象疊加，學(xué)習(xí)效率低下，也無法從根本上保障三維物理的準(zhǔn)確性。

其實(shí)別的團(tuán)隊也不是不能做，行業(yè)內(nèi)幾乎所有的團(tuán)隊都會強(qiáng)調(diào)三維物理的重要性，也都在嘗試往這個方向努力。而我們團(tuán)隊的優(yōu)勢在于，在神經(jīng)三維建模（Neural 3D Modeling）和神經(jīng)三維生成（Neural 3D Generation）領(lǐng)域，即利用 AI 進(jìn)行三維物理建模與生成的技術(shù)路線上，我們始終處于行業(yè)領(lǐng)先地位。

Q：您能簡單地講一下跨維最近的開源工作嗎？

賈奎：我們開源的 EmbodiChain 數(shù)據(jù)生成管線正面回應(yīng)了為什么數(shù)據(jù)產(chǎn)生效率如此重要。

在《GS-World》中，我們開篇提出了效率定律（Efficiency Law），它是規(guī)模定律（Scaling Law）的前提。只有當(dāng)數(shù)據(jù)產(chǎn)生效率滿足特定條件時，模型性能才方能持續(xù)提升。

它接著講如何用生成式的方式，嚴(yán)謹(jǐn)?shù)貥?gòu)建出一個符合物理規(guī)律的三維虛擬世界。在這個世界里，我們可以高效地生成環(huán)境、操作對象乃至機(jī)器人本體。機(jī)器人可以在這個可控的虛擬空間中通過作業(yè)產(chǎn)生數(shù)據(jù)，進(jìn)而形成模型，甚至實(shí)現(xiàn)本體的進(jìn)化。

這不僅是一項具體的學(xué)術(shù)成果，也是我們的一份技術(shù)路線圖。

EmbodiChain 示意圖

基于此，我們設(shè)計了一套能夠?qū)崿F(xiàn)效率定律的架構(gòu)。這首先是一個從模擬到現(xiàn)實(shí)的過程。無論是通過真機(jī)遙操、UMI 這種方式，還是直接記錄人類操作的視頻，我們都能從中提取出三維邏輯動作，并將其投射到虛擬世界。隨后，我們在虛擬世界中進(jìn)行高效的數(shù)據(jù)擴(kuò)增和強(qiáng)化學(xué)習(xí)。這種范式既能生成精準(zhǔn)的三維物理模型，也能生成動作策略。

我們也在開源的 Motion 數(shù)據(jù)集上進(jìn)行了嚴(yán)格的對比測試。結(jié)果顯示，這種范式在效率和成功率上明顯優(yōu)于英偉達(dá)的 GR00T、RDT 等主流模型。正如我們所發(fā)布的，跨維智能確實(shí)實(shí)現(xiàn)了完全使用 100% 生成的合成數(shù)據(jù)訓(xùn)練出的 VLA 模型。這在全球范圍內(nèi)都是絕無僅有的。

我們認(rèn)為正確的邏輯是你必須首先送進(jìn)去一個有價值的機(jī)器人，讓它運(yùn)行起來服務(wù)客戶、產(chǎn)生價值。

我們效仿無人駕駛領(lǐng)域開啟「影子模式」，讓數(shù)據(jù)回流。在這種模式下回流的是高質(zhì)量、帶標(biāo)注、剔除異常數(shù)據(jù)、能直接提升模型性能的數(shù)據(jù)。此時，機(jī)器人已經(jīng)在真實(shí)環(huán)境中工作并產(chǎn)生了收益，獲取數(shù)據(jù)只是順道完成的過程。這才是產(chǎn)品和服務(wù)高效演進(jìn)的數(shù)據(jù)飛輪范式。

經(jīng)歷「冷板凳時期」

Q：當(dāng)時是什么契機(jī)開始關(guān)注到世界模型？

賈奎：當(dāng)時關(guān)注到這個領(lǐng)域，是因?yàn)槲谊P(guān)注的是 AI 信號的本質(zhì)。

回看 2015 年，當(dāng)時太多的人涌入人臉識別和圖像理解領(lǐng)域，但我會去思考 3D 數(shù)據(jù)的本質(zhì)是什么？信號的本質(zhì)又是什么？作為一個做創(chuàng)新研究的人，最基本的要素就是絕對不能跟風(fēng)。如果一件事情已經(jīng)有很多人在做了，那么它就不應(yīng)該是你的首選。研究者必須遵從第一性原理，而不是人云亦云。

在那個沒有人涉足的階段，這些關(guān)于 3D 維度的探索才是 AI 領(lǐng)域中更本質(zhì)、更重要的問題，是我認(rèn)為真正有價值的創(chuàng)新。這種獨(dú)立研究的能力，其實(shí)是每一個成熟的博士在職業(yè)訓(xùn)練階段就應(yīng)該具備的基本要素。

當(dāng)然，這種堅持是有代價的。研究的源頭固然可以基于好奇心，但在好奇心之上，還需要帶一點(diǎn)「功利」的思考，這種好奇心最終能否產(chǎn)生價值？無論是短線、中期還是長線的價值，你必須去推演它。

選擇非熱門方向的代價就是你可能需要長期「坐冷板凳」。我們觀察 AI 的發(fā)展史，從 1950 年代至今經(jīng)歷了幾輪波峰波谷，即便像 AI 教父辛頓（Geoffrey Hinton）也經(jīng)歷過極長周期的冷板凳時期。

人要有自己的堅持。

Q：你什么時候有過這種「坐冷板凳」的感覺？

賈奎：在 2016 年到 2021 年這段時間里，坦白說，我獲得的成就感遠(yuǎn)比那些做圖像理解的人要少得多。

在學(xué)術(shù)界，你的論文引用量很大程度上取決于研究該問題的基數(shù)。如果全球范圍內(nèi)關(guān)注某個 3D 任務(wù)的人只有 1000 個，而研究圖像理解的有 100 萬人，那么無論研究做得多好，在絕對影響力指標(biāo)上也無法與熱門方向相比。在長達(dá)五年的時間里，這種差距是客觀存在的。

但即便是在那段時間里，我也沒有想過要更換方向。我覺得判斷一個人是否幸運(yùn)的標(biāo)準(zhǔn)在于，他是不是在做自己真正喜歡的事情。如果你做的就是你喜歡的事情，那為什么要換呢？

在當(dāng)時，我依然堅信自己所做的研究具有更大的價值，這與我如今對 Physical AGI 的判斷邏輯是一致的。

從企業(yè)成長和創(chuàng)業(yè)邏輯來看，Physical AGI 的天花板比現(xiàn)在的大模型廠商的天花板還要高。

Q：科研和創(chuàng)業(yè)有什么不同？

賈奎：科研創(chuàng)新與創(chuàng)業(yè)是不同形式的價值創(chuàng)造與實(shí)現(xiàn)。從科研創(chuàng)新的角度來看，你潛心鉆研，期待邏輯上成立的研究最終會產(chǎn)生價值，但成果還是往往停留在紙面上，這種互動相對內(nèi)斂且間接。

相比之下，創(chuàng)業(yè)則是實(shí)打?qū)嵉貜纳虡I(yè)價值出發(fā)進(jìn)行反向推導(dǎo)。為了實(shí)現(xiàn)真正的價值，我們需要什么樣的產(chǎn)品或服務(wù)？哪些技術(shù)需要突破且具備條件？突破的周期是多久？在這種邏輯下，我們還需要思考團(tuán)隊的核心優(yōu)勢、差異化特色以及能否在目標(biāo)商業(yè)場景中真正產(chǎn)生價值。

這種思維方式的轉(zhuǎn)變，能讓我們在創(chuàng)新的過程中擺脫一些科研慣性。我們不會為了發(fā)表論文而去做事，也不會去做那些看似有價值、實(shí)則無法在商業(yè)上產(chǎn)生實(shí)際貢獻(xiàn)的研究。

當(dāng)你的產(chǎn)品在真實(shí)的場景中被使用起來，那種成就感與單純追求論文引用量是完全不同的。這種價值創(chuàng)造更加直接，能夠真實(shí)地在社會的各個層面反映出來，無論影響是大是小。

回歸勞動力本質(zhì)

Q：有沒有什么具體的合作案例可以分享？

賈奎：我們在工業(yè)、物流等相對半結(jié)構(gòu)化的場景中已經(jīng)積累了大量經(jīng)驗(yàn)，部分項目的運(yùn)行時間已超過兩年。我們不是單純在推廣跨維這個機(jī)器人品牌，而是要將機(jī)器人深度嵌入加盟店、品牌方和購物中心的業(yè)務(wù)流程里。

讓別人生意做得更好才是這臺人形機(jī)器人真正的價值。

一個案例是我們和「維小飯」的合作。維小飯是一家在深圳和香港的健康飲食品牌，每份盒飯都會標(biāo)注卡路里。我們的機(jī)器人部署在維小飯的門店內(nèi)，承擔(dān)售賣引導(dǎo)等工作。這種「健康飲食 + 前沿科技」的組合既是一個極具吸引力的商業(yè)噱頭，也是機(jī)器人在真實(shí)商業(yè)環(huán)境中去創(chuàng)造價值的實(shí)踐。

跨維在「維小飯」門店部署的機(jī)器人

Q：跨維產(chǎn)品的差異化特色在哪里？

賈奎：核心不在于單純的技術(shù)高低，而在于誰能真正跑通技術(shù)到細(xì)分商業(yè)場景的閉環(huán)。就像人臉識別技術(shù)，現(xiàn)在幾乎任何一家公司都能擁有成功率足夠高的技術(shù)，但最終勝出的是那些已經(jīng)形成了品牌認(rèn)知、并占據(jù)了市場的企業(yè)。當(dāng)然，如果未來機(jī)器人的需求量變得極大，它的功能性價值和附加價值的主次地位可能會發(fā)生變化。

Q：跨維的下一步會是什么？

賈奎：我們的商業(yè)理念可以用一句話概括：DexBot Inside。

這個詞借用了當(dāng)年英特爾著名的「Intel Inside」廣告語。作為一個人形機(jī)器人，即便在商業(yè)服務(wù)場景中具備引流作用和 IP 屬性，它最終也必須回歸到勞動力本質(zhì)。

人與人之間交往，最初的新鮮感都可能在兩周內(nèi)消退，機(jī)器人更是如此。如果機(jī)器人不能產(chǎn)生真正的勞動價值，它的 IP 和可愛外形就無法支撐其長久的商業(yè)存在。在門店等實(shí)際場景中，它最終會從一個新鮮事退化到一個勞動者的本質(zhì)。

文｜Nuohan

編輯｜Cindy