在虛擬Agent時代,模型依托文本、圖像與視頻數據實現跨越式發展,語言智能、視覺智能走向成熟。
但當AI真正進入物理世界、要讓機器人像人一樣靈巧干活時,需要在open-world場景、有交互的處理多樣類型的任務。
所以從更底層能力來看,具身智能需要的不只video/language層面,而是在真實生活中認知、行動、產生交互,并根據物理反饋持續思考與迭代。
這就意味著具身智能需要學習的,不是一段視頻,而是在真實生活中、自然多樣的Human Data。
今天,簡智正式發布Gen DAS Dex(以下簡稱Dex)——實現人手全模態感知與行為的高精度重建,并與Ego配合,革新“Human Data”數據范式,為具身智能提供覆蓋“頭+手”全場景、精細化、可直接訓練的靈巧行為數據底座。
01 為什么今天的具身智能,需要Dex這樣的“手”?
人類五指經過數百萬年進化,形成27塊骨骼+ 34塊肌肉+ 24個自由度的精密結構,是面對復雜、多樣靈巧操作的“通用接口”;同時現實生活中大量五指操作,也為模型訓練提供了豐富的樣本與實例。
那么如何將手的行為轉化為可被理解、訓練的數據,面臨的是多維度的疊加挑戰:
1.高質量、自由度的靈巧手數據極度稀缺:多是視覺片段,缺少關節角度、且指尖空間精度停留在2-3cm,誤差大,有效數據供給遠不及產業需求。
2.多模態無法兼備、對齊:視覺、動作、觸覺不完整、不同步,時序錯位、空間不準,downstream模型難以訓練、無法泛化。
3.采集設備與自然動作沖突:笨重、遮擋、負重感強,導致動作變形,數據失真,無法長期大規模采集。
4.頭和手獨立存在,而非形成“認知+行為的閉環”:僅靠頭視角:看得見,卻摸不準,精細操作徹底失效,或者只有手摸得準,卻看不全,全局操作極易出錯。這些無法構成人行為的物理交互的時空閉環。
5.無法規模化,走出實驗室:遙操、動捕等方式都需要巨大成本布置場地,無法進入生活、進入戶外。
![]()
因此過去的問題在于,上面多個維度是“trade-off”狀態,而真正好用的數據需要被同時滿足,這也使得看似有“大量的數據、原始素材”,但實際不“好用”。
簡智Dex要解決的,正是這個斷層。
02 Gen DAS Dex 到底帶來了什么?
Dex不只是一只“數據手套”,而是一整套把人類雙手行為與感受,轉化為機器可理解、可訓練、可泛化的采集終端。它與Ego協同,首次實現“頭+手”全鏈路、全模態、高精度、低延遲的數據閉環,輸出可直接喂給模型的結構化數據。
1.全自由度覆蓋,逼近人手生理極限的靈巧還原
面向最復雜的精細操作,Dex用仿生輕量化外骨骼,完整支持人手23個自由度檢測,接近人手生理全部自由度。無論是指尖捏取、指節彎曲、掌心開合還是手腕扭轉,都能完整捕捉,讓機器第一次學到人類真實的“手怎么動”。
2.行業頂級精度,為模型迭代筑牢真值根基
精度,決定數據用來訓練的效率與價值。
?自研磁編碼器實現0.02°關節角檢測,且外骨骼結構使得在溫變與環境擾動下偏差極小,無需頻繁校準;
?搭配高精度IMU與Ego紅外+視覺多重定位,最終達成mm級指尖定位。每一個微操作都有真值,讓模型訓練告別“模糊估計”。
3.行業最全單設備模態,補齊觸覺+視覺雙核心
單一視覺永遠學不會物理交互。Dex做到真正多模態合一:
?指尖搭載高精度磁觸覺傳感,靈敏度0.05N,空間分辨率1mm,清晰捕捉撫摸、抓取、按壓的物理反饋;
?手背/手下方配置150°超廣視角攝像頭,與Ego View互補,無死角記錄抓取全過程。視覺看“怎么做”,觸覺懂“用多大力”,數據價值直接翻倍。
![]()
4.頭手協同1ms超低延遲,多模態信息可靠對齊
具身智能最痛的,是“頭看的”和“手做的”對不上。解決這一問題,不能只通過云端“拼湊”與對齊,而是需要從硬件開始就著手解決,
Dex通過SUB?G無線協同,統一控制相機快門、曝光、IMU采樣等全設備時鐘,實現多源數據亞毫秒級對齊。頭部視角、手部動作、觸覺信號完全同步,讓“眼?手”協同數據真正可訓練、可復現。
5.無感穿戴設計,讓采集像戴手套一樣自然
動作自然,數據才真實。
?自研磁編碼器微型化至3mm,整機體積與普通滑雪手套相當;
?合金+彈性聚合復合材質,重心優化,整機僅210g;長時間佩戴、連續復雜操作、精準抓取都無負擔,徹底避免“為采集而演戲”。
6.全場景規模化采集,本地端壓縮/質檢,讓效率提升兩個數量級
Dex從設計之初就為量產數據而生:
?結構自適應,適配不同手型;
?Ego+Dex穿戴即采,無需基站、無需場端設備;
?語音交互控制,單次續航超3小時;
?自動流式無線傳輸,3分鐘完成采集?上傳全鏈路,數據采集效率提升100倍。讓大規模、低成本、全天候、真實場景的數據生產成為可能。
![]()
03 從“看視頻的AI”,到“會動手的物理智能”
如果說互聯網數據成就了語言與視覺大模型,那么人類真實物理交互的數據,將成就具身智能。
Dex的意義,遠不止一款硬件:
?它第一次用單設備實現手部全自由度+高精度+觸覺+視覺+頭手同步的一體化采集;
?它把“經驗采集”從實驗室搬到日常場景,讓數據可規模化、可標準化、可互通復用;
?它與Ego協同,共同定義Human Centric數據新范式,為具身世界模型提供最核心的“頭+手”行為數據源泉。
![]()
過去,機器人靠編程與仿真模仿動作;未來,機器人將通過Dex學習億萬次人類真實操作,真正理解物理世界。
簡智 Dex 的發布,是具身智能數據基建的關鍵一步。我們不再滿足于讓機器人 “動起來”,而是要讓機器人學得會、做得穩、用得自然。以Dex 為采集入口,以全模態高精度數據為燃料,以頭手協同為骨架,一個可持續積累、持續迭代、持續泛化的物理智能時代,正在到來。讓機器人,從學習人類的雙手開始。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.