哈嘍,大家好,我是小方,今天,我們主要來看看谷歌DeepMind那邊,又搞出了一個(gè)什么讓人有點(diǎn)“頭皮發(fā)麻”的新東西——他們居然開始用視頻生成模型,給機(jī)器人搭建一個(gè)近乎真實(shí)的虛擬世界來“考試”了。
![]()
![]()
咱們都知道,現(xiàn)在的機(jī)器人越來越聰明,你告訴它“把桌上的蘋果拿給我”,它可能真能辦到,但想讓這種通用型機(jī)器人靠譜,得經(jīng)過海量測(cè)試,在現(xiàn)實(shí)世界里測(cè),成本高到嚇人,一臺(tái)機(jī)器人硬件就價(jià)值不菲,更別提成百上千次的不同場(chǎng)景測(cè)試了,耗時(shí)、燒錢。
![]()
最頭疼的還是安全問題,你總不能為了測(cè)試機(jī)器人會(huì)不會(huì)不小心夾到人的手,就真找個(gè)人手反復(fù)去試吧?這種危險(xiǎn)場(chǎng)景,在現(xiàn)實(shí)里根本沒法放開手腳去測(cè),傳統(tǒng)的物理仿真軟件呢,又常常被詬病“太假”,和真實(shí)世界差距明顯,測(cè)出來的結(jié)果參考價(jià)值有限。
![]()
那怎么辦?谷歌DeepMind的Gemini機(jī)器人團(tuán)隊(duì),把目光投向了他們自家的頂尖視頻生成模型——Veo,他們的思路很“炸裂”:既然視頻模型能生成以假亂真的畫面,那我們能不能直接用它來模擬機(jī)器人執(zhí)行任務(wù)時(shí)的未來場(chǎng)景呢?
![]()
他們還真搞出來了,名字就叫“Veo Robotics”,簡單說,他們用大量機(jī)器人操作數(shù)據(jù),對(duì)Veo模型進(jìn)行了專門訓(xùn)練,這個(gè)訓(xùn)練后的模型,能夠根據(jù)機(jī)器人當(dāng)前的視角畫面和它計(jì)劃執(zhí)行的動(dòng)作,預(yù)測(cè)并生成出接下來幾秒鐘、高度逼真的“未來視頻”,這就像給機(jī)器人提前播放了一段它行動(dòng)結(jié)果的“預(yù)告片”。
![]()
![]()
光說沒用,得看療效,為了驗(yàn)證這個(gè)“視頻模擬器”靠不靠譜,DeepMind團(tuán)隊(duì)下了血本,回頭做了超過1600次真實(shí)世界的機(jī)器人實(shí)驗(yàn)進(jìn)行對(duì)比,他們?cè)诎朔N不同的機(jī)器人控制模型、五項(xiàng)任務(wù)上進(jìn)行了測(cè)試。
![]()
結(jié)果挺有說服力,這個(gè)Veo模擬器生成的預(yù)測(cè)結(jié)果,和機(jī)器人在現(xiàn)實(shí)中的實(shí)際表現(xiàn),在成功率的趨勢(shì)上高度相關(guān),簡單說,就是它在視頻里預(yù)測(cè)哪個(gè)策略更好,在現(xiàn)實(shí)里那個(gè)策略確實(shí)就表現(xiàn)更優(yōu),它甚至能比較準(zhǔn)確地預(yù)測(cè),當(dāng)一個(gè)陌生新物體突然出現(xiàn)在場(chǎng)景里(分布外泛化),機(jī)器人的表現(xiàn)會(huì)如何下降。
![]()
所以,你看,這項(xiàng)工作的核心價(jià)值不在于用視頻做了一個(gè)酷炫的動(dòng)畫,而在于它開辟了一條新路:用高保真的視頻仿真,作為一個(gè)高效、安全、低成本的“試驗(yàn)場(chǎng)”,去大規(guī)模評(píng)估、甚至主動(dòng)發(fā)現(xiàn)機(jī)器人策略的弱點(diǎn)和潛在風(fēng)險(xiǎn),這相當(dāng)于在把機(jī)器人放到我們身邊之前,先在一個(gè)無限接近真實(shí)的“平行世界”里,對(duì)它進(jìn)行了嚴(yán)格的考核與訓(xùn)練。
![]()
雖然這項(xiàng)技術(shù)還處于早期,但它的潛力已經(jīng)顯現(xiàn),它或許不能完全替代最終的真實(shí)測(cè)試,但它能極大地縮小研發(fā)循環(huán),讓更安全、更可靠的機(jī)器人,更快地從實(shí)驗(yàn)室走向我們的日常生活。這背后的邏輯,正在悄然改變機(jī)器人技術(shù)的發(fā)展節(jié)奏。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.