機(jī)器人如何像小孩一樣學(xué)會抓東西：伯克利大學(xué)的突破性發(fā)現(xiàn)

這是一個關(guān)于機(jī)器人學(xué)習(xí)的故事，而且它的靈感來自一個看似簡單但深刻的觀察：小孩子是如何學(xué)會拿東西的。

想象一個嬰兒坐在地板上，周圍散放著各種玩具。他不是一開始就能精準(zhǔn)地拿起任何東西，而是通過反復(fù)玩耍幾個簡單的玩具——積木、球、鈴鐺——慢慢理解了物體的形狀、大小和重量。一旦掌握了這些基礎(chǔ)，他就能夠拿起從未見過的新東西。這個過程看起來很自然，但其中蘊含的學(xué)習(xí)原理卻深刻得令人驚訝。

加州大學(xué)伯克利分校的一個研究團(tuán)隊，包括Dantong Niu、Yuvan Sharma、Baifeng Shi、Rachel Ding、Matteo Gioia、Haoru Xue、Henry Tsai、Konstantinos Kallidromitis、Anirudh Pai、Shankar Shastry、Trevor Darrell、Jitendra Malik和Roei Herzig等研究者，決定用這個簡單的觀察來解決機(jī)器人領(lǐng)域一個長期存在的難題。他們的研究成果發(fā)表在2025年10月，論文編號為arXiv:2510.12866v1。這項研究提出了一個名為LEGO的框架，其核心思想是：機(jī)器人也可以通過在簡單玩具上的訓(xùn)練，學(xué)會抓取真實世界中的各種物體。

一、問題的根源：機(jī)器人為什么不能像人一樣學(xué)習(xí)

機(jī)器人在執(zhí)行抓取任務(wù)時面臨一個根本性的困境。當(dāng)工程師們訓(xùn)練一個機(jī)器人在某些特定物體上抓取時，這個機(jī)器人往往無法處理與訓(xùn)練對象不同的新物體。這就像一個學(xué)生只在教科書上學(xué)過如何計算正方形的面積，突然被要求計算圓形的面積時就完全懵了。這種現(xiàn)象在機(jī)器學(xué)習(xí)中被稱為"泛化能力差"。

為什么會這樣呢？原因在于機(jī)器人的視覺系統(tǒng)學(xué)到的往往是非常具體的特征。當(dāng)它看到一個紅色的立方體時，它學(xué)到的可能是"這個紅色的東西"而不是"立方體這個形狀"。所以當(dāng)它看到一個藍(lán)色的立方體時，它就不認(rèn)識了。這就像一個人只見過紅色的蘋果，突然看到綠色的蘋果時會感到困惑一樣。

更糟的是，現(xiàn)有的解決方案往往需要大量的數(shù)據(jù)。一些最先進(jìn)的機(jī)器人模型需要數(shù)百萬個訓(xùn)練樣本才能學(xué)會基本的抓取技能。這就像為了讓一個學(xué)生掌握乘法，你需要給他做一百萬道乘法題，這顯然不符合學(xué)習(xí)的自然規(guī)律。

二、靈感來源：向孩子們學(xué)習(xí)

研究團(tuán)隊的突破性想法來自認(rèn)知科學(xué)的研究。心理學(xué)家們發(fā)現(xiàn)，嬰幼兒并不是通過接觸成千上萬種不同物體來學(xué)習(xí)操縱技能的。相反，他們通過掌握少數(shù)幾個簡單玩具的特性，然后將這些知識應(yīng)用到新物體上。這個過程被稱為"原型學(xué)習(xí)"。

這個觀察給了研究團(tuán)隊一個啟發(fā)：如果機(jī)器人也能以類似的方式學(xué)習(xí)呢？不是用真實世界的物體進(jìn)行訓(xùn)練，而是用一些簡單的、有代表性的形狀進(jìn)行訓(xùn)練。這就引出了他們研究的核心創(chuàng)新——"塞尚玩具"的概念。

這個名字來自著名畫家保羅·塞尚的一句話："用圓柱體、球體、圓錐體來對待自然，一切都要放在適當(dāng)?shù)耐敢曋小?塞尚認(rèn)為，復(fù)雜的物體實際上可以分解為幾個簡單的基本形狀。研究團(tuán)隊決定用這個藝術(shù)原理來指導(dǎo)他們的機(jī)器人訓(xùn)練。

三、玩具的設(shè)計：四個簡單形狀的無限組合

研究團(tuán)隊選擇了四個基本的幾何形狀作為他們的"積木"：球體、立方體、圓柱體和圓環(huán)。這些形狀看起來非常簡單，但它們的組合方式卻能創(chuàng)造出令人驚訝的多樣性。

具體來說，他們隨機(jī)地將這些形狀組合在一起。一個玩具可能由一個球體和一個立方體組成，另一個可能由三個圓柱體和兩個環(huán)組成。每個形狀的大小也會隨機(jī)變化——球體的直徑可以從1厘米到8厘米，立方體的尺寸可以在各個維度上變化很大。此外，每個玩具還會被隨機(jī)著色，可能是藍(lán)色、紅色、綠色或黃色。

通過這種方式，研究團(tuán)隊生成了250個獨特的玩具。這些玩具看起來都很奇怪，不像任何真實世界中的物體。這正是設(shè)計的妙處——這些玩具足夠不同尋常，以至于機(jī)器人無法通過簡單的記憶來學(xué)習(xí)，但又足夠有結(jié)構(gòu)性，使得機(jī)器人可以學(xué)到關(guān)于形狀、大小和組合的通用原理。

四、數(shù)據(jù)收集：從虛擬到真實

研究團(tuán)隊在兩個環(huán)境中收集了機(jī)器人抓取這些玩具的數(shù)據(jù)。首先，他們在一個名為ManiSkill的虛擬模擬器中進(jìn)行了實驗，使用一個模擬的Franka機(jī)械臂和夾爪。這就像在電腦游戲中進(jìn)行練習(xí)一樣。他們收集了2500個虛擬抓取演示。

但虛擬世界和真實世界之間總是存在差異。所以研究團(tuán)隊還進(jìn)行了真實世界的實驗。他們用3D打印機(jī)制造了這250個玩具的物理版本，然后使用真實的Franka機(jī)械臂通過遠(yuǎn)程操縱收集了1500個真實的抓取演示。此外，他們還用一個名為Unitree H1-2的人形機(jī)器人，配備了靈巧的機(jī)械手，收集了500個額外的演示。

這個數(shù)據(jù)收集過程非常重要。通過讓人類操作者遠(yuǎn)程控制機(jī)器人進(jìn)行抓取，研究團(tuán)隊確保了收集到的數(shù)據(jù)質(zhì)量很高，同時也確保了每個玩具都有多種不同的抓取方式被記錄下來。畢竟，一個物體可以用許多不同的方式被抓取，機(jī)器人需要學(xué)會這種多樣性。

五、核心創(chuàng)新：檢測池化機(jī)制

現(xiàn)在我們來到了這項研究最精妙的部分——一個名為"檢測池化"（Detection Pooling，簡稱DetPool）的新技術(shù)。這個技術(shù)看起來很復(fù)雜，但其核心思想其實很簡單。

想象你在一個嘈雜的餐廳里試圖聽某個特定的人說話。周圍有很多噪音——其他人的談話聲、碗碟的碰撞聲、背景音樂。你的大腦做的一件事是自動地將注意力集中在那個人的聲音上，忽略其他的聲音。這就是所謂的"選擇性注意"。

檢測池化對機(jī)器人的視覺系統(tǒng)做的就是類似的事情。當(dāng)機(jī)器人看一張圖片時，它需要識別出要抓取的目標(biāo)物體，然后集中所有的注意力在那個物體上，忽略背景、其他物體，甚至桌子或房間的其他部分。

技術(shù)上，這是這樣工作的：首先，研究團(tuán)隊使用一個名為SAM 2的圖像分割模型來識別目標(biāo)物體在圖像中的位置，并創(chuàng)建一個"掩碼"——本質(zhì)上是一個標(biāo)記出物體所在區(qū)域的地圖。然后，他們修改了視覺編碼器（一個處理圖像的神經(jīng)網(wǎng)絡(luò)）的注意力機(jī)制，使其只關(guān)注物體對應(yīng)的像素區(qū)域，而完全忽略其他區(qū)域。最后，他們對物體區(qū)域的所有特征進(jìn)行平均，得到一個專注于物體本身的視覺表示。

這個看似簡單的改變實際上非常強(qiáng)大。它確保了機(jī)器人學(xué)到的不是"這個特定背景下的紅色立方體"，而是"立方體這個形狀"。這就是為什么機(jī)器人能夠泛化到完全不同的物體上。

六、完整的學(xué)習(xí)系統(tǒng)

研究團(tuán)隊構(gòu)建的完整系統(tǒng)包括幾個相互配合的部分。在視覺處理方面，他們使用了一個預(yù)訓(xùn)練的視覺編碼器，稱為MVP，它已經(jīng)在大量圖像上學(xué)過如何識別視覺特征。這個編碼器與檢測池化機(jī)制結(jié)合，產(chǎn)生了一個專注于物體的視覺表示。

然后，這個視覺表示被輸入到一個基于Transformer的策略網(wǎng)絡(luò)中。Transformer是現(xiàn)代深度學(xué)習(xí)中的一種強(qiáng)大架構(gòu)，它能夠處理序列數(shù)據(jù)并學(xué)會復(fù)雜的時間依賴關(guān)系。在這個案例中，Transformer接收過去16個時間步的視覺和本體感覺信息（關(guān)于機(jī)器人自身位置和姿態(tài)的信息），然后預(yù)測接下來16個時間步的動作。

整個系統(tǒng)使用行為克隆進(jìn)行訓(xùn)練，這是一種模仿學(xué)習(xí)的方法。簡單來說，機(jī)器人就是在學(xué)習(xí)模仿人類操作者的動作。訓(xùn)練目標(biāo)是最小化預(yù)測動作和真實動作之間的差異。

七、模擬環(huán)境中的測試：令人驚訝的結(jié)果

研究團(tuán)隊首先在虛擬環(huán)境中測試了他們的方法。他們在一個包含65個真實物體的測試集上評估了他們的模型，這些物體來自YCB數(shù)據(jù)集，這是機(jī)器人操縱研究中的一個標(biāo)準(zhǔn)基準(zhǔn)。

結(jié)果令人印象深刻。當(dāng)使用2500個演示進(jìn)行訓(xùn)練時，他們的模型在模擬中達(dá)到了80%的成功率。更重要的是，他們與兩個最先進(jìn)的基線進(jìn)行了比較：π0-FAST和OpenVLA-OFT。這兩個模型都是大規(guī)模預(yù)訓(xùn)練的視覺-語言-動作模型，參數(shù)數(shù)量分別為30億和70億，遠(yuǎn)大于LEGO的8600萬參數(shù)。

令人驚訝的是，LEGO不僅超越了這兩個更大的模型，而且表現(xiàn)出了更好的數(shù)據(jù)效率。當(dāng)數(shù)據(jù)量增加時，LEGO的性能穩(wěn)定地提高，而OpenVLA-OFT實際上在更多數(shù)據(jù)上表現(xiàn)更差，這表明它過度擬合了。π0-FAST則根本無法從這個相對較小的數(shù)據(jù)集中學(xué)到有用的東西。

這個結(jié)果的含義是深刻的。它表明，僅僅擁有更多參數(shù)和更多預(yù)訓(xùn)練數(shù)據(jù)并不總是更好。有時候，正確的架構(gòu)設(shè)計和學(xué)習(xí)策略可以用更少的資源實現(xiàn)更好的結(jié)果。

八、真實機(jī)器人的驗證：從虛擬到現(xiàn)實

但模擬中的成功并不能保證真實世界中的成功。這就是所謂的"現(xiàn)實差距"問題——在虛擬環(huán)境中學(xué)到的東西在真實世界中往往表現(xiàn)不佳。所以研究團(tuán)隊進(jìn)行了真實機(jī)器人實驗。

在第一組真實機(jī)器人實驗中，他們使用了一個Franka Emika Panda機(jī)械臂，配備了一個Robotiq夾爪。這是一個標(biāo)準(zhǔn)的工業(yè)機(jī)械臂，有7個關(guān)節(jié)。他們在64個真實YCB物體上測試了他們的模型，每個物體測試16次。

結(jié)果是66.67%的成功率。這是一個很好的成功率，特別是考慮到他們只用1500個真實演示進(jìn)行訓(xùn)練。為了進(jìn)行比較，他們還測試了其他方法。OpenVLA-OFT只達(dá)到了9.47%的成功率。ShapeGrasp，一個基于大型語言模型的方法，達(dá)到了26.56%。π0-FAST在零樣本設(shè)置下達(dá)到了61.82%，但當(dāng)在他們的數(shù)據(jù)上微調(diào)時達(dá)到了76.56%。

LEGO的66.67%成功率排在第二位，僅次于微調(diào)后的π0-FAST。但這個比較很重要：π0-FAST是在一個包含75000個演示的大型機(jī)器人數(shù)據(jù)集上預(yù)訓(xùn)練的，然后在他們的1500個演示上進(jìn)行微調(diào)。相比之下，LEGO完全是從零開始訓(xùn)練的，沒有任何預(yù)訓(xùn)練。這表明LEGO的數(shù)據(jù)效率是非常高的。

九、靈巧手的挑戰(zhàn)：更復(fù)雜的機(jī)器人

為了進(jìn)一步驗證他們方法的通用性，研究團(tuán)隊還在一個更復(fù)雜的機(jī)器人系統(tǒng)上進(jìn)行了測試：Unitree H1-2人形機(jī)器人，配備了Inspire RH56DFTP靈巧手。這種手有6個自由度，總共12個關(guān)節(jié)，能夠執(zhí)行非常精細(xì)的操縱任務(wù)。

這是一個更具挑戰(zhàn)性的設(shè)置，因為靈巧手的控制比簡單的夾爪復(fù)雜得多。研究團(tuán)隊在13個日常物體上測試了他們的模型，每個物體測試5次。

結(jié)果是50.77%的成功率。雖然這個數(shù)字低于Franka實驗，但這是可以預(yù)期的，因為任務(wù)更加困難。更重要的是，LEGO再次超越了其他基線。π0-FAST只達(dá)到了26.15%，OpenVLA-OFT只達(dá)到了18.46%。這再次證明了LEGO方法的有效性和通用性。

十、深入理解：消融研究揭示了什么

為了真正理解他們的方法為什么有效，研究團(tuán)隊進(jìn)行了一系列的消融研究——這是一種通過逐步移除系統(tǒng)的不同部分來理解每個部分的重要性的方法。

首先，他們研究了檢測池化的重要性。他們將DetPool與其他池化方法進(jìn)行了比較，包括注意力池化、CLS池化和簡單的平均池化。結(jié)果非常清楚：DetPool顯著優(yōu)于所有其他方法，性能提升22%到48%。這證實了他們的核心創(chuàng)新確實是關(guān)鍵。

接下來，他們研究了訓(xùn)練數(shù)據(jù)的兩個關(guān)鍵方面：演示的數(shù)量和玩具多樣性的影響。他們訓(xùn)練了多個模型，使用1、25、125、250、500和1000個不同的玩具，每個模型使用不同數(shù)量的演示。結(jié)果表明，增加玩具的多樣性確實有幫助，但效果有遞減。然而，演示的數(shù)量有更強(qiáng)的影響。這與認(rèn)知科學(xué)的發(fā)現(xiàn)一致，即重復(fù)練習(xí)對學(xué)習(xí)的影響往往大于接觸多樣的例子。

他們還研究了模型大小的影響。他們嘗試了不同大小的Transformer骨干網(wǎng)絡(luò)，從小到大。結(jié)果表明，ViT-Base（8600萬參數(shù)）是最優(yōu)的選擇，它在性能和計算效率之間達(dá)到了很好的平衡。更大的模型并不一定更好，有時甚至更差。

此外，他們研究了每個基本形狀的重要性。通過逐個移除四種形狀中的每一種，他們發(fā)現(xiàn)球體是最關(guān)鍵的，移除它會導(dǎo)致最大的性能下降。環(huán)和圓柱體的重要性相對較低。這很有趣，因為它表明并非所有的基本形狀對學(xué)習(xí)都同樣重要。

最后，他們研究了玩具復(fù)雜性的影響。他們發(fā)現(xiàn)，由兩個原始形狀組成的玩具對性能的貢獻(xiàn)最大，而由五個形狀組成的更復(fù)雜的玩具的貢獻(xiàn)較小。這可能是因為測試集中的真實物體往往有相對簡單的結(jié)構(gòu)。

十一、為什么這一切都有效：泛化的秘密

現(xiàn)在讓我們退一步，思考為什么這個方法有效。核心在于一個關(guān)鍵的洞察：物體識別和操縱的關(guān)鍵不在于物體的具體外觀，而在于其結(jié)構(gòu)特性。

當(dāng)機(jī)器人學(xué)會了如何抓取各種由四個基本形狀組成的隨機(jī)組合時，它實際上學(xué)到了關(guān)于形狀、大小和結(jié)構(gòu)的深層原理。這些原理是通用的。當(dāng)機(jī)器人看到一個真實的物體，比如一個杯子時，它能夠識別出杯子具有圓柱形的主體和某種形式的把手，然后應(yīng)用它從玩具中學(xué)到的關(guān)于如何抓取圓柱形物體的知識。

檢測池化的作用是確保機(jī)器人學(xué)到的是這些結(jié)構(gòu)特性，而不是特定的視覺外觀。通過強(qiáng)制視覺系統(tǒng)只關(guān)注物體本身，而忽略背景和其他干擾，機(jī)器人被迫學(xué)到關(guān)于物體形狀和結(jié)構(gòu)的信息，而不是關(guān)于特定像素模式的信息。

這就像學(xué)習(xí)一門語言時的區(qū)別。如果你只在一個特定的教室里學(xué)英語，你可能會學(xué)到"在這個教室里說英語"。但如果你在各種不同的環(huán)境中學(xué)習(xí)，你會學(xué)到"英語本身"，然后你就可以在任何地方使用它。

十二、實際意義：這對機(jī)器人學(xué)意味著什么

這項研究的實際意義是深遠(yuǎn)的。首先，它表明我們不需要收集數(shù)百萬個真實機(jī)器人演示來訓(xùn)練有效的操縱策略。僅僅1500個演示就足以實現(xiàn)強(qiáng)大的泛化性能。這大大降低了開發(fā)機(jī)器人系統(tǒng)的成本和時間。

其次，它提供了一個新的思考方式來思考機(jī)器人學(xué)習(xí)。與其試圖用越來越多的數(shù)據(jù)和越來越大的模型來解決問題，我們可以思考如何設(shè)計更好的學(xué)習(xí)環(huán)境和更好的架構(gòu)來促進(jìn)泛化。

第三，這項研究與認(rèn)知科學(xué)的聯(lián)系表明，我們可以從人類和動物學(xué)習(xí)的方式中獲得靈感來改進(jìn)機(jī)器學(xué)習(xí)。這是一個重要的跨學(xué)科見解。

第四，檢測池化機(jī)制是一個通用的技術(shù)，可以應(yīng)用于任何使用視覺Transformer的機(jī)器人學(xué)習(xí)系統(tǒng)。它不僅僅局限于抓取任務(wù)，還可以應(yīng)用于其他需要物體識別和操縱的任務(wù)。

十三、局限性和未來方向

研究團(tuán)隊也誠實地討論了他們工作的局限性。首先，他們的方法主要關(guān)注剛體物體。對于具有不同物理特性的物體，比如柔軟的布料或易碎的陶瓷，性能可能會下降。

其次，他們的工作專注于單步抓取任務(wù)。許多真實世界的操縱任務(wù)涉及多個步驟，比如拿起一個物體，移動它，然后放下它。擴(kuò)展到這些更復(fù)雜的任務(wù)是一個重要的未來方向。

第三，雖然他們的模型相對較小，但在資源受限的機(jī)器人上部署仍然可能很困難。進(jìn)一步優(yōu)化模型的計算效率是一個實際的需求。

盡管有這些局限性，這項研究代表了機(jī)器人學(xué)習(xí)領(lǐng)域的一個重要進(jìn)步。它表明，通過正確的設(shè)計和靈感來自認(rèn)知科學(xué)，我們可以構(gòu)建更有效、更高效的機(jī)器人學(xué)習(xí)系統(tǒng)。

十四、更廣泛的影響：機(jī)器人的未來

這項研究的意義超越了學(xué)術(shù)界。在現(xiàn)實世界中，機(jī)器人正在越來越多的領(lǐng)域被部署——從制造業(yè)到物流，從醫(yī)療保健到家庭服務(wù)。這些應(yīng)用中的許多都涉及操縱各種不同的物體。

如果我們能夠用更少的數(shù)據(jù)和更少的計算資源訓(xùn)練機(jī)器人執(zhí)行這些任務(wù)，那么機(jī)器人技術(shù)就會變得更加可及和實用。一個小公司或初創(chuàng)企業(yè)可能無法負(fù)擔(dān)收集數(shù)百萬個機(jī)器人演示的成本，但他們可能能夠負(fù)擔(dān)收集幾千個演示的成本。

此外，這項研究表明，機(jī)器人學(xué)習(xí)不一定需要大型的預(yù)訓(xùn)練模型。這意味著組織可以在自己的特定任務(wù)上訓(xùn)練定制的模型，而不必依賴于大型科技公司提供的通用模型。這可能會導(dǎo)致更多樣化和分散的機(jī)器人生態(tài)系統(tǒng)。

最后，這項研究表明，認(rèn)知科學(xué)和機(jī)器學(xué)習(xí)之間的交叉可以產(chǎn)生強(qiáng)大的見解。也許我們對人類和動物學(xué)習(xí)的理解可以指導(dǎo)我們?nèi)绾螛?gòu)建更好的人工智能系統(tǒng)。反過來，機(jī)器學(xué)習(xí)的進(jìn)步可能也會為認(rèn)知科學(xué)提供新的見解。

Q&A

Q1：什么是"塞尚玩具"，為什么研究團(tuán)隊選擇用這些簡單的形狀來訓(xùn)練機(jī)器人？

A：塞尚玩具是由四個基本幾何形狀（球體、立方體、圓柱體和圓環(huán)）隨機(jī)組合而成的訓(xùn)練物體。研究團(tuán)隊受到畫家塞尚的啟發(fā)，他認(rèn)為復(fù)雜物體可以分解為簡單形狀。這些玩具足夠不同尋常，使機(jī)器人無法通過簡單記憶學(xué)習(xí)，但又有足夠的結(jié)構(gòu)性，讓機(jī)器人學(xué)到關(guān)于形狀和組合的通用原理，從而能夠泛化到真實物體。

Q2：檢測池化（DetPool）機(jī)制具體是如何工作的，為什么它對機(jī)器人的泛化能力如此重要？

A：檢測池化首先識別目標(biāo)物體的位置并創(chuàng)建一個掩碼，然后修改視覺編碼器的注意力機(jī)制，使其只關(guān)注物體區(qū)域而忽略背景。最后對物體特征進(jìn)行平均。這很重要是因為它強(qiáng)制機(jī)器人學(xué)到物體的結(jié)構(gòu)特性（如形狀）而非特定的視覺外觀，這樣機(jī)器人就能識別和操縱從未見過的新物體。

Q3：LEGO方法與其他大型預(yù)訓(xùn)練模型相比有什么優(yōu)勢？

A：LEGO僅用1500個真實演示就能在YCB數(shù)據(jù)集上達(dá)到67%的成功率，而OpenVLA-OFT和π0-FAST這樣的大型模型雖然參數(shù)量大得多且經(jīng)過大規(guī)模預(yù)訓(xùn)練，但在相同任務(wù)上表現(xiàn)更差。這表明LEGO具有更高的數(shù)據(jù)效率，不需要大量預(yù)訓(xùn)練數(shù)據(jù)就能實現(xiàn)強(qiáng)大的泛化性能。