機器人看不清，螞蟻給治好了

天下苦機器人看不清透明和反光物體久矣。

畢竟就連小動物甚至人，有時候一個不小心，都會搞笑地撞到干凈的玻璃門……

不僅如此，若是讓機器人拿起透明的玻璃杯、反光的不銹鋼物體，他們也會經常出現“突然看不清了”的情況。

這一切的問題，正是出在了機器人的眼睛——深度相機。

因為無論是基于結構光還是雙目立體視覺的深度相機，它們的工作原理都是依賴物體表面對光線的穩定反射。

而透明材質會讓光線直接穿透，高反光材質則會將光線漫反射到四面八方，導致傳感器無法接收到有效的回波信號，從而產生大量缺失或錯誤的深度值。

對比一下我們人類看到的場景和機器人眼中的場景，就一目了然了：

毫不夸張地說，這類讓機器人睜眼看不清的問題，一直是阻礙它們安全地走進家庭、商場和醫院等場景的Big Big Big Problem！

但現在，隨著一項新技術的提出，機器人的眼疾終于算是被治好了——

螞蟻集團的具身智能公司螞蟻靈波科技（Robbyant），開源了全球看得最清楚的深度視覺模型，LingBot-Depth。

同樣是上面兩個場景，我們直接來看下在LingBot-Depth加持下的效果：

也正因如此，機器人現在不論是抓取反光的不銹鋼杯子，還是透明的玻璃杯，都是易如反掌：

視頻地址：https://mp.weixin.qq.com/s/y-5vx4MVlkucEMwxNQunJA

用一句經典歇后語來表達這個feel，或許就是“老太太戴眼鏡——不簡單”。

確實不簡單。

因為LingBot-Depth不僅解鎖了“全球看得最清楚”的頭銜，還是首次在不需要換硬件的條件下就能實現的那種。

那么螞蟻靈波到底是怎么做到的，我們這就細扒一下論文。

咋就一下子能看清了？

在很多非專業討論中，透明和反光常常被混為一談，統稱為視覺難點。

但若是從算法層面來看，它倆其實是兩類截然不同、甚至相反的問題。

首先，透明物體的問題在于信息缺失。

玻璃幾乎不提供穩定的紋理，也不會像普通物體那樣反射環境光，相機看到的，更多是背景的延續。

對于深度模型來說，它既不知道玻璃本身到哪兒才算結束，也不知道真實厚度和形態。

而反光物體的問題，恰恰相反，是信息過載。

高反射率表面會把環境、光源、相機本身統統映射進畫面，導致同一物體在不同角度、不同時間下呈現完全不同的外觀。

因此，模型很難判斷，哪些像素屬于物體，哪些只是倒影。

這也意味著，如果用一套統一的假設去處理這兩類問題，往往兩頭都做不好。

LingBot-Depth的一個重要設計思想，正是明確區分透明和反光這兩種類型的物理成因，而不是把它們簡單當成噪聲。

為此，螞蟻靈波團隊想到了一個非常反直覺的解法：

既然傳感器在這些地方失效了，那這個失效本身，不就是一種最有力的特征嗎？

因為傳感器輸出的那些缺失區域，其實是一個天然的掩碼（Natural Mask），起碼可以告訴模型這塊區域有問題。

受今年大火的MAE（Masked Autoencoders）的啟發，團隊便提出了一種名為Masked Depth Modeling（MDM，掩碼深度建模）全新范式。

簡單來說，LingBot-Depth在訓練的過程中，會把深度圖中那些天然缺失的區域作為掩碼，然后要求模型僅憑完整的RGB彩色圖像和剩余的有效深度信息，去腦補出被掩碼遮住的那部分深度。

但這個過程也是非常具有挑戰性的。

模型必須學會從RGB圖像中挖掘出極其細微的線索，比如玻璃邊緣的折射畸變、反光表面的環境倒影、物體的輪廓和陰影，然后將這些視覺上下文與已知的幾何信息進行深度融合，才能做出準確的推斷。

為了實現這一目標，LingBot-Depth在技術架構上也是做了一些小巧思：

首先是聯合嵌入的ViT架構。

模型采用視覺Transformer（ViT-Large）作為主干網絡，它會對輸入的RGB圖像和深度圖分別進行分塊（Patch Embedding），生成兩組Tokens。

為了區分這兩種模態，模型還引入了模態編碼（Modality Embedding），告訴網絡哪些令牌來自顏色，哪些來自深度。隨后，通過自注意力機制，模型能夠自動學習顏色與深度之間的精細對應關系，建立起跨模態的聯合表征。

其次是智能掩碼策略。

不同于MAE中完全隨機的掩碼，MDM的掩碼策略更聰明。它優先使用傳感器天然產生的缺失區域作為掩碼；對于部分有效、部分無效的深度塊，則以高概率（如75%）進行掩碼；如果天然掩碼不夠，才會補充一些隨機掩碼。

這種策略確保了模型始終在解決最困難、最真實的問題。

最后是ConvStack解碼器。

在重建階段，模型放棄了傳統的Transformer解碼器，轉而采用一個名為ConvStack的卷積金字塔解碼器。

這種結構在處理密集的幾何預測任務（如深度圖）時，能更好地保留空間細節和邊界銳度，輸出的深度圖更加清晰、連貫。

此外，在數據采集與實驗驗證環節，團隊還使用了奧比中光（Orbbec）的Gemini 330系列雙目3D相機進行了大量真實場景的采集與測試。

這不僅保證了數據來源的多樣性與真實性，也為模型在實際硬件平臺上的部署提供了重要支持。

通過這種方式，LingBot-Depth不僅學會了補全深度，更重要的是，它將對3D幾何的深刻理解內化到了模型的“骨髓”里。

即使在推理時只給它一張單目RGB圖片（沒有任何深度輸入），它也能憑借學到的先驗知識，估算出相當準確的深度圖，展現出強大的泛化能力。

1000萬數據煉出來的

一個模型再強大，也離不開高質量、大規模的數據。

螞蟻靈波團隊構建了一套可擴展的數據采集與合成的pipeline，其中，200萬來自真實世界，100萬來自高保真仿真模擬；同時，還結合了開源數據，最終數據量達到了1000萬。

在真實數據方面，團隊設計了一套模塊化的3D打印采集裝置，可以靈活適配多種商用RGB-D相機（如Orbbec Gemini、Intel RealSense、ZED等）。

他們走遍了住宅、辦公室、商場、餐廳、健身房、醫院、停車場等數十種場景，系統性地收集了大量包含透明、反光、低紋理等挑戰性物體的真實數據。這些數據覆蓋了極其豐富的長尾場景，為模型的魯棒性打下了堅實基礎。

在仿真數據方面，為了模擬真實深度相機的成像缺陷，團隊沒有簡單地渲染完美的深度圖，而是在Blender中同時渲染RGB圖像和帶散斑的紅外立體圖像對。再通過經典的半全局匹配（SGM）算法生成有缺陷的仿真深度圖。

這種方法能高度還原真實傳感器在面對復雜材質時的失效模式。

值得注意的是，這套包含200萬真實和100萬仿真數據的龐大數據集，是螞蟻靈波團隊近期計劃開源的重要資產，旨在降低整個行業在空間感知領域的研究門檻。

算法夠創新，數據夠硬核，這才有了LingBot-Depth突出的性能表現。

在多個權威的深度補全基準測試（如iBims、NYUv2、DIODE）上，它全面碾壓了當前最先進的SOTA。

尤其是在最嚴苛的極端設定下（深度圖大面積缺失并伴有嚴重噪聲），LingBot-Depth的RMSE指標比此前最好的方法降低了超過40%。

除此之外，盡管模型是在靜態圖像上訓練的，但它在視頻序列上展現出了驚人的時空一致性。

在一段包含玻璃大門、有鏡子和玻璃的健身房、海洋館隧道的視頻中，LingBot-Depth 輸出的深度流不僅填補了原始傳感器的大片空洞，而且在整個視頻過程中保持平滑、穩定，沒有任何閃爍或跳變。

為了驗證LingBot-Depth 在真實世界中的價值，螞蟻靈波團隊將其部署到了一臺真實的機器人平臺上。

這套系統由Rokae（節卡）XMate-SR5機械臂、X Hand-1靈巧手和搭載了 LingBot-Depth 的 Orbbec Gemini 330 系列深度相機組成。

視頻地址：https://mp.weixin.qq.com/s/y-5vx4MVlkucEMwxNQunJA

實驗目標是抓取一系列對深度感知極具挑戰的物體：不銹鋼杯、透明玻璃杯、透明收納盒和玩具車。

在20次抓取嘗試中，使用LingBot-Depth的成功率遠高于使用原始深度數據。

缺點，有時也是一種優勢

解決物理世界的感知難題，好的硬件固然重要，但不一定非要死磕。

這或許就是LingBot-Depth給行業帶來的一種啟發。

因為在過去，當現有深度相機無法滿足需求時，唯一的出路往往是斥巨資更換更昂貴、更專業的硬件。

而LingBot-Depth提供了一條軟硬協同的路徑：它可以在不更換現有相機硬件的前提下，通過算法大幅提升深度感知的魯棒性與完整性。

它可以作為一個即插即用的算法模塊，無縫集成到現有的機器人、自動駕駛汽車或AR/VR設備的感知鏈路中，以極低的成本，顯著提升其在復雜真實環境下的3D感知魯棒性。

例如，在與奧比中光等硬件適配的過程中，團隊驗證了LingBot-Depth能夠在其現有消費級深度相機上實現接近專業級傳感器的感知效果。

這無疑將大大加速具身智能在家庭服務、倉儲物流、商業零售等場景的落地進程。

更重要的是，螞蟻靈波秉承開放精神，已經開源了LingBot-Depth的代碼和模型權重，并計劃開源其龐大的300萬RGB-D數據集。

這一舉動將極大地降低學術界和工業界在空間感知領域的研究與開發門檻，有望催生更多創新應用，共同推動整個行業的向前發展。

除此之外，LingBot-Depth也是有哲學意味在身上的：

有時候，缺點本身就是一種優勢。

你覺得呢？

項目地址：
https://technology.robbyant.com/lingbot-depth

GitHub地址：
https://github.com/robbyant/lingbot-depth

HuggingFace地址：
https://huggingface.co/robbyant/lingbot-depth