小米開源首代機(jī)器人大模型公布,更智能

今日,小米對外發(fā)布開源 VLA 模型 Xiaomi-Robotics-0，擁有 47 億參數(shù)、兼具視覺語言理解與高性能實時執(zhí)行能力，刷新多項 SOTA。它在現(xiàn)實真機(jī)任務(wù)中實現(xiàn)了物理智能的泛化 —— 動作連貫、反應(yīng)靈敏，且能在消費級顯卡上實現(xiàn)實時推理。

據(jù)官方介紹獲悉，物理智能的核心在于“感知-決策-執(zhí)行”的閉環(huán)質(zhì)量。為了兼顧通用理解與精細(xì)控制，Xiaomi-Robotics-0 采用了主流的 Mixture-of-Transformers (MoT) 架構(gòu)。

視覺語言大腦（VLM）： 團(tuán)隊采用了多模態(tài) VLM 大模型作為底座。它負(fù)責(zé)理解人類的模糊指令（如“請把毛巾疊好”），并從高清視覺輸入中捕捉空間關(guān)系。

動作執(zhí)行小腦（Action Expert）：為了生成高頻、平滑的動作，團(tuán)隊嵌入了多層的 Diffusion Transformer (DiT)。它不直接輸出單一動作，而是生成一個“動作塊”（Action Chunk），并通過流匹配（Flow-matching）技術(shù)確保動作的精準(zhǔn)度。

針對大部分 VLA 模型在學(xué)動作時往往會“變笨”，失去本身的理解能力的問題。小米通過多模態(tài)與動作數(shù)據(jù)的混合訓(xùn)練，讓模型在學(xué)會操作的同時，依然保持強(qiáng)大的物體檢測、視覺問答和邏輯推理能力。

VLM 協(xié)同訓(xùn)練：首先引入了 Action Proposal 機(jī)制，強(qiáng)迫 VLM 模型在理解圖像的同時預(yù)測多種動作分布。這一步是為了讓 VLM 的特征空間與動作空間對齊，不再僅僅是“紙上談兵”。

DiT 專項訓(xùn)練：隨后凍結(jié) VLM，專注于訓(xùn)練 DiT，學(xué)習(xí)如何從噪聲中恢復(fù)出精準(zhǔn)的動作序列。在這一階段，小米去除了 VLM 的離散 Token，完全依賴 KV 特征進(jìn)行條件生成。通過 DiT 專項訓(xùn)練，模型可以生成高度平滑、精準(zhǔn)的的動作序列。

針對推理延遲引發(fā)的真機(jī)“動作斷層”問題，小米團(tuán)隊采用異步推理模式 —— 讓模型推理與機(jī)器人運行脫離同步約束、異步執(zhí)行，從機(jī)制上保障動作連貫流暢。為進(jìn)一步強(qiáng)化模型對環(huán)境變化的響應(yīng)敏捷性與運行穩(wěn)定性，小米引入了：

Clean Action Prefix：將前一時刻預(yù)測的動作作為輸入，確保動作軌跡在時間維度上是連續(xù)的、不抖動的，進(jìn)一步增加流暢性。

Λ-shape Attention Mask：通過特殊的注意力掩碼，強(qiáng)制模型更關(guān)注當(dāng)前的視覺反饋，而不是沉溺于歷史慣性。這讓機(jī)器人在面對環(huán)境突發(fā)變化時，能夠展現(xiàn)出極強(qiáng)的反應(yīng)性物理智能。

據(jù)小米官方介紹,在多維度的測試中，Xiaomi-Robotics-0 展現(xiàn)出優(yōu)異的表現(xiàn)：

仿真標(biāo)桿： 在 LIBERO、CALVIN 和 SimplerEnv 測試中，模型在所有的 Benchmark、30 種模型對比中，均取得了當(dāng)前最優(yōu)的結(jié)果。

真實挑戰(zhàn)： 團(tuán)隊在雙臂機(jī)器人平臺上部署了模型并與行業(yè)標(biāo)桿進(jìn)行了橫向?qū)Ρ?。在積木拆解和疊毛巾這種長周期、高度挑戰(zhàn)的任務(wù)中，機(jī)器人展現(xiàn)出了極高的手眼協(xié)調(diào)性。無論是剛性的積木還是柔性的織物，都能處理得游刃有余。

多模態(tài)能力：模型保留了 VLM 本身的多模態(tài)理解能力，尤其是在具身更相關(guān)的 benchmark 中表現(xiàn)優(yōu)異，這是之前的 VLA 模型所不具備的。

目前,小米已經(jīng)宣布將模型進(jìn)行開源,感興趣的小伙伴可以體驗一下。