廈大廖新勤AM：視觸融合用于機器人看譜彈琴與水下抓取

具身智能通過與環(huán)境的實時互動，在“感知?決策?執(zhí)行”的閉環(huán)中優(yōu)化自身行為，從而突破了傳統(tǒng)人工智能在非結(jié)構(gòu)化場景中的能力限制。即時獲取環(huán)境反饋并動態(tài)調(diào)整策略，顯著提升了系統(tǒng)在多種現(xiàn)實任務中的表現(xiàn)。觸覺感知能提供直接的物理狀態(tài)信息，輔助實時行為調(diào)控，但由于其依賴接觸的特性，在非接觸狀態(tài)下難以形成連續(xù)完整的空間感知。視覺感知雖可對環(huán)境狀態(tài)進行整體估計，卻無法獲得直接的接觸反饋。這一局限性促使視觸融合機制成為關(guān)鍵發(fā)展方向，即通過結(jié)合視覺的態(tài)勢估計與觸覺的接觸信息，突破單一模態(tài)的感知約束，實現(xiàn)更接近人類的環(huán)境理解水平。此類跨模態(tài)融合將推動具身智能的演進，并借助自主閉環(huán)優(yōu)化，以實現(xiàn)具身系統(tǒng)物理交互能力的躍遷。

近日，廈門大學廖新勤團隊提出了一種新型的織物基事件驅(qū)動觸覺界面（FED觸覺界面）。通過巧妙利用織物固有的編織結(jié)構(gòu)并采用交叉纖維電極設計，該界面在實現(xiàn)超高壓力靈敏度的同時，保持了寬廣的檢測范圍。其獨特的事件驅(qū)動特性，建立了適用于具身智能感知的“接觸事件?力學映射”范式。得益于防水與可水洗的特性，該界面拓展了具身系統(tǒng)在水下環(huán)境中進行精細操作與探索的可能性。更為重要的是，受人類跨模態(tài)協(xié)同機制的啟發(fā)，該團隊進一步構(gòu)建了視觸融合架構(gòu)（VTF架構(gòu)），通過跨模態(tài)感知協(xié)同與決策級融合，開辟了自適應優(yōu)化的新路徑。該仿生架構(gòu)實現(xiàn)了視覺路徑規(guī)劃與實時觸覺力校正之間的良好協(xié)調(diào)，突破了水下透明物體抓取等復雜環(huán)境中操作的局限性。并在對易混淆物體的識別中通過并行特征融合的方式實現(xiàn)了97.7%的準確率，較單模態(tài)方法有顯著提升。通過視觸覺模態(tài)間的信息深度耦合，該研究在環(huán)境交互與認知決策之間建立了連接，推動了面向?qū)嶋H應用的智能自適應系統(tǒng)的發(fā)展，是機器人智能向前邁進的重要一步。相關(guān)工作以“Bioinspired Cross-Modal Self-Adaptive Machine Intelligence for Event-Driven and Ultrahigh-Precision Underwater Grasping”發(fā)表在《Advanced Materials》（IF 26.8，一區(qū)TOP）上。

【VTF架構(gòu)的概念和說明】

在人類與環(huán)境的交互中，視覺與觸覺感知各有其優(yōu)勢與局限。觸覺感知能通過直接接觸獲取物體的物理屬性并提供實時力反饋以輔助抓取操作，但受限于局部接觸信息，難以精確定位且缺乏預感知判斷，導致抓取效率受限。相比之下，視覺感知能有效獲取物體的形狀、顏色和空間位置，為交互提供初步評估與路徑規(guī)劃，但其易受光學條件影響，且無法直接感知物理屬性。受人類多感官協(xié)同啟發(fā)，研究團隊設計了VTF架構(gòu)，通過跨模態(tài)整合實現(xiàn)閉環(huán)決策與動態(tài)優(yōu)化，顯著提升了機器人系統(tǒng)的感知與交互性能。基于該架構(gòu)開發(fā)了視觸覺融合物品識別系統(tǒng)、自適應抓取系統(tǒng)以及水下交互系統(tǒng)，以驗證其在非結(jié)構(gòu)化動態(tài)場景下的廣泛的適用性與巨大應用潛力。

圖1 VTF架構(gòu)的概念和說明

【 FED觸覺界面的設計原理與性能】

FED觸覺界面是VTF架構(gòu)的核心感知部件，器件由交叉纖維電極、織物導電層以及中空墊片以層對層堆疊組裝的形式構(gòu)成。該結(jié)構(gòu)利用交叉纖維電極的應力集中效應與織物編織結(jié)構(gòu)的接觸面積調(diào)節(jié)能力，實現(xiàn)了超過450 kPa的壓力檢測范圍以及246.3 kPa?1的最大檢測靈敏度。此外，F(xiàn)ED觸覺界面具備與人類皮膚相當?shù)目焖夙憫芰Γ?lt;40 ms）與壓力檢測極限（<8 Pa），并在超過5,000次壓力循環(huán)測試后仍保持信號穩(wěn)定，克服了織物壓縮形變?nèi)毕荩宫F(xiàn)出優(yōu)異的耐久性。得益于碳納米管/水基聚氨酯導電復合材料在織物表面的牢固附著，F(xiàn)ED觸覺界面具備可水洗性能，且在水下的壓力響應能力與在空氣中基本一致，從而為水下環(huán)境中的觸覺反饋提供了可靠支持。在實際抓取應用測試中，該柔性界面可貼合于機械夾爪表面，在多種抓握姿態(tài)下穩(wěn)定工作，并能通過檢測接觸區(qū)應力分布的周期性波動，實現(xiàn)對物體多向滑移的感知。

圖2 FED觸覺界面的設計原理與性能

【VTF自適應抓取系統(tǒng)的構(gòu)建與應用驗證】

自適應抓取是一種智能抓取技術(shù)，可根據(jù)目標物體的特性動態(tài)調(diào)整抓取策略和力度。然而，傳統(tǒng)抓取系統(tǒng)只限于機械化完成抓取控制，缺乏對不同物體的適應性觸覺反饋，且存在無法預先感知物體特征與在非結(jié)構(gòu)化環(huán)境中定位困難的局限。為了解決上述問題，研究團隊開發(fā)了基于VTF架構(gòu)的自適應抓取系統(tǒng)。VTF自適應抓取系統(tǒng)通過視覺進行抓取路徑規(guī)劃，并評估各類物體的抓取力閾值。同時，F(xiàn)ED觸覺界面負責在抓取過程中感知施加力大小、接觸界面滑動和物體形狀變化，為系統(tǒng)提供實時觸覺反饋信號。在視覺識別和觸覺反饋的協(xié)同作用下，VTF自適應抓取系統(tǒng)實現(xiàn)了對不同材料和尺寸物體無損壞、無滑動的高效抓取。

圖3 VTF自適應抓取系統(tǒng)的構(gòu)建與應用驗證

【基于VTF架構(gòu)的鋼琴演奏系統(tǒng)和水下抓取系統(tǒng)】

研究團隊構(gòu)建了基于VTF架構(gòu)的機器人鋼琴演奏系統(tǒng)。該系統(tǒng)通過視覺識別樂譜并轉(zhuǎn)化為機械臂動作，同時利用FED觸覺界面感知按鍵力度。虛擬鋼琴子系統(tǒng)根據(jù)彈奏力度，實時調(diào)整音量并以顏色梯度反饋力度大小，從而實現(xiàn)自主動態(tài)力彈奏行為，反映出系統(tǒng)在視觸覺協(xié)同指導下接近人類的交互能力。在高度動態(tài)的水下環(huán)境中，由于水的獨特光學特性，視覺定位面臨著重大挑戰(zhàn)。受人類在視覺受限場景下探索行為的啟發(fā)，本研究提出了觸覺輔助定位策略。借助FED觸覺界面優(yōu)異的水下傳感性能，以接觸信息補全視覺缺失的方式，有效克服了水下視覺的局限性，從而實現(xiàn)對非透明/透明水下物體的可靠抓取。

圖4 基于VTF架構(gòu)的鋼琴演奏系統(tǒng)和水下抓取系統(tǒng)

【基于VTF架構(gòu)的物品識別系統(tǒng)】

針對單一感知模態(tài)在物體識別中的局限性（如觸覺易混淆材質(zhì)相似物體、視覺易受外觀相似性干擾），本研究基于VTF架構(gòu)提出了并行特征融合物體識別策略。該策略分別通過視覺識別模型與觸覺卷積神經(jīng)網(wǎng)絡并行提取外觀描述性特征與柔軟度特征，有效避免了跨模態(tài)間識別干擾。該策略通過在決策層面對跨模態(tài)描述性特征進行互補性整合，構(gòu)建了對識別對象的完整描述。對比單一視覺（73.6%）與單一觸覺識別（85.6%），實現(xiàn)了97.7%的識別準確率。這為工業(yè)分揀、家庭服務等復雜場景下機器人的魯棒環(huán)境感知與精準識別操作提供了解決方案。

圖5基于VTF架構(gòu)的物品識別系統(tǒng)

總結(jié)

在這項研究中，研究者們首先提出了一種基于織物的FED觸覺界面，采用交叉纖維電極與編織結(jié)構(gòu)，具備超高靈敏度、寬壓力范圍及優(yōu)于皮膚的檢測極限與響應速度。其壓力/滑動雙模檢測支持毫秒級反饋，可提升機器人對光滑、易碎物體的操作精度。通過復合導電材料在織物基底上的牢固粘附，F(xiàn)ED觸覺界面被賦予了優(yōu)異的水下使用性能以及可水洗特性，為水下抓取應用提供了可靠硬件基礎(chǔ)。

為克服單模態(tài)感知的固有局限，研究團隊受人類跨模態(tài)協(xié)同機制啟發(fā)，提出了VTF架構(gòu)。通過整合視覺與觸覺信息，該架構(gòu)在物品抓取、識別等任務中展現(xiàn)出卓越性能。尤其在面對視覺退化場景時，依托觸覺輔助定位，實現(xiàn)了對水下透明物體這類困難目標的有效操作，凸顯了跨模態(tài)融合在實際環(huán)境中的魯棒性與適應性。VTF架構(gòu)的提出，推動了具身智能領(lǐng)域的發(fā)展，構(gòu)建了一種仿生式的跨模態(tài)感知交互新范式。為開發(fā)能夠應對復雜動態(tài)場景的下一代智能系統(tǒng)提供了關(guān)鍵技術(shù)路徑，具有重要理論價值與應用前景。