MANUS數(shù)據(jù)手套彌合靈巧手訓(xùn)練中虛擬模擬與現(xiàn)實(shí)應(yīng)用的差距

本文將通過研究論文“通過Sim-to-Real傳輸，使用靈巧手進(jìn)行關(guān)節(jié)式工具的手動(dòng)操作”中的內(nèi)容，描述使用Manus數(shù)據(jù)手套操作靈巧手的技術(shù)結(jié)果和方法，該案例全部基于作者發(fā)現(xiàn)所表述。

機(jī)器手使用人類工具

機(jī)器人學(xué)的一個(gè)主要目標(biāo)是開發(fā)能夠在以人為中心的環(huán)境中有效運(yùn)行的系統(tǒng)。為此，機(jī)器人必須能夠與專為人手設(shè)計(jì)的工具互動(dòng)。掌握工具操作允許機(jī)器人在日常環(huán)境中執(zhí)行多種任務(wù)，并超越傳統(tǒng)的工廠自動(dòng)化。

在這項(xiàng)研究中，加州大學(xué)圣地亞哥分校通過使用比人手自由度更少的機(jī)械手實(shí)現(xiàn)關(guān)節(jié)式工具的靈巧手動(dòng)操作來探索這一挑戰(zhàn)。

挑戰(zhàn)

對(duì)于人類來說，使用剪刀或鑷子感覺毫不費(fèi)力。然而，對(duì)于機(jī)器人來說，使用帶有活動(dòng)關(guān)節(jié)的鉸接工具帶來了巨大的挑戰(zhàn)，原因在于:

1. 極其復(fù)雜的接觸動(dòng)力學(xué)

內(nèi)部關(guān)節(jié)摩擦、靜摩擦、間隙和小的結(jié)構(gòu)間隙很難精確建模，從而導(dǎo)致模擬和真實(shí)世界之間的嚴(yán)重不匹配。

2. 模擬到真實(shí)的傳輸差距很大

在模擬中表現(xiàn)良好的策略在物理硬件上往往會(huì)遇到困難或失敗，因?yàn)槲锢韺傩缘奈⑿〔町悤?huì)導(dǎo)致較大的行為偏差。

MANUS數(shù)據(jù)手套解決方案

為了解決機(jī)器人初始化抓取姿態(tài)不穩(wěn)定或不一致的問題，UCSD團(tuán)隊(duì)將MANUS Metagloves Pro整合進(jìn)他們的工作流程：

手套被用作手部跟蹤器，以提供遠(yuǎn)程操作演示。

它們提供了工具操作的初始抓取配置。

每當(dāng)機(jī)器手不能可靠地實(shí)現(xiàn)穩(wěn)定抓取時(shí)，他們就會(huì)初始化關(guān)節(jié)對(duì)象狀態(tài)。

Manus在三階段訓(xùn)練框架中的位置

研究小組設(shè)計(jì)了一個(gè)三階段訓(xùn)練框架，MANUS手套通過在需要時(shí)提供人類演示的初始抓握動(dòng)作推動(dòng)了這一過程。

階段1:模擬訓(xùn)練和干擾注入

使用完美對(duì)象姿態(tài)信息特權(quán)策略。

添加隨機(jī)的力和扭矩以提高真實(shí)性。

每當(dāng)機(jī)器人不能自主固定工具時(shí)，團(tuán)隊(duì)就使用MANUS手套為遙控演示提供一致的、可行的初步理解。

階段2:策略升華到僅本體感受

僅使用聯(lián)合立場(chǎng)和簡(jiǎn)單命令，將特權(quán)政策提煉為學(xué)生政策。

移除特權(quán)信息，以便能夠在真實(shí)機(jī)器人上部署。

階段3: CATFA觸覺適應(yīng)

引入CATFA(交叉注意觸覺力適應(yīng))，融合觸覺信號(hào)和電機(jī)扭矩反饋。

實(shí)現(xiàn)在線微調(diào)、干擾補(bǔ)償和穩(wěn)定接觸控制。

(a)研究工作流程概述。模擬培訓(xùn)和政策提煉；(b)通過CATFA模塊在硬件上進(jìn)行在線調(diào)整。

結(jié)果

在手術(shù)鉗、縫合器、腹腔鏡器械等領(lǐng)域，CATFA系統(tǒng)取得了持續(xù)良好的使用效果。具有挑戰(zhàn)性的工具的成功率從大約20-30%上升到100 %，而已經(jīng)表現(xiàn)良好的任務(wù)則獲得了額外的穩(wěn)定性和精確性。

未來影響

在這項(xiàng)研究中，MANUS Metagloves Pro在機(jī)器人努力建立自主抓握時(shí)，通過提供可靠的、人類演示的初始抓握姿態(tài)來支持訓(xùn)練過程。這種工作流程得益于Manus高精度的手部姿態(tài)捕捉方案，Manus可以再現(xiàn)自然的人手動(dòng)作，并捕捉鉸接工具所需的細(xì)微抓握變化。通過使用平穩(wěn)集成到機(jī)器人管道中的遠(yuǎn)程操作演示系統(tǒng)，研究人員能夠確保每次試驗(yàn)的穩(wěn)定開始狀態(tài)，這實(shí)現(xiàn)了有效的機(jī)械學(xué)習(xí)和虛擬模擬到現(xiàn)實(shí)應(yīng)用的轉(zhuǎn)移。

在這項(xiàng)研究之外，使MANUS適用于抓取初始化的相同特征也支持機(jī)器人、數(shù)字人研究、VR和AR交互以及康復(fù)技術(shù)中更廣泛的應(yīng)用。MANUS手套為捕捉人手運(yùn)動(dòng)并將其轉(zhuǎn)換為可用于訓(xùn)練、遠(yuǎn)程操作和交互控制的數(shù)據(jù)提供了一個(gè)自然的界面。