![]()
本文將通過研究論文“通過Sim-to-Real傳輸,使用靈巧手進(jìn)行關(guān)節(jié)式工具的手動(dòng)操作”中的內(nèi)容,描述使用Manus數(shù)據(jù)手套操作靈巧手的技術(shù)結(jié)果和方法,該案例全部基于作者發(fā)現(xiàn)所表述。
機(jī)器手使用人類工具
機(jī)器人學(xué)的一個(gè)主要目標(biāo)是開發(fā)能夠在以人為中心的環(huán)境中有效運(yùn)行的系統(tǒng)。為此,機(jī)器人必須能夠與專為人手設(shè)計(jì)的工具互動(dòng)。掌握工具操作允許機(jī)器人在日常環(huán)境中執(zhí)行多種任務(wù),并超越傳統(tǒng)的工廠自動(dòng)化。
在這項(xiàng)研究中,加州大學(xué)圣地亞哥分校通過使用比人手自由度更少的機(jī)械手實(shí)現(xiàn)關(guān)節(jié)式工具的靈巧手動(dòng)操作來探索這一挑戰(zhàn)。
挑戰(zhàn)
對(duì)于人類來說,使用剪刀或鑷子感覺毫不費(fèi)力。然而,對(duì)于機(jī)器人來說,使用帶有活動(dòng)關(guān)節(jié)的鉸接工具帶來了巨大的挑戰(zhàn),原因在于:
1. 極其復(fù)雜的接觸動(dòng)力學(xué)
內(nèi)部關(guān)節(jié)摩擦、靜摩擦、間隙和小的結(jié)構(gòu)間隙很難精確建模,從而導(dǎo)致模擬和真實(shí)世界之間的嚴(yán)重不匹配。
2. 模擬到真實(shí)的傳輸差距很大
在模擬中表現(xiàn)良好的策略在物理硬件上往往會(huì)遇到困難或失敗,因?yàn)槲锢韺傩缘奈⑿〔町悤?huì)導(dǎo)致較大的行為偏差。
MANUS數(shù)據(jù)手套解決方案
為了解決機(jī)器人初始化抓取姿態(tài)不穩(wěn)定或不一致的問題,UCSD團(tuán)隊(duì)將MANUS Metagloves Pro整合進(jìn)他們的工作流程:
手套被用作手部跟蹤器,以提供遠(yuǎn)程操作演示。
它們提供了工具操作的初始抓取配置。
每當(dāng)機(jī)器手不能可靠地實(shí)現(xiàn)穩(wěn)定抓取時(shí),他們就會(huì)初始化關(guān)節(jié)對(duì)象狀態(tài)。
Manus在三階段訓(xùn)練框架中的位置
研究小組設(shè)計(jì)了一個(gè)三階段訓(xùn)練框架,MANUS手套通過在需要時(shí)提供人類演示的初始抓握動(dòng)作推動(dòng)了這一過程。
階段1:模擬訓(xùn)練和干擾注入
使用完美對(duì)象姿態(tài)信息特權(quán)策略。
添加隨機(jī)的力和扭矩以提高真實(shí)性。
每當(dāng)機(jī)器人不能自主固定工具時(shí),團(tuán)隊(duì)就使用MANUS手套為遙控演示提供一致的、可行的初步理解。
階段2:策略升華到僅本體感受
僅使用聯(lián)合立場(chǎng)和簡(jiǎn)單命令,將特權(quán)政策提煉為學(xué)生政策。
移除特權(quán)信息,以便能夠在真實(shí)機(jī)器人上部署。
階段3: CATFA觸覺適應(yīng)
引入CATFA(交叉注意觸覺力適應(yīng)),融合觸覺信號(hào)和電機(jī)扭矩反饋。
實(shí)現(xiàn)在線微調(diào)、干擾補(bǔ)償和穩(wěn)定接觸控制。
![]()
(a)研究工作流程概述。模擬培訓(xùn)和政策提煉;(b)通過CATFA模塊在硬件上進(jìn)行在線調(diào)整。
結(jié)果
在手術(shù)鉗、縫合器、腹腔鏡器械等領(lǐng)域,CATFA系統(tǒng)取得了持續(xù)良好的使用效果。具有挑戰(zhàn)性的工具的成功率從大約20-30%上升到100 %,而已經(jīng)表現(xiàn)良好的任務(wù)則獲得了額外的穩(wěn)定性和精確性。
未來影響
在這項(xiàng)研究中,MANUS Metagloves Pro在機(jī)器人努力建立自主抓握時(shí),通過提供可靠的、人類演示的初始抓握姿態(tài)來支持訓(xùn)練過程。這種工作流程得益于Manus高精度的手部姿態(tài)捕捉方案,Manus可以再現(xiàn)自然的人手動(dòng)作,并捕捉鉸接工具所需的細(xì)微抓握變化。通過使用平穩(wěn)集成到機(jī)器人管道中的遠(yuǎn)程操作演示系統(tǒng),研究人員能夠確保每次試驗(yàn)的穩(wěn)定開始狀態(tài),這實(shí)現(xiàn)了有效的機(jī)械學(xué)習(xí)和虛擬模擬到現(xiàn)實(shí)應(yīng)用的轉(zhuǎn)移。
在這項(xiàng)研究之外,使MANUS適用于抓取初始化的相同特征也支持機(jī)器人、數(shù)字人研究、VR和AR交互以及康復(fù)技術(shù)中更廣泛的應(yīng)用。MANUS手套為捕捉人手運(yùn)動(dòng)并將其轉(zhuǎn)換為可用于訓(xùn)練、遠(yuǎn)程操作和交互控制的數(shù)據(jù)提供了一個(gè)自然的界面。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.