3天搞定機(jī)械臂上的VLA完整部署：算法&項(xiàng)目實(shí)踐（運(yùn)動(dòng)規(guī)劃、視覺反饋、模仿學(xué)習(xí)等）

“具身智能”被寫入政府工作報(bào)告后，各地具身智能項(xiàng)目迅速激增，各行各業(yè)都在“搶人才”。機(jī)械臂作為具身智能的核心載體，其崗位薪資待遇十分可觀，并在加速上漲。人才缺口大，供需比 1:7，企業(yè)用“年薪百萬+期權(quán)”搶人已成常態(tài)。

（截圖來源：boss最新數(shù)據(jù)）

然而許多研究者和工程師缺乏相項(xiàng)目經(jīng)驗(yàn)，往往會(huì)在將算法從仿真環(huán)境部署到硬件本體時(shí)，經(jīng)常面臨諸多卡點(diǎn)。核心主要有2個(gè)方面的原因：

1.對(duì)機(jī)械臂操作與抓取的經(jīng)典方法、模仿學(xué)習(xí)方法和端到端VLA方法掌握不透徹；

2.工程實(shí)踐能力不足，難以將理論算法有效轉(zhuǎn)化為實(shí)際可運(yùn)行的硬件操作；

這使得他們?cè)趯?shí)際部署時(shí)，難以有效整合這些方法的優(yōu)勢(shì)，導(dǎo)致VLA算法在機(jī)械臂上的部署和運(yùn)行效果不佳，阻礙了具身智能在實(shí)際場景中的應(yīng)用。

因此，深藍(lán)學(xué)院聯(lián)合首批華為天才少年，VINS作者，上海交通大學(xué)副教授秦通老師與知名機(jī)器人技術(shù)平臺(tái)型企業(yè)松靈機(jī)器人，共同開設(shè)了「具身智能線下實(shí)訓(xùn)營：機(jī)械臂操作與抓取」課程。

以下是課程部分實(shí)踐項(xiàng)目demo：

僅剩13個(gè)學(xué)習(xí)名額

掃碼搶占，咨詢?cè)斍?/strong>

實(shí)訓(xùn)營不僅提供真實(shí)機(jī)械臂的實(shí)操機(jī)會(huì)，還會(huì)結(jié)合行業(yè)最新技術(shù)趨勢(shì)，全面講解運(yùn)動(dòng)規(guī)劃、視覺反饋、模仿學(xué)習(xí)、VLA 等關(guān)鍵技術(shù)，貫穿 “感知 - 決策 - 控制” 全流程，通過線下理論講解與實(shí)戰(zhàn)實(shí)踐，讓學(xué)員掌握機(jī)械臂的工程部署能力，解決仿真與實(shí)機(jī)之間的Gap。以下是部分實(shí)戰(zhàn)項(xiàng)目：

【項(xiàng)目一】實(shí)現(xiàn) RViz 模型與真機(jī) 1:1 精準(zhǔn)映射，集成 RRT * 路徑規(guī)劃與逆運(yùn)動(dòng)學(xué)算法，解決機(jī)械臂控制與避障問題：

（機(jī)械臂虛實(shí)映射與智能規(guī)劃實(shí)戰(zhàn)）

【項(xiàng)目二】結(jié)合機(jī)器視覺，采用規(guī)則算法與強(qiáng)化學(xué)習(xí)雙路徑，實(shí)現(xiàn)特定目標(biāo)物體的精準(zhǔn)識(shí)別與自適應(yīng)抓取：

（視覺引導(dǎo)智能抓取技術(shù)實(shí)訓(xùn)）

【項(xiàng)目三】搭建1比1遙操作數(shù)據(jù)采集平臺(tái)，基于視覺語言VLA模型完成模仿學(xué)習(xí)訓(xùn)練，實(shí)現(xiàn)人類操作技能向機(jī)械臂的高效遷移與實(shí)機(jī)應(yīng)用：

（遙操作數(shù)據(jù)驅(qū)動(dòng)的模仿學(xué)習(xí)實(shí)戰(zhàn)）

講師介紹

秦通

首批華為“天才少年”，VINS作者

上海交通大學(xué)副教授，博士生導(dǎo)師

2019年博士畢業(yè)于香港科技大學(xué)電子及計(jì)算機(jī)工程系機(jī)器人研究所，后加入華為智能駕駛產(chǎn)品部，擔(dān)任SLAM技術(shù)專家，參與研發(fā)華為ADS智能駕駛系統(tǒng)。研究方向包括機(jī)器人感知、SLAM、視覺語言模型、端到端導(dǎo)航等。

合作企業(yè)

松靈機(jī)器人

全球領(lǐng)先的機(jī)器人技術(shù)平臺(tái)型企業(yè)

依托全棧自研技術(shù)與開源生態(tài)體系，持續(xù)推動(dòng)具身智能技術(shù)革新與全球機(jī)器人產(chǎn)業(yè)化進(jìn)程。

上海交通大學(xué)溥淵未來技術(shù)學(xué)院

課程安排

課程亮點(diǎn)

1）全棧技術(shù)閉環(huán)：從算法到硬件的工程化能力培養(yǎng)；2）真實(shí)場景實(shí)戰(zhàn)：松靈硬件平臺(tái)支撐的沉浸式項(xiàng)目實(shí)操；3）產(chǎn)學(xué)研深度融合：頂尖學(xué)者與產(chǎn)業(yè)資源雙重賦能；4）高密度小班制：3天高強(qiáng)度技術(shù)攻堅(jiān)與個(gè)性化指導(dǎo)。

適合人群

1）機(jī)器人與自動(dòng)化相關(guān)專業(yè)在校本科生/研究生；

2）機(jī)械臂和具身智能領(lǐng)域研發(fā)工程師；

3）工業(yè)自動(dòng)化或智能制造工程師。

配套支持

咨詢報(bào)名

僅剩13個(gè)學(xué)習(xí)名額

掃碼搶占，咨詢?cè)斍?/strong>