為了讓你過(guò)上甩手不洗碗的日子，他和團(tuán)隊(duì)正在教機(jī)器人彈鋼琴、敲架子鼓

如果你在宋偉面前吐槽，人類(lèi)期待機(jī)器人可以?huà)叩亍⑾赐搿B衣服，可它們偏偏在寫(xiě)詩(shī)、畫(huà)畫(huà)、跳舞，他會(huì)笑著讓你再等等，心煩的話(huà)可以聽(tīng)一聽(tīng)由他組建的機(jī)器人樂(lè)隊(duì)的表演。

彈鋼琴、敲架子鼓、演奏揚(yáng)琴……一個(gè)月前，這支名為“和璇”的樂(lè)隊(duì)在杭州西站完成了一場(chǎng)大秀，已經(jīng)收到來(lái)自四面八方，包括人類(lèi)樂(lè)隊(duì)的邀請(qǐng)。它們會(huì)的曲目也越來(lái)越多，從《歌唱祖國(guó)》到《滄海一聲笑》《青花瓷》《孤勇者》……

宋偉為那場(chǎng)表演打了“優(yōu)秀”：“機(jī)器人的完成度很高，就是選曲、編排等有些難為我們這一幫工科直男了。”

這位浙江大學(xué)研究員，和云深處創(chuàng)始人朱秋國(guó)是本科同班同學(xué)，算是國(guó)內(nèi)最早一批在人形機(jī)器人領(lǐng)域的拓荒者，而且選擇了一個(gè)頗為浪漫的切入口：彈鋼琴。

當(dāng)然彈琴不僅是為了彈琴，而是讓機(jī)器人有個(gè)能不斷升級(jí)的復(fù)雜場(chǎng)景。就像宋偉本人，除了浙大老師的身份，還兼任浙江大學(xué)機(jī)器人研究院研究員、杭州海創(chuàng)人形機(jī)器人產(chǎn)業(yè)創(chuàng)新中心副主任、浙江省機(jī)器人產(chǎn)業(yè)發(fā)展協(xié)會(huì)秘書(shū)長(zhǎng)……

出現(xiàn)在數(shù)貿(mào)會(huì)的宋偉和他的鋼琴機(jī)器人 攝影 韓丹

出道數(shù)月的和璇樂(lè)隊(duì)

一臺(tái)開(kāi)了側(cè)蓋的電腦主機(jī)靜置在地，墻角放著一張單人折疊床；帶魚(yú) 屏 顯示器上，是一份未完成的PPT，求職簡(jiǎn)歷和博士、碩士畢業(yè)論文整齊地摞在一旁；玻璃窗上貼著兩個(gè)透明掛鉤，外套和雙肩背包往那一掛，人便可轉(zhuǎn)身扎進(jìn)代碼與算法的世界。

走進(jìn)宋偉的辦公室，一眼就能看出他多個(gè)身份。

這里是位于浙江大學(xué)校友企業(yè)總部經(jīng)濟(jì)園的浙大機(jī)器人研究院，也是杭州海創(chuàng)人形機(jī)器人產(chǎn)業(yè)創(chuàng)新中心所在地。后者是去年8月，浙大與余杭區(qū)政府合作共建的重大科創(chuàng)平臺(tái)，由浙大原黨委副書(shū)記、機(jī)器人研究院院長(zhǎng)朱世強(qiáng)擔(dān)任主任。

他也是宋偉求學(xué)以及職業(yè)生涯非常重要的導(dǎo)師。

約到這次采訪并不太容易。宋偉太忙了：技術(shù)研發(fā)、團(tuán)隊(duì)管理、訪客接待、宣傳推廣……

這個(gè)團(tuán)隊(duì)眼下最亮眼的成果之一是“和璇樂(lè)隊(duì)”，從鋼琴、揚(yáng)琴、架子鼓，到訓(xùn)練中的吹管、無(wú)弦吉他等，“技能樹(shù)”正在不斷點(diǎn)亮。

攝影 韓丹

和人一樣，鋼琴機(jī)器 人 左右“手”各有五根“手指”，可精準(zhǔn)敲擊黑白鍵，且能較快 速 切換，“腳”還會(huì)隨著節(jié)奏輕踩踏板。

攝影 韓丹

再加上揚(yáng)琴機(jī)器人和架子鼓機(jī)器人，和璇樂(lè)隊(duì)已“出道”數(shù)月，在各大科技展館、社區(qū)和商場(chǎng)完成了幾十場(chǎng)演出。它們不會(huì)搶拍，也不會(huì)彈錯(cuò)音符，儼然是訓(xùn)練有素的“樂(lè)手”。

機(jī)器人與人類(lèi)彈奏仍有本質(zhì)區(qū)別。現(xiàn)階段，機(jī)器人靠的是靈巧手與機(jī)械臂的精密配合。人類(lèi)為它預(yù)設(shè)程序、導(dǎo)入樂(lè)譜，再通過(guò)曲譜解析算法、運(yùn)動(dòng)控制算法，將每一個(gè)音符轉(zhuǎn)化為精準(zhǔn)的指法動(dòng)作。

換句話(huà)說(shuō)，機(jī)器人們還做不到實(shí)時(shí)響應(yīng)、即興發(fā)揮，每一次登臺(tái)，背后是機(jī)器人在數(shù)字空間的仿真模擬與動(dòng)作迭代。

彈鋼琴是為了更好地洗碗？

讓機(jī)器 人彈 琴這件事，人類(lèi)已經(jīng)認(rèn)真研發(fā)了好久。2017年，一臺(tái)名為Arpeggio的鋼琴機(jī)器人面世。它擁有夸張的88根“手指”，可以精準(zhǔn)控制256種踏板和1000 多種 琴鍵。只要提前編程設(shè)置好，無(wú)論是哪一首名曲，難度有多高，都可以信手拈來(lái)。

但如果把“手指”縮減到跟人一樣的數(shù)量，機(jī)器人還能那么從容嗎？這是擺在宋偉他們面前的一道難題。

對(duì)于為什么要做彈琴機(jī)器人，宋偉團(tuán)隊(duì)有著清晰的認(rèn)知。首先，相比讓機(jī)器人倒杯水，音樂(lè)演奏是一個(gè)復(fù)雜的場(chǎng)景，而且考驗(yàn)的是“雙手”能力。其次，像倒水這件事，只是讓機(jī)器人關(guān)注東西在哪里，更多考驗(yàn)的是視覺(jué)捕捉能力。

“但彈琴是有節(jié)拍概念的，你既要在這一時(shí)刻找對(duì)位置，又要注意下一步怎么彈。這就是前瞻性。它在時(shí)序上就比倒水更復(fù)雜。”宋偉表示， 另外 彈琴考驗(yàn)的不僅是手，還有手臂的協(xié)同，需要機(jī)器人在演奏時(shí)身體各部位和人一樣保持和諧。

和人類(lèi)學(xué)琴有考級(jí)一樣，隨著演奏曲目難度的增加，對(duì)機(jī)器人的考驗(yàn)也越來(lái)越大。目前，宋偉和團(tuán)隊(duì)以演奏技巧、可演奏曲目的復(fù)雜程度，來(lái) 為 機(jī)器人演奏水平進(jìn)行評(píng)級(jí)。這些指標(biāo)都可轉(zhuǎn)化為對(duì)手指跨度、移動(dòng)速度等手臂能力的量化目標(biāo)。

“隨著演奏等級(jí)的提升，手和臂的智能化也在進(jìn)步，技術(shù)方案由此實(shí)現(xiàn)持續(xù)迭代。”而當(dāng)這些技術(shù)打磨成熟后，再讓機(jī)器人做一些掃地、洗碗、疊衣服之類(lèi)相對(duì)簡(jiǎn)單的事就屬于“降維打擊”。

因此，在真正進(jìn)入家庭前，機(jī)器人需要一個(gè)高精度、高復(fù)雜度的“訓(xùn)練場(chǎng)”。彈鋼琴恰好提供了這一切。

當(dāng)然，文化娛樂(lè)也是宋偉眼中當(dāng)前技術(shù)最能支撐、也最容易落地的場(chǎng)景，“組建機(jī)器人樂(lè)隊(duì)，通過(guò)演出和機(jī)器人售賣(mài)，就能反哺研發(fā)投入，形成商業(yè)閉環(huán)。”

來(lái)自浙大的技術(shù)基因

“從技術(shù)的視角來(lái)看，僅去年到今年，人形機(jī)器人在運(yùn)動(dòng)控制方面的突破，可能已經(jīng)超越過(guò)去20年的總和。”談及近幾年技術(shù)的飛躍，宋偉的語(yǔ)氣中流露出些許感慨。

他與機(jī)器人的故事，開(kāi)始于22年前。

2003年，宋偉從山東考入浙江大學(xué)。“男生嘛，都差不多，從小愛(ài)看機(jī)甲動(dòng)畫(huà)片，對(duì)機(jī)器人有發(fā)自?xún)?nèi)心的熱愛(ài)。”他笑著回憶，“所以就報(bào)考了機(jī)械電子工程專(zhuān)業(yè)。”他的同班同學(xué)中，就有后來(lái)創(chuàng)辦云深處科技的朱秋國(guó)。宋偉辦公室的小圓桌上，剛好還放著朱秋國(guó)最近贈(zèng)送的《智能四足機(jī)器人Lite3 實(shí)訓(xùn)案例集》簽名本。

此后，兩人都選擇留校深造。宋偉進(jìn)入流體動(dòng)力與機(jī)電系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室攻讀博士，朱秋國(guó)則進(jìn)入控制科學(xué)與工程學(xué)院師從 褚健 和熊蓉教授。

彼時(shí)，機(jī)器人研究的火種已開(kāi)始在浙大校園里播撒，如今開(kāi)枝散葉、星火燎原。除了宋偉、朱秋國(guó)，還有熊蓉教授和寧波市政府共建的浙江人形機(jī)器人創(chuàng)新中心、王宏濤教授的鏡識(shí)科技、王酉副教授的邏騰科技……這些帶著浙 大師 生基因的創(chuàng)新力量，正在機(jī)器人領(lǐng)域的不同賽道探索前行。

早些年，宋偉的研究聚焦于特種作業(yè)機(jī)器人，例如無(wú)人自主爬壁機(jī)器人和深水軟體作業(yè)機(jī)器人，“看似領(lǐng)域不同，但底層技術(shù)其實(shí)是相通的。”直到2017年，新型研發(fā)機(jī)構(gòu)之江實(shí)驗(yàn)室成立，讓他有機(jī)會(huì)成為國(guó)內(nèi)人形機(jī)器人拓荒者里的一員。

攝影 韓丹

浙江的機(jī)器人產(chǎn)業(yè)鏈非常完整

2018年，之江實(shí)驗(yàn)室智能機(jī)器人研究中心機(jī)器人中心掛牌運(yùn)行。在制定研究方向時(shí)，當(dāng)時(shí)的核心團(tuán)隊(duì)達(dá)成高度共識(shí)：要做“有顯示度、代表未來(lái)，并能牽引產(chǎn)業(yè)”的研究。這一理念，最終指向了人形機(jī)器人。

與如今海創(chuàng)創(chuàng)新中心以產(chǎn)業(yè)化為核心不同，當(dāng)時(shí)他們選擇以人形機(jī)器人這一終極形態(tài)，反向牽引關(guān)鍵技術(shù)攻堅(jiān)，“人形機(jī)器人幾乎融合了所有形態(tài)機(jī)器人的共性核心技術(shù)”。

2021年左右，宋偉帶領(lǐng)團(tuán)隊(duì)開(kāi)始嘗試將大模型技術(shù)用于機(jī)器人的自主決策，但“當(dāng)時(shí)還非常不好用”。

他還曾與群核科技創(chuàng)始人陳航多次交流，一方擁有豐富的家用場(chǎng)景數(shù)據(jù)資源，一方具備機(jī)器人全鏈條技術(shù)，本想著合作構(gòu)建家庭場(chǎng)景的機(jī)器人虛擬訓(xùn)練平臺(tái)，卻因種種原因未能如愿推進(jìn)。4年后，就在今年8月，群核科技發(fā)布空間大模型，做成了兩人當(dāng)初設(shè)想的事，也算是“念念不忘，必有回響”。

也是在那個(gè)時(shí)期，宋偉開(kāi)始深入思考：機(jī)器人的“手”和“臂”，該如何融入現(xiàn)實(shí)生活的場(chǎng)景？“其實(shí)倒水這樣的任務(wù)，我們?cè)?020年就已完成。”后來(lái)團(tuán)隊(duì)里一位95后姑娘鐘靈提出一個(gè)想法——她從小練琴，大家一拍即合：就是彈鋼琴了。

隨著去年杭州海創(chuàng)人形機(jī)器人創(chuàng)新中心正式成立，宋偉組建起和璇機(jī)器人樂(lè)隊(duì)。

宋偉（右二）和團(tuán)隊(duì)部分成員 攝影 韓丹

實(shí)際上，無(wú)論是2018年還是2024年，幫助宋偉他們將研究落地的，是浙江高度發(fā)達(dá)的機(jī)器人產(chǎn)業(yè)鏈。

“硬件方面，能夠?qū)崿F(xiàn)規(guī)模化量產(chǎn)和精密制造，傳動(dòng)、電機(jī)等核心部件一應(yīng)俱全；軟件算法方面，也有來(lái)自互聯(lián)網(wǎng)大廠培養(yǎng)的大量?jī)?yōu)秀工程師。”從2018年至今，宋偉團(tuán)隊(duì)的每個(gè)硬件需求都能受到產(chǎn)業(yè)鏈上企業(yè)的“關(guān)注”，“大家一起攻克難題，尋找比較好的解決方案，推動(dòng)行業(yè)的發(fā)展。”

要做有市場(chǎng)買(mǎi)單的機(jī)器人產(chǎn)品

除了音樂(lè)演奏機(jī)器人，海創(chuàng)創(chuàng)新中心的第二個(gè)方向，是家庭陪伴機(jī)器人。

在宋 偉 辦公室外，十幾個(gè)年輕人正在埋頭工作：外觀設(shè)計(jì)、結(jié)構(gòu)工程、運(yùn)動(dòng)控制、軟硬件開(kāi)發(fā)……他們都是“胖達(dá)”項(xiàng)目組成員。這個(gè)項(xiàng)目負(fù)責(zé)人謝安桓研究員，也是宋偉的同班同學(xué)。

這是一款毛茸茸、憨態(tài)可掬的熊貓機(jī)器人。它依托多模態(tài)感知和交互系統(tǒng)，結(jié)合情感計(jì)算引擎和大模型的理解與決策能力，能實(shí)現(xiàn)自主識(shí)別、自主決策，甚至自主“成長(zhǎng)”等智能 體 能力，目標(biāo)是真正成為家庭的一員。

目前，這款機(jī)器人主要面向兒童，但相關(guān)技術(shù)正同步延伸至養(yǎng)老場(chǎng)景。9月，由海創(chuàng)創(chuàng)新中心牽頭的“智能情感陪護(hù)機(jī)器人”，成功入圍 工信部 與民政部的“智能養(yǎng)老服務(wù)機(jī)器人 結(jié)隊(duì) 攻關(guān)與場(chǎng)景試點(diǎn)項(xiàng)目”。

而團(tuán)隊(duì)的第三個(gè)方向，是將機(jī)器人技術(shù)深度融合進(jìn)傳統(tǒng)工業(yè)，與產(chǎn)業(yè)龍頭企業(yè)合作，在細(xì)分場(chǎng)景中推進(jìn)人工替代。“例如與諾力股份共建‘具身智能機(jī)器人聯(lián)合實(shí)驗(yàn)室’，研發(fā)化工采樣機(jī)器人，實(shí)現(xiàn)化工廠危化場(chǎng)景的無(wú)人自主采樣。”

但無(wú)論是哪個(gè)方向，宋偉一直堅(jiān)持產(chǎn)品要有市場(chǎng)來(lái)買(mǎi)單，“早年做研發(fā)可以不那么考慮成本，現(xiàn)在需要充分考慮市場(chǎng)的接受程度。”

“一臺(tái)電機(jī)，進(jìn)口的和國(guó)產(chǎn)的價(jià)格相差很多，能不能用性能稍遜的國(guó)產(chǎn)電機(jī)再搭配改良的算法，實(shí)現(xiàn)對(duì)進(jìn)口電機(jī)的大部分替代？”宋偉說(shuō)自己經(jīng)常會(huì)給團(tuán)隊(duì)出類(lèi)似難題，為的就是讓機(jī)器人首先在價(jià)格上沒(méi)那么“高不可攀”，有了落地才能不斷積累數(shù)據(jù)，快速迭代。

錯(cuò)過(guò)這個(gè)風(fēng)口要再等20年

在音樂(lè)演奏機(jī)器人研發(fā)的道路上，宋偉為團(tuán)隊(duì)勾勒出更富挑戰(zhàn)性的新目標(biāo)：持續(xù)增強(qiáng)表現(xiàn)力與智能水平。新開(kāi)發(fā)的機(jī)械臂演奏能力更強(qiáng)、也更靈活，“外觀還會(huì)繼續(xù)打磨，加入肢體動(dòng)作。接下來(lái)還會(huì)引入AI技術(shù)，先實(shí)現(xiàn)人機(jī)交互，再讓AI生成曲譜，曲庫(kù)與動(dòng)作已經(jīng)打通。一旦AI能夠?qū)懜瑁嬲慕换バ泽w驗(yàn)就會(huì)實(shí)現(xiàn)。”

“目前算法其實(shí)是跑在硬件前面。仿真系統(tǒng)里可以實(shí)現(xiàn)的演奏動(dòng)作，但現(xiàn)實(shí)是有時(shí)硬件的性能與可靠性還不夠。”團(tuán)隊(duì)只能在算法上找補(bǔ)，同時(shí)自主研發(fā)高性能關(guān)節(jié)。

攝影 韓丹

眼下，機(jī)器人樂(lè)隊(duì)學(xué)會(huì)一首新曲需要多久？

答案是一天左右。為什么不是半小時(shí)、十分鐘？“還是硬件問(wèn)題，性能沒(méi)跟上。”

回想起8月在杭州西站辦的那場(chǎng)“機(jī)器人夢(mèng)想之夜”音樂(lè)會(huì)，宋偉語(yǔ)氣中透著自豪。長(zhǎng)達(dá)兩小時(shí)的演出，有機(jī)器人樂(lè)隊(duì)獨(dú)奏，也有人機(jī)協(xié)作環(huán)節(jié)，很大程度上依賴(lài)于高精度的程序控制，他認(rèn)為團(tuán)隊(duì)完成得“非常出色”。“當(dāng)機(jī)器人與竹笛演奏者合作《青城山下白素貞》，那種默契與氛圍呈現(xiàn)的最終效果，還是挺打動(dòng)人的。”

在宋偉的設(shè)想中，機(jī)器人樂(lè)隊(duì)更可以成為人類(lèi)音樂(lè)人的創(chuàng)作伙伴。當(dāng)然，“硬件需要更穩(wěn)定，算法也要更智能”。人類(lèi)一個(gè)眼神，機(jī)器人就明白要彈什么；曲風(fēng)驟變，它也能即刻跟上，這是他心中理想的協(xié)作狀態(tài)。

生活中的宋偉喜歡晨跑，常常在六七點(diǎn)出發(fā)。最近一次跑完，他發(fā)了條朋友圈：照片里是一人一狗散步的背影，配文寫(xiě)道：“似乎看到了自己未來(lái)的老年生活。”

不過(guò)顯然，當(dāng)下的他根本無(wú)暇考慮退休。就像他和團(tuán)隊(duì)成員說(shuō)的：“如果抓不住這次人形機(jī)器人的技術(shù)風(fēng)口，也許就要再等20年。一旦抓住，一切都會(huì)迎來(lái)飛躍。”

文 | 童蔚 梁應(yīng)杰

VIEW MORE

@時(shí)隔8年，又一位未來(lái)“預(yù)言家”來(lái)杭州開(kāi)講 >>

@獨(dú)家對(duì)話(huà)螞蟻靈波科技CEO陶齋 >>

@他們做出了全球跑得最快的機(jī)器狗 >>

@ 杭州這個(gè)創(chuàng)業(yè)社區(qū)，專(zhuān)門(mén)孵化“一人公司”>>