人臉機(jī)器人登上Science Robotics封面：AI教會(huì)仿生機(jī)器人開口說話

胡宇航（網(wǎng)名 “U 航”），畢業(yè)于美國哥倫比亞大學(xué)，博士學(xué)位，首形科技創(chuàng)始人。長期專注于機(jī)器人自主學(xué)習(xí)的研究工作。研究成果發(fā)表于《Nature Machine Intelligence》，《Science Robotics》等國際頂級(jí)期刊。致力于賦予機(jī)器人 “自我模型” 能力，即構(gòu)建對(duì)自身物理結(jié)構(gòu)與運(yùn)動(dòng)的內(nèi)部表征，使機(jī)器人能夠更好地理解自身，并適應(yīng)多變的形態(tài)、環(huán)境與任務(wù)。在仿生人機(jī)交互方向，他提出融合語音、視覺與動(dòng)作的情緒理解與表達(dá)一體化系統(tǒng)，為機(jī)器人提供更加自然的交互能力。通過自監(jiān)督學(xué)習(xí)機(jī)制，他的方法使機(jī)器人在無需人工干預(yù)的情況下不斷提升人機(jī)互動(dòng)質(zhì)量，朝著具備終身學(xué)習(xí)能力的智能體不斷邁進(jìn)。

論文地址：https://www.science.org/doi/10.1126/scirobotics.adx3017

曾發(fā)表論文：

• Hu, Yuhang, et al. "Human-robot facial coexpression." Science Robotics 9.88 (2024): eadi4724.
• Hu, Yuhang, Jiong Lin, and Hod Lipson. "Teaching robots to build simulations of themselves." Nature Machine Intelligence (2025): 1-11.
• https://mp.weixin.qq.com/s/HdnbBweZseTjMedyWHDLSg

2026 年 1 月 15 日，一項(xiàng)來自美國哥倫比亞大學(xué)工程學(xué)院的突破性研究正式發(fā)表于《Science Robotics》，并登上期刊封面。該研究展示了一項(xiàng)全新的機(jī)器人技術(shù)：一臺(tái)具備仿生面部結(jié)構(gòu)的人形機(jī)器人，通過深度學(xué)習(xí)實(shí)現(xiàn)與語音和歌曲同步的真實(shí)唇部運(yùn)動(dòng)。它能跟著人類的語言精準(zhǔn)張合嘴唇，甚至，能跟著音樂唱歌。標(biāo)志著人形機(jī)器人在人類最豐富的交流通道之一唇部表達(dá)上，邁出了突破性一步。

為什么 “嘴唇” 如此重要？

研究顯示，在面對(duì)面的交流中，人類將近一半的注意力集中在唇部運(yùn)動(dòng)上。我們或許能容忍機(jī)器人走路笨拙、手部動(dòng)作僵硬，但哪怕極其輕微的不自然面部表情，都會(huì)立刻引發(fā)本能的不適。這正是著名的 “恐怖谷”。

長期以來，即便是最先進(jìn)的人形機(jī)器人，在 “說話” 時(shí)也只能做出類似木偶的張合動(dòng)作 —— 如果它們有臉的話。但這一次，情況正在發(fā)生改變。

一個(gè)會(huì)自主學(xué)習(xí)表情的機(jī)器人

在這項(xiàng)研究中，研究團(tuán)隊(duì)打造了一張高度仿生的機(jī)器人面孔：

在一層柔性硅膠皮膚之下，隱藏著20 余個(gè)微型電機(jī)，能夠快速、安靜且協(xié)同地驅(qū)動(dòng)唇部形變。

圖 2. 機(jī)器人唇形硬件結(jié)構(gòu)。（A）面部機(jī)器人設(shè)計(jì)概覽，重點(diǎn)展示了人機(jī)交互關(guān)鍵組件：包括揚(yáng)聲器、麥克風(fēng)、高清攝像模塊，以及用于固定柔軟硅膠面皮的磁吸式快拆連接器。該連接器能實(shí)現(xiàn)面皮的精準(zhǔn)定位，并通過推拉雙向運(yùn)動(dòng)驅(qū)動(dòng)硅膠面皮，完成說話時(shí)所需的復(fù)雜唇部動(dòng)作。（B）搭載柔軟硅膠面皮的人形機(jī)器人外觀展示。其底座內(nèi)部集成有邊緣計(jì)算設(shè)備。（C）唇部驅(qū)動(dòng)系統(tǒng)特寫，展示上唇、下唇與唇角連接器分別對(duì)應(yīng)固定于相應(yīng)唇部支架。柔軟可替換的面皮通過磁吸連接器固定，可便捷拆卸以進(jìn)行維護(hù)或個(gè)性化調(diào)整。

隨后，機(jī)器人被 “帶到鏡子前”…

就像一個(gè)第一次對(duì)著鏡子學(xué)做表情的孩子，機(jī)器人通過觀察自己面部在不同電機(jī)驅(qū)動(dòng)下的變化，構(gòu)建 Facial Action Transformer (FAT) 模型，逐漸學(xué)會(huì)如何控制自己的臉（機(jī)器人自我建模 Robotic Self-modeling)。研究團(tuán)隊(duì)將這一過程稱為一種 “視覺 — 動(dòng)作” 的自監(jiān)督學(xué)習(xí)

圖 3. 機(jī)器人能實(shí)現(xiàn)的口型及其對(duì)應(yīng)音標(biāo)展示。該機(jī)器人展示了再現(xiàn)關(guān)鍵英語音標(biāo)的能力，例如爆破音（/p/ 和 /b/）、雙唇音（/m/）以及圓唇元音（/u/ 和 /o/）。通過獨(dú)立控制上唇、下唇及嘴角，每幀圖像均捕捉到其實(shí)現(xiàn)的典型唇部運(yùn)動(dòng)效果。這些數(shù)據(jù)為機(jī)器人在說話時(shí)實(shí)現(xiàn)正確的唇形匹配奠定了基礎(chǔ)。

依靠純聲音驅(qū)動(dòng)嘴形動(dòng)作

接著，機(jī)器人通過觀看合成的機(jī)器人視頻（通過 Wav2Lip）在不同語音語料（由 TTS 和 ChatGPT 生成）的真實(shí)唇部變化，進(jìn)一步學(xué)習(xí)聲音與唇部運(yùn)動(dòng)之間的對(duì)應(yīng)關(guān)系。最終，這兩種能力被整合在一起 —— 機(jī)器人得以將收到的聲音信號(hào)，直接轉(zhuǎn)化為連續(xù)、自然的唇部運(yùn)動(dòng)。無需理解語義，機(jī)器人已經(jīng)能 “對(duì)得上口型”。

圖 4. 機(jī)器人唇形同步的自監(jiān)督學(xué)習(xí)框架。 (A) 數(shù)據(jù)收集階段：機(jī)器人通過與語音相關(guān)的隨機(jī)指令自主生成數(shù)據(jù)集，利用 RGB 攝像頭捕捉廣泛的唇部運(yùn)動(dòng)，以獲取 3D 唇形數(shù)據(jù)。(B) 部署過程：始于來自 ChatGPT 的文本輸入，文本被轉(zhuǎn)換為音頻，隨后利用 Wav2Lip 技術(shù)合成機(jī)器人視頻。利用真實(shí)機(jī)器人視頻及其對(duì)應(yīng)指令，訓(xùn)練由編碼器和解碼器（VAE）組成的機(jī)器人逆向變換器，以生成平滑、準(zhǔn)確、可供真實(shí)機(jī)器人執(zhí)行的電機(jī)指令。

多語言能力

研究團(tuán)隊(duì)測(cè)試了機(jī)器人在多種語言、不同語音環(huán)境甚至歌曲中的表現(xiàn)。結(jié)果顯示，即使在復(fù)雜的語音節(jié)奏下，機(jī)器人也能完成連貫的唇部同步，甚至演唱來自其 AI 生成的曲目。

機(jī)器人多語言口型對(duì)齊能力

圖 5. 多語言唇語同步性能量化表現(xiàn)。x 軸標(biāo)簽下方標(biāo)注的樣本量 n 對(duì)應(yīng)每種語言的測(cè)試句子視頻幀數(shù)。結(jié)果表明，所有非英語語言的同步誤差均保持在英語誤差范圍內(nèi)，顯示出穩(wěn)健的跨語言泛化能力。

當(dāng)然，這還不是終點(diǎn)。研究者坦言，像 “B” 這類需要完全閉唇的音，以及 “W” 這類涉及明顯撮唇的發(fā)音，仍然存在挑戰(zhàn)。但關(guān)鍵在于 ——這是一種可以隨著學(xué)習(xí)持續(xù)進(jìn)化的能力，而不是寫死的規(guī)則。

跨越恐怖谷的 “缺失環(huán)節(jié)”

在研究者看來，面部表情 —— 尤其是唇部的自然運(yùn)動(dòng)，正是長期以來機(jī)器人能力中的 “缺失環(huán)節(jié)”。“當(dāng)前的人形機(jī)器人更多關(guān)注行走和抓取，但凡是需要與人面對(duì)面交流的場(chǎng)景，面部表達(dá)同樣關(guān)鍵?！?/p>

隨著人形機(jī)器人逐漸進(jìn)入娛樂、教育、醫(yī)療、陪護(hù)等高度依賴情感溝通的領(lǐng)域，一張溫暖、自然、可信的‘臉’將不再是加分項(xiàng)，而是入場(chǎng)券。經(jīng)濟(jì)學(xué)家預(yù)測(cè)，未來十年全球或?qū)⒅圃斐^十億臺(tái)人形機(jī)器人進(jìn)入人們的生活場(chǎng)景。而幾乎可以確定的是 —— 它們不可能都沒有臉。

從實(shí)驗(yàn)室走向現(xiàn)實(shí)

這項(xiàng)封面研究，不僅是一次學(xué)術(shù)突破，也展示了中國學(xué)者在國際人形機(jī)器人領(lǐng)域具備獨(dú)特的創(chuàng)新能力。

第一作者胡宇航博士表示，當(dāng)唇部同步能力與對(duì)話型大模型結(jié)合時(shí)，機(jī)器人與人類之間的連接將發(fā)生質(zhì)變?！拔覀兘涣髦杏写罅壳楦行畔⒉⒉辉谡Z言本身，而在面部和身體語言中。機(jī)器人正在開始觸碰這條通道。”

當(dāng)機(jī)器人真正學(xué)會(huì)像人一樣 “說話” 和 “表達(dá)”，

恐怖谷，正在被一步步填平。

人類與機(jī)器人的信任和情感，將會(huì)迎來新的篇章。