NC重磅，浙江大學機械工程學院Grasp Lab賦予軟體夾爪類人感知

FlexiRay與人手感知模態對比及應用場景示意圖

在軟體機器人交互領域，長期存在著一對核心矛盾：結構柔順性與感知精確性難以兼顧。傳統視觸覺傳感器（VTS）雖能提供高分辨率反饋，但往往依賴剛性結構以維持光路穩定，犧牲了軟體抓手本質的柔順適應能力；而現有的柔性傳感器設計，在大變形下又面臨視野遮擋和感知盲區的難題。

浙江大學Grasp Lab研發的視觸覺一體化軟體夾爪FlexiRay，以“光學系統-柔性結構-AI感知”的深度融合為核心路徑，創新性地結合了仿生Fin Ray效應與多反射鏡光學陣列，成功復現了人手的五大核心觸覺模態。FlexiRay不僅保留了軟體抓手的大變形自適應能力，更在劇烈形變下實現了超過87%的有效感知覆蓋率，為軟體機器人的智能化交互開辟了“全域感知、柔順操作”的新賽道。

FlexiRay柔順抓取的紋理效果及感知覆蓋示意圖

▍結構與光學革新：化“遮擋”為“視窗”，重構柔性感知視野

機械結構與光學系統的協同設計是FlexiRay的硬件基石。Grasp Lab團隊突破了“限制形變以保視覺”的傳統思路，轉而利用形變，通過系統級優化解決了軟體抓手大變形導致的視覺遮擋難題。

• 視觸光路布局優化：針對Fin Ray結構在抓取時的非線性變形特性，團隊通過構筑分段式多反射鏡陣列，巧妙實施被動式光路補償，將傳統軟體結構的大變形遮擋劣勢這一“物理約束”，逆轉為拓展全域感知視角的“設計增益”。
• 全覆蓋動態感知：這種“單相機+多反射鏡”的構型，使得FlexiRay在抓取過程中，無論手指如何彎曲變形，都能通過直射和反射光路的互補，實現對接觸區域的連續監測。實驗表明，即便在極端形變下，其有效感知覆蓋率仍穩定在87.2%以上，徹底解決了柔性VTS的“視野盲區”痛點。

FlexiRay結構及光路優化原理示意圖

▍多模態感智融合：單目視覺解耦五感，復刻“類人”觸覺

依托于獨特的硬件設計，FlexiRay結合深度學習算法，打破了單一模態感知的局限，僅憑一顆內置攝像頭即可解耦并復現人手的五種關鍵觸覺：力覺、接觸位置、紋理、溫度和本體感覺。

• 高精度力與位姿感知：通過解耦的神經網絡架構，FlexiRay實現了0.17 N的法向力估計精度和0.96 mm的接觸定位精度。同時，基于視覺的本體感覺模型能實時重構手指的空間形變，定位誤差僅0.24 mm，實現了“手眼合一”。
• 兼具溫度與紋理感知：在傳感層材料設計上，融合熱敏變色材料與鋁粉反射層，使夾爪具備了1.17°C精度的溫度感知能力和精細的紋理識別能力。這使得機器人不僅能“摸”出物體的軟硬形狀，還能“看”出物體的冷熱，并在物體分類的測試任務中達到了96.7%的準確率。

FlexiRay多模態感知神經網絡架構及精度可視化結果

▍交互與操作規劃：從精細抓取到智能遙操，AI-機械協同決策

基于優越的柔順性與全覆蓋的多模態感知，FlexiRay構建了高安全性的交互與操作體系，在非結構化場景中展現出極強的魯棒性。

• 柔順抓取與安全交互：得益于Fin Ray結構的被動適應性與高靈敏度力控，FlexiRay能安全抓取薯片、蛋糕、生雞蛋等極易碎物體。在人機交互中，它甚至能感知羽毛接觸的微小力，并做出順應式的安全閃避動作，實現了真正的“人機共融”。
• 增強現實感知的智能遙操作：在復雜的泡茶演示任務中，FlexiRay為操作者提供了包含力、位、形變及溫度在內的全方位反饋。即便在視覺遮擋的情況下，操作者也能憑借觸覺反饋完成盲操作（如調整茶盤姿態），并通過溫度感知準確辨別水溫，展示了其在遠程醫療、危險處置等領域的巨大應用潛力。

FlexiRay精準力控抓取與人機交互實驗

FlexiRay多模態長序列遙操作泡茶測試

▍核心價值與未來展望

FlexiRay的核心突破在于“化形變干擾為感知增益”的柔性視觸傳感設計：既保留了軟體機器人本質的安全與適應性，又補齊了高精度、多模態感知的短板，為軟體機器人的感知系統設計提供了全新的范式。在應用層面，FlexiRay低成本、易制造且高耐用（超40,000次循環測試）的特性，使其具備極高的商業化潛力。從精細的農業采摘、安全的家庭服務機器人，到復雜的工業柔性裝配，FlexiRay正推動機器人手從“執行末端”向“智能感知終端”進化。未來，Grasp Lab將繼續探索變剛度結構與更高級感知材料的融合，賦予機器人更接近人類的觸覺智能。

▍機器人抓取實驗室（Grasp Lab/GL）介紹

機器人抓取實驗室（Grasp Lab）是浙江大學機械工程學院聚焦于機器人抓取的核心課題組，定位為“感知-推理-操作”全鏈條技術突破與工程化落地的創新平臺。實驗室以解決機器人在復雜真實場景下的高效環境理解、抓取軌跡智能推理及高可靠物理交互這一核心挑戰性問題為目標，致力于構建面向家庭服務、超市物流、倉儲分揀及工業制造等多場景的魯棒操作優化系統，為智能機器人實現通用化、靈巧化抓取與操作提供高性能解決方案。

研究團隊通過數學建模、靈巧手設計與控制、視覺感知融合及機器人自監督學習等前沿技術路徑開展研究，已在國際機器人領域頂級期刊和會議上發表一系列高質量成果，包括IJRR、T-RO、NC、RSS等權威期刊與頂級會議

本文完全由GraspLab獨立研究并撰寫而成，第一作者王彥哲、郭昊天、吳浩（三者共一），通訊作者為實驗室負責人董會旭。董會旭博士是浙江大學機械工程學院“新百人計劃”研究員、博士生導師，入選國家高層次青年人才計劃（“海外優青”），長期深耕機器人感知與抓取領域，為實驗室的學術研究與團隊建設奠定了堅實的學科基礎和國際視野。