機器人多模態(tài)感知及靈巧操作是邁向下一代類人及通用機器人技術(shù)研究的關(guān)鍵內(nèi)容，在工業(yè)生產(chǎn)、醫(yī)療康復(fù)及航天航空等領(lǐng)域具有廣泛的應(yīng)用前景。但在多模式視觸覺感知方面，相比于視覺傳感器及感知算法的飛速進展，觸覺傳感技術(shù)發(fā)展緩慢，進一步遲滯著機器人多模態(tài)感知及接觸-豐富操作任務(wù)中的操作技能學(xué)習(xí)。
 

　　傳統(tǒng)的觸覺傳感器多為貼片式陣列傳感器，通常將觸摸信號轉(zhuǎn)化為不同電信號，進而從電信號分布中間接恢復(fù)出其他不同的接觸模式信息，如接觸力、接觸形狀。這類觸覺傳感器具有集成簡易、采樣率高等優(yōu)勢，但因為制作工藝復(fù)雜也存在著空間分辨率不高、成本高昂及容易損壞等問題，嚴重阻礙了其大規(guī)模應(yīng)用。近年來，以GelSight傳感器為代表的視觸覺傳感技術(shù)在觸覺精密測量、機器人抓取與靈巧操作等領(lǐng)域受到廣泛關(guān)注，它們將觸覺信息轉(zhuǎn)化為膠體層的形變進而使用視覺算法獲取多模式觸覺信息。此類傳感器突破了大多數(shù)技術(shù)路線無法獲取稠密接觸幾何形狀的難題，但因為光度立體算法的使用，對光源結(jié)構(gòu)要求較高，且光照分布一致性的要求阻礙了其在多曲率仿生指尖結(jié)構(gòu)中的部署，在具體應(yīng)用場景中依然受限。
 

　　針對上述問題，自動化所智能機器人系統(tǒng)研究部提出基于雙目視覺的視觸覺傳感技術(shù)路線——GelStereo系列，嘗試解決因光度立體算法的使用帶來的光源及結(jié)構(gòu)設(shè)計問題，并實現(xiàn)了包括接觸幾何形狀重建、滑動檢測、稠密三維力測量等在內(nèi)的高精度多模式觸覺感知功能，拓寬技術(shù)應(yīng)用場景，推動多模式視觸覺傳感領(lǐng)域發(fā)展。
 

　　GelStereo系列采用立體視覺技術(shù)捕捉接觸膠體層的形變信息，進而通過不同的視覺算法與接觸模型相結(jié)合實現(xiàn)各類高級觸覺感知功能。具體而言，GelStereo采用視覺算法捕捉標記點(高于1mm空間分辨率)位移場變化實現(xiàn)對接觸表面滑動場的測量，并通過有限元分析與接觸力模型結(jié)合實現(xiàn)對稠密陣列三維力的測量。該研究目前已成功應(yīng)用于不同Gripper指尖并完成抓取物體姿態(tài)估計、插拔旋擰等各類機器人感知與靈巧操作任務(wù)。
 

　　此外，該系列采用自監(jiān)督學(xué)習(xí)的方式實現(xiàn)了對整個接觸表面的深度重建，具有結(jié)構(gòu)泛化性，使其可以應(yīng)用于多曲率接觸表面，拓寬了視觸覺傳感器在高精度觸覺幾何形狀測量領(lǐng)域的使用前景，即將應(yīng)用于腕部觸覺傳感器、多指靈巧手仿生指尖等更具有挑戰(zhàn)性的集成場景，在精密觸覺測量、機器人交互感知、靈巧抓取與操作領(lǐng)域具有潛在應(yīng)用價值。