線上分享丨TactEdge 傳感器的設計、制備及機器人感知操作

「新銳論前沿」第三期線上分享活動邀請到了中國地質大學（北京）四年級博士生章詩昕。由具身觸覺社區主辦、HyperAI超神經協辦的「新銳論前沿」第三期線上分享活動，將于 12 月 13 日（周五）19 點正式上線。本次活動邀請到了中國地質大學（北京）四年級博士生章詩昕，他將圍繞「TactEdge 傳感器的設計、制備及機器人感知操作」帶來技術分享。掃描下方二維碼即可報名參與線上分享！本次活動還設立了抽獎環節，參與線上分享的小伙伴有機會獲得由 OpenBayes貝式計算贊助的算力福利——60 小時 NVIDIA RTX 4090 算力資源使用時長（資源有效期 1 個月），價值 160 元。在本次講座中，章詩昕博士將基于第三代至第六代 TactEdge 傳感器的開發介紹其發展歷程，并進一步從傳感器設計、硬件優化和應用 3 個方面展開進行分享。嘉賓介紹章詩昕中國地質大學（北京）博士生章詩昕是中國地質大學（北京）四年級博士生，在清華大學計算機系聯合培養，在楊義勇教授和方斌教授的指導下開展研究工作。他專注于視觸覺傳感器的開發、優化和應用的相關研究，在傳感器與機器人的集成性、多模態融合和傳感魯棒性上取得顯著提升。近五年來，章詩昕博士已發表學術論文 20 余篇。其中，以第一作者發表學術論文十余篇，包括 TOP 期刊 Advanced Functional Materials、IEEE Journal of Selected Topics in Signal Processing，儀器領域 T1 期刊 IEEE Sensors Journal、Sensors and Actuators A: Physical，機器人領域知名期刊 IEEE Robotics and Automation Letters 等。截至目前，Google Scholar 引用超 300 次，得到來自斯坦福、布里斯托、帝國理工學院、蘇黎世聯邦理工學院等機器人領域學者和專家的正面引用（其中 2 篇論文入選 IEEE 最受關注論文之一）。相關研究在 CAAI 認知系統與信息處理專委會及 Wiley 旗下 Advanced Science News 等公眾號上報道，并受邀成為 IEEE Transactions on Robotics、IEEE Robotics and Automation Letters、Measurement、ICRA 等期刊、頂會審稿人。此外，他還在博士期間多次獲得博士研究生國家獎學金、科研激勵項目獎等國家、校級獎項。在 2019 年 IEEE ROBIO 會議上，基于視觸覺傳感的軟體手研究榮獲最佳學生論文獎；在 2021 年 IEEE ICARM 會議上，集成視觸覺傳感的變剛度軟體手的研究榮獲最佳論文獎。他還曾作為團隊負責人，參加 2024 年世界機器人大賽的共融機器人和太空機器人比賽項目，其中基于視觸覺傳感的盲文示教系統獲得三等獎、基于視觸覺傳感的多模式機械手獲得特等獎（唯一）。分享內容簡介方斌教授團隊從事視觸覺傳感的研究至今剛好第十年。目前，已經迭代了六代視觸覺傳感器及其分支，開創了新的視觸覺傳感器系列 TactEdge，如下圖所示：圖 1 TactEdge 傳感器的開發歷程* 第一代 TactEdge，具備雙模態觸覺傳感功能。通過金屬濺射和掩膜工藝，制備了輕薄的金屬涂層和標準標記陣列。* 為了拓展視觸覺傳感功能，第二代 TactEdge 在涂層或者標記材料中添加了熱致變材料，通過追蹤顏色變化，實現局部溫度感知。* 第三代 TactEdge 是集成視觸覺傳感的軟體手，以內嵌視覺監測內腔形變狀態的方式實現彎曲姿態的追蹤。* TactEdge 是集成于機械手手掌的多模態視觸覺傳感器 PaLmTac，通過分布式模態設計集成紋理和溫度感知區域，簡化了非相關模態的并行識別。* 第五代 TactEdge 在傳感器的徑向尺寸優化、觸覺成像魯棒性上做出巨大提升。* 第六代 TactEdge 采用了新式的視觸覺傳感機制 TIRgel，通過在彈性體內部實施全內反射創造光度信息對觸覺信息的表征，同時引入可調焦相機進行內外視覺的轉換。近年來，TactEdge 發開團隊提出了新一代視觸覺仿真平臺 Tacchi，在觸覺仿真的多樣化、仿真精度和機器人仿真平臺的兼容性上的顯著提升促進了機器人操作學習的泛化性，尤其對環境/任務不確定性的認知。TactEdge 為其它領域的識別難題提供了新的解決思路。視觸覺傳感的信息載體是圖像，這在圖像多模態融合上有著天然優勢。我們發現視觸覺的應用本質上是圖像識別在不同領域的應用拓展。圖 2 TactEdge 傳感器的跨領域應用* 應用 1：依靠視觸覺傳感器對紋理信息的映射，以深度學習模型為橋梁構建觸覺信息與物體類別/屬性的關聯；* 應用 2：通過視觸融合解決透明物體因透光性和反射性導致屬性識別準確率較低的問題；* 應用 3：織物缺陷體現在其微觀組織層面而非顏色特征。我們采用 TactEdge 來捕捉布料缺陷，以避免染案和環境帶來的潛在干擾。* 應用 4：我們提出了一種以標記位移測量為基礎，由預抓取和穩定性調節構成的 two-stage 自適應抓取策略，旨在促進機械手對物體屬性的認知，尤其是對易碎和柔性物體的非侵入性保護。往期推薦戳“閱讀原文”，免費獲取海量數據集資源！