线上分享丨TactEdge 传感器的设计、制备及机器人感知操作

由具身触觉社区主办、HyperAI超神经协办的「新锐论前沿」第三期线上分享活动，将于 12 月 13 日（周五）19 点正式上线。 本次活动邀请到了中国地质大学（北京）四年级博士生章诗昕，他将围绕「TactEdge 传感器的设计、制备及机器人感知操作」带来技术分享。

扫描下方二维码即可报名参与线上分享！

本次活动还设立了抽奖环节，参与线上分享的小伙伴有机会获得由 OpenBayes贝式计算赞助的算力福利——60 小时 NVIDIA RTX 4090 算力资源使用时长（资源有效期 1 个月）， 价值 160 元。

在本次讲座中，章诗昕博士将基于第三代至第六代 TactEdge 传感器的开发介绍其发展历程，并进一步从传感器设计、硬件优化和应用 3 个方面展开进行分享。

嘉宾介绍

章诗昕是中国地质大学（北京）四年级博士生，在清华大学计算机系联合培养，在杨义勇教授和方斌教授的指导下开展研究工作。他专注于视触觉传感器的开发、优化和应用的相关研究，在传感器与机器人的集成性、多模态融合和传感鲁棒性上取得显著提升。

近五年来，章诗昕博士已发表学术论文 20 余篇。其中，以第一作者发表学术论文十余篇，包括 TOP 期刊 Advanced Functional Materials、IEEE Journal of Selected Topics in Signal Processing，仪器领域 T1 期刊 IEEE Sensors Journal、Sensors and Actuators A: Physical，机器人领域知名期刊 IEEE Robotics and Automation Letters 等。

截至目前，Google Scholar 引用超 300 次，得到来自斯坦福、布里斯托、帝国理工学院、苏黎世联邦理工学院等机器人领域学者和专家的正面引用（其中 2 篇论文入选 IEEE 最受关注论文之一）。相关研究在 CAAI 认知系统与信息处理专委会及 Wiley 旗下 Advanced Science News 等公众号上报道，并受邀成为 IEEE Transactions on Robotics、IEEE Robotics and Automation Letters、Measurement、ICRA 等期刊、顶会审稿人。

此外，他还在博士期间多次获得博士研究生国家奖学金、科研激励项目奖等国家、校级奖项。在 2019 年 IEEE ROBIO 会议上，基于视触觉传感的软体手研究荣获最佳学生论文奖；在 2021 年 IEEE ICARM 会议上，集成视触觉传感的变刚度软体手的研究荣获最佳论文奖。

他还曾作为团队负责人，参加 2024 年世界机器人大赛的共融机器人和太空机器人比赛项目，其中基于视触觉传感的盲文示教系统获得三等奖、基于视触觉传感的多模式机械手获得特等奖（唯一）。

分享内容简介

方斌教授团队从事视触觉传感的研究至今刚好第十年。 目前，已经迭代了六代视触觉传感器及其分支，开创了新的视触觉传感器系列 TactEdge，如下图所示：

图 1 TactEdge 传感器的开发历程

• 第一代 TactEdge，具备双模态触觉传感功能。通过金属溅射和掩膜工艺，制备了轻薄的金属涂层和标准标记阵列。
• 为了拓展视触觉传感功能，第二代 TactEdge 在涂层或者标记材料中添加了热致变材料，通过追踪颜色变化，实现局部温度感知。
• 第三代 TactEdge 是集成视触觉传感的软体手，以内嵌视觉监测内腔形变状态的方式实现弯曲姿态的追踪。
• 第四代 TactEdge 是集成于机械手手掌的多模态视触觉传感器 PaLmTac，通过分布式模态设计集成纹理和温度感知区域，简化了非相关模态的并行识别。
• 第五代 TactEdge 在传感器的径向尺寸优化、触觉成像鲁棒性上做出巨大提升。
• 第六代 TactEdge 采用了新式的视触觉传感机制 TIRgel，通过在弹性体内部实施全内反射创造光度信息对触觉信息的表征，同时引入可调焦相机进行内外视觉的转换。

近年来，TactEdge 发开团队提出了新一代视触觉仿真平台 Tacchi， 在触觉仿真的多样化、仿真精度和机器人仿真平台的兼容性上的显著提升促进了机器人操作学习的泛化性，尤其对环境/任务不确定性的认知。

TactEdge 为其它领域的识别难题提供了新的解决思路。视触觉传感的信息载体是图像，这在图像多模态融合上有着天然优势。我们发现视触觉的应用本质上是图像识别在不同领域的应用拓展。

图 2 TactEdge 传感器的跨领域应用

• 应用 1：依靠视触觉传感器对纹理信息的映射，以深度学习模型为桥梁构建触觉信息与物体类别/属性的关联；
• 应用 2：通过视触融合解决透明物体因透光性和反射性导致属性识别准确率较低的问题；
• 应用 3：织物缺陷体现在其微观组织层面而非颜色特征。我们采用 TactEdge 来捕捉布料缺陷，以避免染色图案和环境带来的潜在干扰。
• 应用 4：我们提出了一种以标记位移测量为基础，由预抓取和稳定性调节构成的 two-stage 自适应抓取策略，旨在促进机械手对物体属性的认知，尤其是对易碎和柔性物体的非侵入性保护。