点击上方“3D视觉工坊”，选择“星标”
干货第一时间送达
中国科学家研发“魔法贴”，让你跟机器人共享触觉。
让机器人做核酸采样，靠谱吗/p>
过去两年，多家研发团队研发了能让医护人员远程操纵机械臂完成核酸采样的系统。不过相比于“直接上手”，这些操作存在一个难点——很难掌握下手的轻重。
研究团队开发了一种灵活的电子皮肤贴片，它可以作为无线人机交互系统，应用于机器人VR。只要贴上这个“魔法贴”，人类就能跟机器共享触觉。
该贴片既可以小到无感，也可以大成一件上衣，通过震动力度和频率来反馈触觉。当使用者戴上VR设备，他就能远程控制机器人，去完成宛如亲临现场的精细动作。
▲2021服贸会上展出的全自动鼻咽拭子采样机器人（图片来源为环球时报）
但这些利用遥控手柄控制的机器人，对医护人员的操作准确度有很高要求。
于欣格团队观察发现，手术过程中，医生需通过屏幕判断手术进程，去想象有多大的反馈力度，这往往需要临床经验丰富的医生才能把控。
那么，能否在医生和机器人之间共享触觉，让机器人能将现场的触觉反馈同步给远程的医护人员呢/p>
将电子皮肤作为无线人机系统应用到机器人VR中的研究项目由此启动。
研究人员提出了一个设想，只要“贴上”智能电子皮肤，医生远程操控机器人时，就可以通过视觉、听觉、触觉全方位感知，近似于零距离感受手术过程，并且这在一定程度上，会降低手术机器人认证医生的标准。
▲CL-HMI电子皮肤的组成结构
电子皮肤中的设计均根据完善的力学设计规则成丝状蛇形结构，从而使整个系统具有可拉伸性。另一层肤色弹性硅（PDMS）用来封装所有功能组件。
▲手套形状的电子皮肤操纵遥控车模拟实验
关于触觉反馈的实现方式，于欣格说：“我们通过不同的震动强度以及频率来代替触觉。”震动的范围可能是从低频敲击式的震动到类似于手机震动的状态。
在研究过程中，研究人员会为使用者建立映射标准，使用者经过训练和熟悉后能够逐渐适应震动反馈，但目前为止，映射标准会因身体部位、使用者等多种因素而异。于欣格告诉智东西，他们也正在探索实现更真实映射的技术。
03.
通过互联网传输
不到50毫秒就可轻松响应
除了触觉感知外，机器人VR系统的无线传输功能同样神奇。
这块电子皮肤上安装了7个弯曲传感器和5个执行器。这些传感器和执行器可以直接连接到电子皮肤中MCU的模拟数字转换器（ADC）和通用型输入/输出（GPI/O）接口，用于多通道传感和驱动。
电子皮肤中包括读取信息的传感器、用于发送信息的无线发射器，以及有助于触觉反馈的小型振动磁铁。
这些传感器以锯齿形方式放置的电线组成，当贴片弯曲时，这些电线被拉得更直，弯曲、放直手臂时可以向机器人传输有关身体运动的数据。
研究人员称，这些传感器可以将人体运动转换为电信号，由MCU进一步处理并通过无线传输到目标机器人。同时，机器人上的压力传感器检测到与外部环境的接触，通过蓝牙模块控制触觉执行器的振动强度，为用户提供触觉反馈。
为了进一步说明电子皮肤实时无线操作的性能，研究人员测量了1-5米距离范围内的电子皮肤循环响应速度，包括信号传感、数据传输、信号接收、制动响应等环节。
研究结果表明，影响电子皮肤无线传输距离的因素有：顶部肤色弹性硅封装层厚度，人体中复杂的生物组织可能吸收电磁辐射等。
在完善机器人VR的触觉反馈方面，于欣格说：“我们现在可以通过调整电子皮肤的位置和结构解决上述问题，同时也会和更专业的通信领域专家合作，融合相关技术，继续探索机器人VR在无线通信传输领域的潜力。”
▲《铁甲钢拳》中人和机器人同步动作片段
机器人VR还可以用在健康领域的假肢传感。
失去上肢或下肢的特殊人群安装假肢后，往往无法仅通过观察来掌握力度大小，而将电子皮肤安装在他们的截肢末端有望改善这个问题。
于欣格解释说，电子皮肤在控制假肢运动的同时，还可以将物体的硬度、重量等信息反馈到截肢末端的电子皮肤上，使用户能感受到真实的力度、硬度反馈，从而控制力度的大小。
据于欣格透露，他们也正在筹备初创公司，探索机器人VR的落地，目前更偏向医疗应用领域等to B的工业合作伙伴。
05.
结语：人机交互新方式
或成机器人应用新风口
闭环人机接口的出现为人体和机器人之间提供了更新的交互方式，使得远程操控机器人的应用场景进一步增加，除此之外，双向反馈也为机器人执行更为复杂的任务提供了可能。远程操控高自由度机器人在远距离操作、假肢控制和医疗应用方面的例子代表了其在不同领域的广泛潜在应用。
开发兼具精确触觉传感和反馈功能的远程操控技术非常重要，于欣格说，他们仍然在探索电子皮肤形态的多样性、触觉反馈的精准度、无线传输的效率……
未来，元宇宙可能是机器人VR系统应用的一个重要领域。但于欣格认为，该项目的研究远远不止于此，皮肤作为人体最大的触觉感官，还有更多的发展潜力，不过这个领域的基本探索时间还很短，基础研究在现阶段仍必不可少。
对于听觉、视觉的感知，我们在日常生活中已经司空见惯，如果触觉感知能进一步普及，是否会使得虚拟世界的真实性越来越高们也很期待未来不仅能远程听到、看到，还能真实地感觉到虚拟空间。
本文仅做学术分享，如有侵权，请联系删文。
3D视觉精品课程推荐：
1.面向自动驾驶领域的多传感器数据融合技术
2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
9.从零搭建一套结构光3D重建系统[理论+源码+实践]
10.单目深度估计方法：算法梳理与代码实现
11.自动驾驶中的深度学习模型部署实战
12.相机模型与标定(单目+双目+鱼眼）
13.重磅！四旋翼飞行器：算法与实战
14.ROS2从入门到精通：理论与实战
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~
文章知识点与官方知识档案匹配，可进一步学习相关知识算法技能树首页概览34468 人正在系统学习中
来源：3Ｄ视觉工坊
声明：本站部分文章及图片转载于互联网，内容版权归原作者所有，如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢！