前言：机器手也能做垃圾分类了！

 

如下图，用机器手识别塑料团时，屏幕上就会显示可回收。

 

机器手识别塑料团

 

识别废弃纸盒时，屏幕上也会显示可回收。

 

机器手识别废弃纸盒

 

识别废弃面包时，屏幕则会显示不可回收。

 

机器手识别面包

 

尽管机器手很智能，但垃圾回收的全链条依然需要人类清洁员参与，假如机器手不小心抓握到人手，它会怎么处理呢？

 

如图，假如抓握到人手，屏幕就会提醒这是人的手。

 

识别人手

 

这是清华大学精密仪器系朱荣教授课题组的成果，其核心不在于上述机器手，而在于机器手上搭载的四重触觉传感器。

 

朱荣

 

朱荣告诉 DeepTech，该成果的原理是一种基于热感应的多维传感新机理，利用热敏膜和外界的传导/对流换热对自身电阻的调控实现了压力、温度、流场、热物性等参数的集成测量。

 

研究中的传感器，采用类皮肤的多层结构、具备多功能感知能力，可以感知材料的导热率，也能在测量接触压力的同时去感知物体温度和环境温度。

 

常规的触摸识别技术往往只是利用压力感知，而该传感器可将压力感知与热物性等多模信息进行融合，从而大幅提高物品识别准确率，比如可将基于单模压力感知的 69% 识别率，提高到基于多模触觉感知的 96% 识别率。

 

当把传感器搭载到机器手上，并结合触觉感知信息和机器学习之后，机器手就能精确识别不同形状、大小和材料的物品，其中对于七类垃圾物品实现了高准确识别，其识别率可达 94%。

 

相关论文以《多维触觉传感器助力机器手物体识别》“Skin-inspired quadruple tactile sensors integrated on a robot hand enable object recognition”为题，发表在 Science Robotics 上。

 

相关论文

 

▍以人类皮肤为灵感，可具备微妙感知能力

 

对机器人和假肢等应用来说，皮肤般精细的触觉能力非常必要。此前，科学家们提出了各种触觉传感器和电子皮肤，其中大多数基于电容、压阻和压电等。

 

尽管具备一定功能，但它们的结构和制造方案往往比较复杂，在感知多个刺激时往往会相互干扰。此外，多个传感器的集成仍然是一个挑战。

 

举例来说，当前机器人使用的触觉感知技术，主要用于物体识别、或物体抓取，这通常是基于压力感知。而让机器手去做垃圾分类，仅有压力感知是远远不够的。

 

比如，对于橘子皮、垃圾袋等柔软物体，就不能只通过接触压力来区分。而不同物体的导热率不同，要想提高识别精度，就要把物体的热特性和机械特征相结合。

 

当前的垃圾分类一般是人工手动分类，过程较为繁琐

 

基于上述分析，朱荣团队提出的这款具备四重功能的触觉传感器，集成了压力感测、材料热导率感测、物体温度感测和环境温度感测，四重功能让机器手可以精确识别物体。

 

 四重触觉传感器

 

科学家发现，人类皮肤由于独特的表皮结构和皮肤微观结构，从而具备微妙的感知能力，在接触到压力、温度和物质纹理等刺激时，皮肤都能灵敏地感受到。

 

以皮肤为灵感

 

故此，朱荣等以人类皮肤为启发，把该传感器设计成多层触觉结构。具体来说，在传感器的构造中，沉积在聚酰亚胺基底上的热敏电阻膜，用于模拟人体皮肤的热感受器。利用统一的热敏检测传感元件，感知物体的热导率、接触压力、物体温度和环境温度。

 

如下图所示，四重触觉传感器有两个传感层，传感层之间夹着一层掺银纳米颗粒的多孔聚二甲基硅氧烷（PDMS），作为压热转换功能材料。

 

四重触觉传感器的构成

 

每个传感层上都有两个热敏传感元件，分别叫热膜和冷膜，它们沉积在柔性的聚酰亚胺基底上，上层传感层还覆盖着聚对二甲苯膜、来作为保护层。

 

研究中，该团队通过传感器的顶部热膜，来检测被接触物体的热导率，由于不同材料具有不同的热导率，因此使用该方法可实现材料的识别。

 

同时，施加在传感器上的压力，会使传感器中的多孔聚二甲基硅氧烷材料产生弹性变形，这种变形可以减小多孔材料中的孔隙率，从而增加其导热性。

 

而位于顶层和底层的冷膜，则能检测被接触物体的温度和环境温度。此外，传感器的两个感知层，被连接到两个惠特斯通桥反馈电路中。每个传感层上的热膜和冷膜，分别放置在惠斯通桥的两侧。

 

利用恒温差反馈电路和冷膜，热膜可以实现温度补偿。因此，对物体的接触压力和导热率的感知，不会受到物体温度和环境温度变化的影响。

 

经上述步骤后，传感器即可具备前文的四大功能，下图显示的是传感器对具有不同导热系数、接触压力、物体温度和环境温度的物体的响应。

 

传感器的四重功能

 

实验结果证明，该传感器可实现多模态传感器之间的低交叉耦合，这对于同时检测多种刺激至关重要。

 

▍手指和手掌遍布传感器

 

人手有能力通过皮肤中的热感受器和机械感受器，来识别不同大小、形状和材料的物体。基于此，朱荣团队提出了一种集成上述传感器的机器手，它能通过抓取来识别物体的大小、形状和材料，从而实现垃圾分类。

 

给机器手安装传感器

 

在研究完机器手在抓取不同物体时的最常接触位置后，该团队在机器手的 5 个指尖和手掌上，安装了 10 个传感器。

 

10 个传感器的输出信号被标准化后，会转换为 4×10 的信号图。其中从上到下的四行信号映射，分别对应着被测物体的温度、环境温度、被测物体的导热率和接触压力的输出信号。

 

机器手集成 10 个传感器后的示图，以及相应的传感器标准化信号图

 

为了训练机器手的物体识别能力，该团队在室温下操作机器手，并分别让其抓住人手、以及其他大小和形状均不相同的材料，如钢球和海绵等。在机器手抓住这些物体时，该团队会记录下传感器的输出信号。

 

该团队还考虑了抓取时的不同方向和位置，下图显示的是：当机器手抓住这些物体时，传感器生成的信号图。

 

机器手抓住这些物体时，传感器的标准化信号图

 

除了机械感测，朱荣他们还结合了机械特征和材料热特性来识别物体。下图是一个 PyTorch 框架，其包含三个隐藏层的多层感知器。

 

机器手上的传感器信号图，会被作为多层感知器的输入信息，输出信息则是尺寸、形状和物体的材料。

 

 PyTorch 框架

 

将多层感知器的输出结果、与实际对象进行比较后的测试结果显示，机器手在识别不同大小、形状和材料的物体准确率达到 96% 左右。

 

通过将预测结果与实际对象进行比较，来说明测试数据集的测试验证结果

 

压力传感、材料导热传感、物体温度、以及环境温度的传感集成，这四项对于实现物体的精确识别至关重要、缺一不可。

 

下图展示了使用安装在机器手中指尖上的一个传感器的识别结果。可以看到，只使用一个传感器，并不能准确识别物体的大小和形状，识别精度只有 32.1%。这是因为仅使用一个传感器时，物体接触位置或方向的变化，都会影响到识别精度。

 

使用四个传感器的不同配置来识别对象的分类结果

 

相比之下，在机器手的五个手指和手掌上，使用多个传感器来识别物体，可实现对信息的准确识别。

 

在物体分类中仅使用导热率传感，不能区分材料相同、但是形状和大小不同的物体如小海绵球和大海绵球

 

比如说在物体分类识别时，仅使用材料导热率来感知，其识别精度可达 69.6%，但这时的缺点在于不能区分材料相同、而形状和大小不同的物体，如小海绵球和大海绵球。

 

识别海绵球

 

在识别不同材质和不同几何特征的人手、以及其他物体时，采用多感知组合的分类识别精度可达 96％。

 

其中，朱荣等人以塑料袋、泡沫、纸箱、罐头、餐巾纸、面包、橙皮等七种垃圾作为实验对象。这些垃圾的特征各不相同，因此机器手在抓取不同垃圾时的信号图也不相同。

 

用机器手识别七种垃圾

 

随后，再用七种垃圾的数据集去训练机器手。通过多感知信息的机器学习，机器手可以融合不同数据，从而去准确识别不同垃圾。

 

垃圾分类示意

 

数据显示，识别七种垃圾的总分类准确率达到 94% 左右，这表明使用多感官机器手对垃圾进行分类是可行的，如果能和相应城市的垃圾分类结合起来，前景十分乐观，有望让人工保洁员告别繁琐的分类。