敲敲扶手就能知道是不是实木做的，这种通过物体发出的声波振动来感知世界的能力，甚至是人类不假思索就能做到的。研究人员正准备将这种能力带给机器人，以增强其快速增长的感知能力。

杜克大学将在11月6日至9日在德国慕尼黑举行的机器人学习会议（CoRL 2024）上公布一项新研究，该研究详细介绍了一种名为SonicSense的系统，它能让机器人以类似人类的方式与周围环境进行交互。该研究结果发表在arXiv预印本服务器上。

论文第一作者、陈伯元（Boyuan Chen）实验室一年级博士生刘家勋（Jiaxun Liu）表示，“如今的机器人主要依靠视觉来解读世界……我们希望创造一种解决方案，能够处理日常发现的复杂多样的物体，让机器人拥有更丰富的'感觉'和理解世界的能力”

SonicSense配备了一个有四个手指的机器人手，每个手指都配有一个嵌入指尖的接触式麦克风。这些传感器检测并记录机器人敲击、抓握或摇动物体时产生的振动。由于麦克风与物体接触，它能让机器人滤除环境噪音。

基于相互作用和检测到的信号，SonicSense提取频率特征，并利用其先前的知识，结合人工智能的最新进展，找出物体是由什么材料制成的，以及它的3D形状。如果这是一个系统以前从未见过的物体，那么系统可能需要20次不同的交互才能得出结论。但如果它是一个已经在数据库中的物体，系统只需4次交互就能正确识别。

杜克大学机械工程与材料科学教授陈伯元（Boyuan Chen）说，“SonicSense为机器人提供了一种新的听觉和感觉方式，就像人类一样，这可以改变当前机器人感知物体和与物体互动的方式”，“虽然视觉是必不可少的，但声音增加了信息的层次，可以揭示眼睛可能忽略的东西。

在论文和演示中，陈伯元（Boyuan Chen）和他的实验室展示了SonicSense的许多功能。通过转动或摇晃一个装满骰子的盒子，它可以计算里面的骰子数量和形状。通过对一瓶水做同样的操作，它可以知道里面有多少液体。通过敲击物体的外部，就像人类在黑暗中探索物体一样，它可以构建物体形状的3D重建，并确定它是由什么材料制成的。

虽然SonicSense并不是首次尝试使用这种方法，但它比以前的工作更进一步，性能也更好，因为它使用了四个触手而不是一个，还使用了基于触摸的麦克风来调节环境噪声，并采用了先进的人工智能技术。这种设置使系统能够识别由多种材料组成的物体，包括复杂的几何形状、透明或反射表面，以及对基于视觉的系统来说具有挑战性的材料。

刘家勋（Jiaxun Liu）说“虽然大多数数据集都是在受控实验室环境中或在人工干预下收集的，但我们需要机器人在开放的实验室环境中独立地与物体互动”。“在模拟中很难复制这种复杂程度。受控数据与真实世界数据之间的差距至关重要，而SonicSense通过让机器人直接与物理世界的各种混乱现实进行交互，弥补了这一差距。”

这些能力使SonicSense成为训练机器人在动态、非结构化环境中感知物体的坚实基础。它的成本也是如此；使用音乐家用来录制吉他声音的接触式麦克风、3D打印和其他商用组件使制造成本保持在200多美元。

展望未来，该小组正在努力提高系统与多个对象交互的能力。通过整合物体跟踪算法，机器人将能够处理动态、杂乱的环境，使其在现实世界的任务中更接近人类的适应性。