编者按：今年8月，OpenAI曾发文“怒怼”康奈尔大学，指出对抗样本在图像不断变化时可能会失效，他们把一张小猫图片放大了1.002倍后，神经网络分类器输出的结果成了“台式电脑”。而就在昨日，麻省理工学院的LabSix研究小组也得出了相似结论，他们制作了一些受到对抗干扰的立体模型，成功忽悠分类器“指龟为枪”“指球为咖啡”。实验证明，3D对抗样本可以完美地骗过神经网络分类器。

现实生活中，基于神经网络的分类器通常表现出色，甚至接近人类水平，所以他们常常被用于高风险任务里。然而，这些相似的神经网络特别容易受到对抗样本和细微的干扰输入的影响，从而导致分类错误。

例如下图中的虎斑猫，研究人员对其添加了细微的干扰输入后，谷歌的Inception V3分类器就将其识别为一盘鳄梨酱。

然而，使用FGSM和PGD等技术产生的对抗样本在转换到现实世界中时，会因为一些不可避免的因素而解除，例如尺寸变化、噪点和其他改变。下图是与上图同样的照片，但稍稍把它旋转之后，分类器将其正确分为了虎斑猫。

然而，使用FGSM和PGD等技术产生的对抗样本在转换到现实世界中时，会因为一些不可避免的因素而解除，例如尺寸变化、噪点和其他改变。下图是与上图同样的照片，但稍稍把它旋转之后，分类器将其正确分为了于是，一些研究认为对抗样本在现实场景中影响不大，UIUC也曾发表论文称：“实际环境下，在特定的距离和角度下拍摄的带有对抗干扰的图像可能会导致分类器识别错误。但对于大量从不同的距离和角度拍下的照片，对抗干扰就无法保证总能愚弄分类器了。”

但不要高兴的太早，此次研究表明，对抗样本在现实中的问题比之前想的更严重。虎斑猫。

从视频中可以看到，谷歌的Inception V3将这个3D打印的乌龟分类为“步枪”，任何角度都是如此。而另一只未受干扰的乌龟模型则被正确识别为“乌龟”。

研究人员又用了一种新算法来生产对抗样本，这些样本能在模糊、旋转、缩放或翻译等变化下导致错误分类。然后生成对应的2D或3D模型，结果在任何角度都能骗过标准的神经网络。

不只是乌龟，这一过程适用于任意3D模型。研究人员还做了一个棒球，分类器从任何角度都将其归为“浓缩咖啡”。即使把物体放在特定背景中，神经网络还是反应不过来……例如：即使在水中，分类器仍会将乌龟识别成步枪。同样，棒球手套里的棒球依然被识别成浓缩咖啡……

本文由LabSix公开发表在实验室网站上。LabSix是由麻省理工学院的学生独立负责的人工智能研究小组，研究范围包括深度学习的理论和实际应用。

原文地址：www.labsix.org/papers/#robustadv