2015/7/13 下午12:06:19 星期一
当前位置: 主页 > 厉兵秣马 >

Hinton领衔谷歌大脑新研365体育网投: 究,拯救被认成步枪的乌龟
时间:2019-05-31 18:51

分享到

Hinton领衔谷歌大脑新研究,拯救被认成步枪的乌龟

时间:11-20 00:00 阅读:5171次 转载来源:量子位

栗子 安妮 编译整理 量子位 出品 | 公众号 QbitAI

最近,深度学习之父Geoffrey Hinton带领的谷歌大脑团队,提出了一种防御对抗攻击的新方法。

一种叫作DARCCC的技术,能将重构图像和输入图像作对比,继而识别出对抗图像,检测系统有没有受到攻击。

对抗攻击,是一种专职欺骗图片识别AI的方法。此前,那个广为流传的AI将乌龟识别成步枪的操作,就是对抗攻击的杰作。

悄悄修改图片的纹理,就可以在人类毫无察觉的情况下,骗过AI。

不过这一次,对抗攻击遇到了对手。

虽然,对抗攻击是种高超的骗术,但也有弱点。

还以乌龟和步枪的故事为栗:

即便和步枪分在一类,乌龟还是和步枪长得很不一样。

Hinton团队就是利用它们之间的区别,来把那些分类错误的图像,从大部队里揪出来。

模型识别图像的时候,除了输出一个分类 (如乌龟/步枪) ,还会输出一个重构 (Reconstruction) 的图像。

如果是对抗图像,重构出来会和原图差别很大 (在AI眼里已靠近步枪) 。若是未加篡改的真实图像,重构结果应该和输入图像 (乌龟) 很接近:

△ 受到白盒攻击之后,AI看到的东西,已经变了

所以,要做一个识别算法,就先给验证集的重构误差 (Reconstruction Error) 定义一个阈值。

只要一张图的重构误差超过这个阈值,就把它标记成对抗图像。

△ 输入与重构之间的距离

如此,这个算法就可以识别出,系统有没有受到不明力量的攻击。

随后,研究人员将DARCCC扩展到更多标准图像分类网络中,进一步探索这种检测方法在黑盒攻击和典型的白盒攻击下是否有效。

Frosst等人选用MNIST、Fashion-MNIST和SVHN三个数据集,进行下一步:有效性验证。这一次,研究人员用了三种常用的白盒攻击方法。

前两种是白盒攻击中的常用的FGSM(Fast Gradient Sign Method)和BIM(Basic Iterative Methods)算法,这两次的结果让研究人员兴奋,因为这两种日常方法都没有攻击成功。

虽然DARCCC抵挡住FGSM和BIM的攻势,但在第三种白盒攻击面前,还是败下阵来。

这种更强大的白盒攻击,叫做R-BIM(Reconstructive BIM)。可以把重构损失计算在内,不断迭代地扰乱图片。

这样一来,就算是对抗图像,AI还是可以为它生成一个优雅的重构。

系统就没有办法检测到攻击了。

这是在MNIST和fashionMNIST数据集中检测时的结果:

当用SVHN数据集检测时,结果如下:

目前,这篇论文DARCCC: Detecting Adversaries by Reconstruction from Class Conditional Capsules已经被NeurIPS的安全Workshop收录。

论文地址:

https://arxiv.org/abs/1811.06969

Frosst推特原文:

https://twitter.com/nickfrosst/status/1064593651026792448

— 完 —

年度评选申请

加入社群

量子位AI社群开始招募啦,欢迎对AI感兴趣的同学,在量子位公众号(QbitAI)对话界面回复关键字“交流群”,获取入群方式;

此外,量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募,面向正在从事相关领域的工程师及研究人员。

进专业群请在量子位公众号(QbitAI)对话界面回复关键字“专业群”,获取入群方式。(专业群审核较严,敬请谅解)

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,365体育投注唯美,回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者