挑战赛模拟攻击人工智能 应对安全风险

本文转自【央广网】；

央广网北京9月20日消息（总台央广记者白杰戈）在刚刚结束的国家网络安全宣传周上，人工智能是热门话题之一。人工智能在生产、生活中的运用越来越广泛，它的安全性也越来越受到关注。国内高校和企业发起一项特殊的比赛，参赛者比的是谁能够更快、更有效地攻击人工智能系统，通过这样的“对抗攻击”来提高人工智能的水平和安全性。

重庆的大学生刘野在本月结束的这次比赛中获得第一名。他告诉中国之声，每位参赛者会领到1000个图像文件，他们需要编写代码，让计算机自动修改图像的像素点，让AI（人工智能）无法识别出画面上的人。谁编写的代码修改像素越少并且越能阻止人工智能识别，谁就胜出。刘野花了半个月时间完成比赛。

刘野：每张图像的像素点有500×500，有25万个。我修改了平均大约1200个，修改的像素点其实很少的。

这项“安全AI挑战者计划”由清华大学和阿里巴巴联合开展，已经完成第四期。参赛者们通过代码修改像素形成的“对抗样本”，肉眼看上去没有什么变化，但足以影响人工智能的判断。这个过程可以提前暴露人工智能的局限性。

阿里安全资深算法专家何源说：比如说一只狗的图片，AI可以很容易推出这是一条狗的照片。但是对抗样本的出现，让AI它自身的局限性暴露出来，可以对狗的图片做一些人眼不可察觉的改变，人眼还是看得出来这是一只狗，但是让机器识别不出来它是狗，甚至我可以指定让算法识别出它是一只猫。这是目前AI自身的一个安全局限性，我们举办比赛也主要就是关注到这一点。

主办方介绍，这是全球第一个针对目标检测算法的对抗攻击竞赛。一旦比赛模拟的情况在现实生活中出现，人工智能真的受到攻击，就可能有监控摄像头认不出画面里的人、自动驾驶汽车识别不到前方障碍物等存在安全风险的情形发生。

何源：首先我们要检测这个摄像头下面有没有人，然后有人的话我还想识别出来这个人是谁。那么其实在目前的研究进展里面。比如说，我是可以通过一些类似于我在衣服上有目的地贴一个标志，能够让检测器检测不到人，相当于是我对安防系统的攻击，让它失效。或者可以在脸上做一些修改，比如戴上一种特殊的眼镜或者什么的，让AI系统识别不出来我是谁，或者是把我识别成另外一个人，这也是一种攻击。

中国科学院院士、清华大学人工智能研究院院长张钹表示，人工智能在机遇中也面临诸多挑战，当前以深度学习为代表的人工智能算法在实际应用中存在安全隐患，提升算法的安全性和可靠性，是未来的重要目标之一，也是算法大规模部署和应用的基础。

主办方介绍，“安全AI挑战者计划”已经有来自全球200多所高校、100多个企业的6000多支队伍参赛，除了像刘野这样的学生，还有已经参加工作的网络安全爱好者，收到2000万条恶意样本，沉淀40多个具有前沿创新性的参赛源码和方案，推动缓解人工智能安全人才缺口的问题。此前的三期比赛包括人脸识别对抗、辱骂场景文本对抗等等，针对证件文档类图像伪造的对抗攻击竞赛也已经开始。刘野表示，希望比赛的积累可以帮助更好地改进人工智能的安全性。

刘野：有攻击就有防御。我们的对抗攻击变得更加强大，然后我们拿对抗样本去训练AI，也能促使我们的防御更加强大。