原创：谭婧
人工智能算法攻与防，始于一个风趣的“捣乱”，在谷歌实验室里。
“捣乱”，纯粹是人为的，本人给本人添乱。
得到的实验室结论是：对输入样本（一张图片）故意添加一些人无法肉眼察觉的纤细干扰，可以导致图像分类模型，会以较高的概率（高置信度）给出一个错误的输入。
在理想世界里，“捣乱”就让计算机出错。
2014年的这一结果写在了，谷歌研讨员Christian Szegedy博士和其团队的论文《神经网络的风趣特性》（Intriguingproperties of neural networks）中。
论文作者，也觉“风趣”，不信你看论文的标题叫啥。
这可以算，全球最早对人工智能算法攻与防的研讨。
或者说，人工智能算法攻与防的研讨，肇始于谷歌公司。
2017年，Ian Goodfellow博士牵头组织了 NIPS 2017 对抗样本攻防竞赛，这是国际上第一次专门举行对抗攻防专竞赛。
这位三十多岁的AI重生代首领，还有一个江湖称谓，“生成对抗网络之父。”
此网络，彼网络，都是深度学习之网络。
值得一提的是，清华大学朱军教授团队包揽了这次比赛三个赛道的冠军。
也在2017年，AI对抗攻防迎来首个算法开源平台CleverHans，听上去，中文名像“聪明的汉斯”。
由Ian Goodfellow和其团队开发并开源，欢迎来自全球各地的对抗算法开发人员贡献代码。
Cleverhans平台的攻防框架，将攻防算法模块化，全球研讨者能在这一平台上，疾速研发不同的对抗样本生成算法和防御算法。
次年，来自图宾根大学团队推出的Foolbox（直译，傻盒子）图像分类范畴的攻防算法库，开源。
2019年，谷歌Ian Goodfellow博士团队就曾在2019年的论文“针对自动语音辨认的不可察觉的、鲁棒的和有目的的对抗样本”，英文名为，Imperceptible, Robust, and Targeted Adversarial Examples forAutomatic Speech Recognition。
这一研讨成果，告诉我们“风趣的捣乱”也适用在语音，将AI对抗样本攻防算法从图像范畴扩展到语音范畴。
这个谷歌团队的研讨（语音对抗攻击算法），经过添加不可察觉的噪声达到100%的攻击成功率。
2019年，博士Ian Goodfellow从谷歌跳槽去了苹果公司。
谷歌AI痛失一员大将。
既然是攻防，一直要决出高下。
2020年底，来自图宾根大学的团队发布图像分类范畴评价攻防算法鲁棒性的基准平台RobustBench。
这一基准平台，坐拥30多篇论文中零散的防御模型，应用单一的攻击算法测量防御模型的鲁棒性，惋惜的是，用于评测的数据集不多。
IBM公司的团队也做了相似的事情，开源了Adversarial Robustness Toolbox（ART，直译对抗鲁棒性工具箱）。
短期内，两个针对图像分类范畴的攻防算法开源库，相继面世。
在清华大学，朱军教授团队低调开源了 AI 对抗安全算法平台ARES，简称Adversarial Robustness Evaluation for Safety。
ARES的中文名是阿瑞斯，古希腊神话中的和平之神，奥林匹斯十二主神之一。古希腊神话中的战神，双手持矛和盾是攻防合一的化身，AI安全算法攻与防博弈。
开源工夫追溯到2019年11月24日。
ARES平台，有朱军教授团队自行研发的相关攻防算法，有40多个不同类型的防御模型，支持下层API直接调用。
除了算法库，还有鲁棒性测评工具，支持对图像分类义务上不同模型的对抗鲁棒性停止准确和片面的基准测试。
众所周知，数据集分为训练集和测试集，训练集，训练模型；测试集，测试模型的功能。
由于测试鲁棒性所用的测试集很重要，所以，ARES平台采用了公开的CIFAR10和ImageNet数据集。
这一成果也被收录为CVPR2020的Oral论文《基于图像分类的对抗鲁棒性基准》，Benchmarking Adversarial Robustness on Image Classification。
图示：评测的设定值（setting），CIFAR-10是数据集，Untargeted是攻击的目的，epsilon是添加扰动大小。
CVPR2021时期，ARES平台也支持了白盒的对抗攻击竞赛（在线运转环境），全球1600多支代表队的选手在平台提交攻击算法，在提交的约2000个攻击算法中，高质量算法大概有100个。
在ARES平台上，为了做得更好，CVPR2021人工智能攻防竞赛中排名前五的攻击算法被收录，清华大学此前的研讨成果也被收录。
ARES也是目前为止图像分类范畴较为片面的算法鲁棒性基准平台。
现有的四大AI 对抗安全算法平台，CleverHans、Foolbox、ART、ARES，均有一致的底层框架和图像分类范畴典型攻防算法，大型交友社区Github上都能测评。
但是，只要RobustBench和ARES后续出了网页版。
AI对抗算法鲁棒性基准平台的英文名是AdversarialRobustness Benchmark，也是网页的名字，Benchmark直译为“基准”。
平台的发布工夫是在2021年6月，可以了解为一种对攻防算法停止鲁棒性排名，可作为参考，也可以视为榜单。
这是国内首个，由清华大学朱军教授带头，瑞莱智慧RealAI和阿里安全团队均有参与。
光阴匆匆，人工智能算法攻与防，也走过了七个年头的岁月。
是时驻足思索，这一时期推出基准平台有什么意义？
朱军教授的了解是：
第一，努力提供一个公开、公平、公正、片面的衡量。
第二，一个方便运用的，鲁棒性测试工具，人人提交模型，均可以获取综合鲁棒的分数。
第三，不断引入新的攻击防御算法，作为标准测试平台。
新的算法提交到这个网站上，可以看到算法的大概表现。更综合的测评目的，评价策略更为迷信，能给攻防范畴的研讨提供更多的指点和测评支撑，能片面、客观地展现最新的攻防方法。
最后，朱军教授希望和学术界、产业界一同去共建、维护这个公开榜单，让其成为攻防算法范畴的一个标准。
专家观点：
阿里安全高级算法专家，越丰：
像打仗一样，攻击者能够用水攻，也能够火攻，还能够偷偷挖条地道来攻打一座城，守城的人不能只思索一种能够性，必须布防应对许多的攻击能够性，尤其要关注恶意攻击者对数据或样本停止“投毒”，故意影响AI模型的攻击行为。
瑞莱智慧 RealAI CEO，田天博士：
算法安全，比较典型的就是对抗样本，它是深度学习范式下人工智能存在的一种缺陷，经过算法修正为样本攻击提供深层次的攻击，而且曾经成为了主流的技术趋向。
伊利诺伊大学（UIUC）计算机迷信系助理教授，李博：
机器学习在推理和决策的疾速发展，已使其广泛部署于自动驾驶、智慧城市、智能医疗等运用中。但是，传统的机器学习系统通常假定训练和测试数据遵照相反或相似的分布，并未思索到潜在攻击者恶意会修正训练和测试数据这两种数据的分布。
这相当于在一个人长大的过程中，故意停止错误的行为引导。恶意攻击者可以在测试时设计小幅度扰动，误导机器学习模型的预测，或将精心设计的恶意实例注入训练数据中，经过攻击训练引发AI系统产生错误判别。
好比是从AI“基因”上就做了改变，让AI在训练过程中按错误的样本停止训练，最终变成被操控的“傀儡”，只是运用的人全然不知。深化研讨潜在针对机器学习模型的攻击算法，对提高机器学习安全性与可信任性有重要意义。
本文致谢，董胤蓬博士，没有他的讲解，很难完成梳理。
他是清华大学计算机系四年级博士生，导师为朱军教授，担任AI攻防算法的研讨与落地。次要研讨方向为机器学习与计算机视觉，聚焦深度学习鲁棒性的研讨，先后发表CVPR、NeurIPS、IJCV等顶级国际会议及期刊论文二十余篇。
曾是ICML、NeurIPS、ICLR、CVPR、ICCV、TPAMI等会议和期刊的审稿人。曾获得国家奖学金，清华大学将来学者奖学金、CCF-CV学术新锐奖、微软奖学金、百度奖学金等。在NeurIPS 2017人工智能对抗性攻防大赛中获得全部三个比赛项目的冠军。
以下是朱军教授的PPT，自取，不谢。
可获得朱军教授PPT。
更多阅读：
- 搞深度学习框架的那帮人，不是疯子，就是骗子
- 七分之一在线回复都有假，人工智能救一把？
- 难倒刘强东的奥数题，京东智能供应链解开了
- 超级计算机与人工智能：大国超算，无人领航
- 消逝的人工智能 “法外之地”
- 孩子心脏发育不好，我要存孩子的心电数据
- 电子地图“顽疾”难治，会“传染”自动驾驶公用高精地图吗？
最后，再引见一下主编本人吧。
我是谭婧，科技和科普题材作者。
围追科技大神，堵截科技公司。
生命短暂，不走捷径。
还想看我的文章，就关注“亲爱的数据”。 | 
