浅谈人工智能的安全风险成绩

近几年，无论是网络安全还是人工智能（AI）都呈现蓬勃发展之态势，并且都上升到了国家战略的高度。从目前来看人工智能和网络安全交融次要有三个方向，分别是人工智能本身安全、人工智能助力安全、人工智能衍生安全。人工智能本身安全，顾名思义就是指AI本身的风险成绩，在某些语境下可以简称为“AI安全”，相似于系统安全、网络安全的概念。例如经典的大熊猫对抗样本攻击案例，恶意攻击者只需求修正大熊猫图片上的几个像素点就能导致人工智能系统辨认错误，本应该辨认出大熊猫却错误地辨认成了长臂猿，而且置信度很高。人工智能助力安全即用AI的方法来处理安全的成绩。这个范畴起步更早，在本世纪初就有迷信家基于人工智能技术做渣滓邮件的检测，获得了非常好的效果。近几年在业务安全范畴更是涌现出非常有意思的案例，如智能风控、智能反洗钱、智能渣滓内容辨认等，这些技术极大地提升了风险辨认的准确率和召回率。系统网络安全范畴也不例外，衍生出了AISecOps智能安全运营的新理念。人工智能衍生安全是指AI技术导致某些其他范畴不安全了，比如最近盛行的AI换脸技术，它可以把照片或者视频中的人脸换成另外一个人，而且比Photoshop愈加方便，这类技术使得内容安全范畴面临史无前例的应战。
任何一项技术都伴随着安全风险，人工智能技术也不例外，近年来，越来越多的安全专家和人工智能专家揭示了大量AI技术本身的安全成绩。安全专家称之为“AI安全”。保障系统安全运转是安全专家的职责，而揭示风险是实施风险控制闭环的关键步骤，于是就出现了各种“花式吊打”AI的方法。下图是一个交通标志的例子，本来应该被AI辨认出“Stop”的中止标志，但被加上各种扰动之后，最后AI辨认出来的结果却是“限速45”，可以想象，假如这种不安全的算法出如今自动驾驶汽车上会带来多大的灾难。

安全范畴有一个著名的CVE（Common Vulnerabilities & Exposures）破绽数据库，它由非营利性组织MITRE运营。2020年10月，MITRE发起了Github开源项目“advmlthreatmatrix”，该项目旨在系统化地梳理针对AI的要挟矩阵，目前曾经有蚂蚁集团、微软、IBM、卡耐基梅隆大学等十几家机构和高校参与。在网络攻击实战中，攻击者常常首先下载一个盛行的恶意软件并埋入精心构建的后门，该操作被称为“数据毒化”，然后攻击者将这个被毒化的恶意软件再次上传回平台，并宣称是新的恶意软件样本，而一旦该样本被人用来训练恶意软件辨认模型，则该模型也就被植入后门，最终效果是凡是带有特殊信息的恶意软件都不会被该模型辨认了，即完成了“逃逸攻击”。
这类成绩在人工智能的专业范畴里被称之为鲁棒性成绩、泛化性成绩，AI系统的正确率往往不是100%，即便在某些义务下（如人脸辨认）正确率曾经超越了人类，但是AI系统太容易出错了，尤其是在“对抗环境”下，有来自黑灰产的恶意攻击。随着无人驾驶、机器翻译等AI技术逐渐民用，假如安全性要求不达标，势必会影响AI技术的普及和发展。AI承载系统这一层属于网络系统安全范畴范畴，如TensorFlow的各类破绽。AI数据层和AI模型层则涌现出新型的风险，以下引见三种典型场景。
数据投毒攻击：指攻击者经过在模型的训练集中加入大批精心构造的毒化数据，使模型在测试阶段无法正常运用（可用性成绩），或协助攻击者在没有毁坏模型准确率的状况下入侵模型（残缺性成绩）。毒化攻击可以攻击几乎一切算法，包括计算机视觉域算法、自然言语处理域算法、语音域算法、联邦机器学习、引荐、搜索等。此外还会衍生出后门攻击，以图像分类为例，攻击者经过精心构造带触发器的图像数据集毒化模型，使得模型分类错误，将图片分类到攻击者指定的类别。
对抗样本攻击：指应用对抗样本对模型停止诈骗的恶意行为。对抗样本是指在数据集中经过故意添加纤细的干扰所构成的恶意输入样本，在不惹起人们留意的状况下，可以随便导致机器学习模型输入错误预测，例如上文提到的交通标志的错误辨认会形成无人驾驶汽车做出错误决策从而引发安全事故。对抗样本的发现严重妨碍了AI技术的广泛运用与发展，尤其是对于安全要求严厉的范畴。因此，近些年来对抗样本攻防技术吸引了越来越多的目光，成为研讨的一大热点，涌现出了大量的学术研讨成果。
模型窃取：模型窃取攻击是一类数据窃取攻击，攻击者经过向黑盒模型停止查询获取相应结果，窃取黑盒模型的参数或者对应功能。被窃取的模型往往是拥有者花费大量的金钱和工夫构建而成的，对拥有者来说具有宏大的商业价值。模型的信息一旦遭到泄露，攻击者就能逃避付费或者开拓第三方服务，从而获取商业利益，使模型拥有者的权益遭到损害。攻击者假如成功窃取模型，就可以进一步部署白盒对抗攻击来诈骗在线模型，这时模型的泄露会大大提高攻击的成功率，形成严重的安全成绩。