图像辨认攻击还没完全处理，语音辨认攻击又来了！

雷锋网 AI 科技回复按：当前的语音辨认技术发展良好，各大公司的语音辨认率也到了非常高的程度。语音辨认技术落地场景也很多，比如智能音箱，还有近期的谷歌 IO 大会上爆红的会打电话的 Google 助手等。本文章的重点是如何运用对抗性攻击来攻击语音辨认系统。本文发表在 The Gradient 上，雷锋网将全文翻译如下。

假设你在房间的角落放一台低声嗡嗡作响的设备就能妨碍 NSA 窃听你的公家说话。你会觉得这是从来自科幻小说吗？其实这项技术不久就会完成。

往年 1 月，伯克利人工智能研讨人员 Nicholas Carlini 和 David Wagner 发明了一种针对语音辨认 AI 的新型攻击方法。只需添加一些纤细的噪音，这项攻击就可以诈骗语音辨认系统使它产生任何攻击者想要的输入。论文曾经发表在 https://arxiv.org/pdf/1801.01944.pdf。

虽然本文是初次提出针对语音辨认系统的攻击，但也有其他例如针对图像辨认模型系统的攻击（这个成绩曾经得到了不少研讨，详细技术手腕可以参考NIPS 2017 图像辨认攻防对抗总结），这些都表明深度学习算法存在严重的安全破绽。

深度学习为什么不安全？


2013 年，Szegedy 等人引入了第一个对抗性样本，即对人类来说看似正常的输入，但却可以诈骗系统从而使它输入错误预测。Szegedy 的论文引见了一种针对图像辨认系统的攻击方法，该系统经过在图片（蜗牛图片）中添加大批专门设计的噪声，添加完的新图像对于人来说并未改变，但添加的噪声能够会诱使图像辨认模型将蜗牛分类为完全不同的对象（比如手套）。进一步的研讨发现，对抗性攻击的要挟普遍存在：对抗性样本在理想世界中也能见效，触及的改动大小最小可以只要 1 个像素；而且各种各样内容的图像都可以施加对抗性攻击。

这些攻击的例子就是深度学习的阿基里斯之踵。试想假如仅仅经过在停车标志上贴上贴纸就能够毁坏自动驾驶车辆的安全行驶，那我们还怎样置信自动驾驶技术？因此，假如我们想要在一些关键义务中安全运用深度学习技术，那么我们就需求提早了解这些弱点还要知道如何防备这些弱点。

对抗攻击的两种方式



对抗攻击分为针对性攻击和非针对性攻击两种方式。

非针对性对抗攻击仅仅是让模型做出错误的预测，对于错误类型却不做干涉。以语音辨以为例，通常攻击完产生的错误结果都是有害的，比如把「I'm taking a walk in Central Park」转变为「I am taking a walk in Central Park」。

针对性对抗攻击则风险的多，由于这种攻击通常会诱导模型产生攻击者想要的错误。例如黑客只需在「我去地方公园散步」的音频中加入一些难以察觉的噪音，模型就会将该音频转换为随机乱码，静音，甚至像「立刻打 911！」这样的句子。

花的爱拥还是死亡之萼？兰花螳螂是自然界中众多针对性诈骗的例子之一

对抗攻击算法



Carlini 和 Wagner 的算法针对语音辨认模型的停止了第一次针对性对抗攻击。它经过生成原始音频的「基线」失真噪音来诈骗模型，然后运用定制的损失函数来减少失真直到无法听到。

基线失真是经过标准对抗攻击生成的，可以将其视为监督学习义务的变体。在监督学习中，输入数据保持不变，而模型经过更新使做出正确预测的能够性最大化。但是，在针对性对抗攻击中，模型保持不变，经过更新输入数据使出现特定错误预测的概率最大化。因此，监督学习可以生成一个高效转录音频的模型，而对抗性攻击则高效的生成可以诈骗模型的输入音频样本。

但是，我们如何计算模型输入某种分类的概率呢？

经过算法推导出此音频片段中所说的词语并不容易。难点有如每个单词从哪里末尾和哪里结束？

在语音辨认中，正确分类的概率是运用衔接主义时空分类（CTC）损失函数计算的。设计 CTC 损失函数的关键出发点是界定音频边界很困难：与通常由空格分隔的书面言语不同，音频数据以延续波形的方式存在。由于词汇波形之间能够存在许多「特征」，所以某个句子的正确辨认率很难最大化。CTC 经过计算一切能够的输入中「希冀输入」的总概率来处理这个成绩。

Carlini 和Wagner 做出的改进


虽然这种初始基线攻击可以成功的诈骗目的模型，但人们也容易发觉音频被改动过。这是由于 CTC 损耗优化器倾向于在曾经骗过模型的音频片段中添加不必要的失真，而不是专注于目的模型更难诈骗的部分。

Carlini＆Wagner 的自定义损失函数。π 是已计算特征，δ 是已学习对抗失真，τ 是最大可接受音量，ci是一个用于最小化失真并进一步诈骗模型的参数，Li是第 i 个输入令牌的损失。

由于针对性攻击的最薄弱环节直接决议了攻击的强力与否，Carlini 和 Wagner 引入了一个定制的损失函数，该函数会惩罚最强攻击部分的不必要的失真。以基线失真为始，该算法会迭代地最小化该函数，在保持失真的对抗性的同时逐渐降低其音量，直到人听不到为止。最终的结果是音频样本听起来与原始样本完全相反，但攻击者可以使目的语音辨认模型产生恣意他想要的结果。

理想世界中的对抗攻击


虽然语音攻击令人担忧，但相比其它运用类型中的攻击，语音辨认攻击能够并不那么风险。例如，不像自动驾驶中的计算机视觉技术，语音辨认很少成为关键运用的核心控制点。并且语音激活控件可以有 10 秒左右的工夫冗余，这段工夫完全可以用来正确了解命令然后再去执行。

另外，对抗性攻击实际上可以用于确保隐私。比如制造一个设备，这个设备经过发出柔和的背景噪音使监控系统系将周围的对话误以为完全沉默。即便窃听者设法记录您的对话，但要从 PB 级的非结构化原始音频搜索出有用信息，还需求将音频自动转换为书面文字，这些对抗性攻击旨在毁坏这一转化过程。

不过目前还并没有大功告成。Carlini ＆ Wagner 的攻击在运用扬声器播放时会失效，由于扬声器会歪曲攻击噪音的形式。另外，针对语音转文本模型的攻击必须根据每段音频停止定制，这个过程还不能实时完成。回顾过去，研讨者们只花费了几年的工夫就将 Szegedy 的初始图像攻击发展的如此弱小，试想假如针对语音的对抗性攻击的发展速度也这么快，那么 Carlini 和 Wagner 的研讨成果着实值得关注。

雷锋网 AI 科技回复以为对抗性攻击能够会应用深度学习的算法破绽停止毁坏，引发诸如自动驾驶等运用的安全成绩，但如上文所述，针对音频的对抗性攻击对于隐私保护也有积极意义。

via thegradient.pub，雷锋网 AI 科技回复编译

输入这个攻击音频看来是难点之一

人脸辨认攻击还用这么复杂？拿个远镜头放手机摄像头前直接就远间隔给你辨认了，还用啥高科技。

攻击模型

mark

凶猛

想弄死你方法千千万。    你活着还是更有价值些。毕竟死了又不能吃。

这玩意也能叫攻击，当哥德尔定理是假的。

分享了

分享了