智客公社

标题: 上交大找到「换脸」新方式：无惧死亡打光、直男视角 | 开源 [打印本页]

作者: 金山岁月 时间: 2021-6-16 18:56
标题: 上交大找到「换脸」新方式：无惧死亡打光、直男视角 | 开源

博雯发自凹非寺
量子位报道 | 公众号 QbitAI

多么“平平无奇”的一个换脸视频：

[attach]628740[/attach]

DeepFakes等一众换脸神器对此纷纷表示：就这？

但要是从网上的电影场景中，随意抓一把人物图像丢出来呢？

[attach]628741[/attach]

假如要换的这张脸正好在死亡角度，还做了个特别夸张的表情（或者干脆就是个表情包）呢？

[attach]628742[/attach]

水就有点深了哈。

这时，由上交大和腾讯一同搞出来的换脸框架SimSwap表示：让我来，我把握得住！

[attach]628743[/attach]

恣意人脸都能换

不断身居换脸界C位的DeepFakes是怎样换脸的呢？

对于同一人脸的大量图片停止分析并提取特征，然后将这种特征交换到目的图像上。

这意味着什么呢？我换一个新脸，就得训练一个新模型。

[attach]628744[/attach]

但SimSwap提出了一种ID注入模块（IIM），在特征层面将源脸的身份信息迁移到目的脸，消弭了原图特征信息与解码器的权重之间的相关性。

[attach]628745[/attach]

这样，就将特定人脸互换算法的结构扩展到了恣意人脸互换框架。

也就像我们在扫尾展现的那样，不用精挑细选“正脸”或“中性表情，直接从网上抓一把人物图片，也可以完美换脸。

[attach]628746[/attach]

△一切的目的和原图像都被扫除在训练集之外。

这就大大节省了要反复建立新模型的工夫和金钱。

死亡角度、夸张表情也不怕

除了泛化到恣意人脸变换之外，SimSwap也能更好地保存原图的脸部表情和角度。

[attach]628747[/attach]

不管是表情嘴巴嘟嘟，还是目的图和原图一侧一正两个角度，都能完美换脸。

就算是自下而上的死亡打光图（下图左边第三行），SimSwap也表现得更好。

[attach]628748[/attach]

其实，像这种目的脸属性（表情，姿态，灯光）比较复杂状况下形成的特征损失，不断是换脸面对的困难之一。

表情一夸张，或者处于极端角度和光线下时，就能够导致模糊和伪影。

[attach]628749[/attach]

这是由于在换脸义务中，常常要为了婚配原始特征而删除一些纹理信息，进而使图像的深层特征产生丢失。

此外，由于图像和它的属性在特征层面高度耦合，对于特征的直接修正也会形成图像属性功能的下降。

而SimSwap提出了一种弱特征婚配损失（Weak Feature Matching Loss），保证了输入目的和生成结果在高语义程度上的分歧，并使判别器在最后几层计算特征婚配项。

[attach]628750[/attach]

这样，即便没有对特定属性做任何明白的约束，输入图像的属性也能被一种隐式的方式保留。

可以看到，虽然SimSwap在原特征表现上稍微落后，但触及到脸部姿态这种复杂属性时，它的保存才能更好。

[attach]628751[/attach]

团队引见

论文的两位共同一作都来自上海交通大学。

[attach]628752[/attach]

而通讯作者倪冰冰为新加坡国立大学博士，现任上海交通大学电子系的特别研讨员和博导，次要研讨方向是计算机视觉和多媒体计算。

[attach]628753[/attach]

论文地址：
https://arxiv.org/abs/2106.06340

下载地址：
https://github.com/neuralchen/SimSwap

— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一工夫获知前沿科技动态

作者: 吴风 时间: 2021-6-16 18:59
分享了

欢迎光临智客公社 (http://bbs.cnaiplus.com/)