博雯 发自 凹非寺
量子位 报道 | 公众号 QbitAI
多么“平平无奇”的一个换脸视频:
DeepFakes等一众换脸神器对此纷纷表示:就这?
但要是从网上的电影场景中,随意抓一把人物图像丢出来呢?
假如要换的这张脸正好在死亡角度,还做了个特别夸张的表情(或者干脆就是个表情包)呢?
水就有点深了哈。
这时,由上交大和腾讯一同搞出来的换脸框架SimSwap表示:让我来,我把握得住!
恣意人脸都能换
不断身居换脸界C位的DeepFakes是怎样换脸的呢?
对于同一人脸的大量图片停止分析并提取特征,然后将这种特征交换到目的图像上。
这意味着什么呢?我换一个新脸,就得训练一个新模型。
但SimSwap提出了一种ID注入模块(IIM),在特征层面将源脸的身份信息迁移到目的脸,消弭了原图特征信息与解码器的权重之间的相关性。
这样,就将特定人脸互换算法的结构扩展到了恣意人脸互换框架。
也就像我们在扫尾展现的那样,不用精挑细选“正脸”或“中性表情,直接从网上抓一把人物图片,也可以完美换脸。
△一切的目的和原图像都被扫除在训练集之外。
这就大大节省了要反复建立新模型的工夫和金钱。
死亡角度、夸张表情也不怕
除了泛化到恣意人脸变换之外,SimSwap也能更好地保存原图的脸部表情和角度。
不管是表情嘴巴嘟嘟,还是目的图和原图一侧一正两个角度,都能完美换脸。
就算是自下而上的死亡打光图(下图左边第三行),SimSwap也表现得更好。
其实,像这种目的脸属性(表情,姿态,灯光)比较复杂状况下形成的特征损失,不断是换脸面对的困难之一。
表情一夸张,或者处于极端角度和光线下时,就能够导致模糊和伪影。
这是由于在换脸义务中,常常要为了婚配原始特征而删除一些纹理信息,进而使图像的深层特征产生丢失。
此外,由于图像和它的属性在特征层面高度耦合,对于特征的直接修正也会形成图像属性功能的下降。
而SimSwap提出了一种弱特征婚配损失(Weak Feature Matching Loss),保证了输入目的和生成结果在高语义程度上的分歧,并使判别器在最后几层计算特征婚配项。
这样,即便没有对特定属性做任何明白的约束,输入图像的属性也能被一种隐式的方式保留。
可以看到,虽然SimSwap在原特征表现上稍微落后,但触及到脸部姿态这种复杂属性时,它的保存才能更好。
团队引见
论文的两位共同一作都来自上海交通大学。
而通讯作者倪冰冰为新加坡国立大学博士,现任上海交通大学电子系的特别研讨员和博导,次要研讨方向是计算机视觉和多媒体计算。
论文地址:
https://arxiv.org/abs/2106.06340
下载地址:
https://github.com/neuralchen/SimSwap
— 完 —
量子位 QbitAI · 头条号签约
关注我们,第一工夫获知前沿科技动态 |