编者按: 智显将来，洞见新知。中科院之声与中国迷信院自动化研讨所结合开设“智言智语”科普专栏，为你引见人工智能相关知识与故事，从最新成果到背后趣闻，带你徜徉AI空间，看人工智能如何唤醒万物，让世界变得更美妙 。
近年来，深度生成模型的飞速发展催生了Deepfake、人脸交融等一系列成熟的人脸深度伪造技术。随着Zao等文娱运用的推出，人脸伪造技术的成本疾速降低并得到迅速推行。人脸伪造技术潜在的滥用隐患和相应的检测技术引发了社会各界的广泛讨论。逼真的伪造图像，使人们很难仅凭RGB图像判别真伪。
先分解，再寻觅
一些相关研讨应用图像频域分析技术，发现伪造过程中的上采样会导致图像频谱中某些部分被特定的反复形式所替代；同时，他们以为现有的伪造算法只关注图像的像素级重建而很难兼顾对于人脸图像各组成成分的合理重建。因此，研讨人员提出，在对伪造图像停止某种方式的分解之后，所得到的解构成分中应包含更多有助于伪造检测的线索，并基于此提出应用频域信号分解的方法找到包含伪造线索最多的频段以检测人脸伪造图像。但是，由于拍摄器材、拍摄环境、紧缩算法、存储方式等的不同，不同数据之间存在宏大的分布偏向，很难事前指定好包含最多伪造痕迹的频段。
为处理该难题，中国迷信院自动化研讨所朱翔昱副研讨员和雷震研讨员等人提出了基于三维解构的人脸伪造检测方法，经过对人脸图像停止图形学分解，找到包含最多伪造线索的图形学分量，提升了模型对多种伪造方式的鲁棒性。
那么，他们终究是如何找出“伪造人脸”的呢？
三维解构人脸图像，哪里有最多的伪造线索？
基于图像解构的伪造检测核心在于如何正确地分解图像以及如何选择合适的解构成分。
根据计算机图形学对人脸成像的相关研讨，我们将一张人脸图像视为其对应的三维人脸结构、纹理和光照环境交互的产物，经过三维可变模型和计算机图形学的渲染技术模拟一张人脸图像的生成过程，并将人脸解构为5个组成部分（见图1）：
3D人脸结构（3D geometry）
共有纹理（common texture），指人类群体共有的纹理形式。
个性纹理（identity texture），指某一人脸的特定纹理形式。
环境光照（ambient light）
直射光照（direct light）。
图1 基于计算机图形学将人脸图像解构为5部分
经过观察目前主流的人脸伪造数据，伪造数据中很少存在不合理的人脸拓扑结构和奇特肤色，因此可以以为目前的伪造方法可以有效重建人脸的3D结构、共有纹理和环境光照，这些分量在伪造检测时可以不再思索。
但是，思索到不同人脸之间分明而复杂的个性纹理差异，现有伪造方法很难完成对这一成分的完美重建。同时，很多在强直射光环境下的伪造图像中也存在分明的伪造痕迹（图2）。因此，个性纹理分量和直射光分量包含丰富的伪造线索，是伪造检测的两个重要成分。
图2 强直射光场景下的真实图像（上）和伪造图像（下）
机器认可的人脸细节包括哪些？
基于这些假设，研讨人员设计了一系列实验来研讨和验证对5种人脸成分的合理选择。
1）能否包含三维人脸结构；
2）同时思索环境光照、直射光照、共有纹理和个性纹理；
3）只思索环境光照和共有纹理；
4）只思索直射光照和个性纹理；
5）只思索个性纹理。
经过这一系列剥离实验，确定个性纹理和直射光照的组合更合适用于人脸伪造检测，并将这一组合称为人脸细节（facial detail）。
在深度学习模型设计方面，基于多模态学习的思想，团队提出一种双流网络Forgery-Detection-with-Facial-Detail Net（FD2Net），对人脸图像和人脸细节两种模态中隐含的伪造痕迹同时停止发掘，并引入监督式留意力模型指点检测网络关注人脸细节中的伪造痕迹。与其他相关工作中的留意力模型不同的是，团队采用人脸细节上的差异作为训练留意力模型的监督信号。
该方法在人脸伪造检测数据库Faceforensics++（FF++）、The DeepFake Detection dataset（DFD）和Deepfake detection challenge dataset (DFDC)上均获得较好的结果。相比现有方法，本方法在跨数据集和跨伪造方法的泛化功能上也有分明提升。
体验环节：你能分辨出下面的人脸对比图片中哪张是真的，哪张是伪造的吗？
参考文献：
Zhu X, Wang H, Fei H, et al. Face Forgery Detection by 3D Decomposition[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021.
来源：中国迷信院自动化研讨所 |
