一种基于深度信息解耦的人脸伪造检测方法技术

本发明专利技术提出一种基于深度信息解耦的泛化性人脸伪造检测方法，首先将人脸图像输入到人脸特征提取基础网络，提取出对应的人脸表征信息，然后传递给深度信息解耦模块，深度信息解耦模块将人脸表征信息解耦为真伪判别相关信息和真伪判别无关信息，真伪判别无关信息包括人脸图像生成方法相关信息和其他信息，如人脸表情等；同时，所述深度信息解耦模块还约束所述真伪判别相关信息与真伪判别无关信息相互独立，进而提高伪造检测模型的鲁棒性和可泛化性。性。性。

【技术实现步骤摘要】
一种基于深度信息解耦的人脸伪造检测方法


[0001]本专利技术涉及人脸伪造检测领域，尤其涉及一种基于深度信息解耦的人脸伪造检测方法。

技术介绍

[0002]深度伪造（Deepfake）是指利用人工智能（AI）、深度学习方法篡改或生成具有造假内容的人脸图像。如将原图像的人脸替换到目标人脸图像中；将原图像人脸的面部表情、嘴唇动作等迁移到目标人脸图像中；对目标人脸的肤色、年龄等属性进行编辑；生成全新的、完全不存在的人脸图像等。近年来，深度学习方法和生成技术（如生成对抗网络、扩散模型等）迅猛发展，生成的人脸伪造图像越来越逼真。人脸生成技术可以帮助影视、游戏制作和人机交互理解等。然而，深度伪造人脸图像滥用可能导致身份欺骗、虚假新闻等，给国家安全、公共安全和社会信任带来极大威胁。因此，人脸深度伪造检测方法研究具有重大意义和必要性。
[0003]人脸深度伪造检测引起了工业界和学术界的广泛关注，已有不少人脸深度伪造检测方法被研究者们提出。然而现有人脸深度伪造检测方法大多关注于相同数据集内的伪造痕迹检测问题，如检测生成图像与真实人脸图像在纹理、颜色等方面的不一致痕迹；生成内容与目标人脸拼接时产生的边缘痕迹；图像生成过程中仿射变换产生的伪影；人脸生成视频与真实人脸视频的眨眼频率不一致等问题，在相同伪造数据集（伪造方法）内，即人脸伪造检测模型训练数据和测试数据由相同伪造方法生成的条件下，已取得了较好的检测性能。然而，此类方法存在以下不足和挑战：（1）对不同伪造方法以及数据集的泛化性能不足由于不同伪造方法往往关注的伪造问题不同，导致不同伪造方法生成的数据集之间存在较大差异，现有人脸伪造检测方法出现性能急剧下降的问题，难以满足实际应用需求。
[0004]（2）对伪造方法更新升级后生成的数据集泛化性能不足随着伪造方法的更新升级，生成的人脸伪造图像越来越逼真，真实图像和伪造图像之间的差异越来越微妙，导致在特定数据集上得到的人脸伪造检测方法对伪造方法更新升级后生成的数据集泛化性能不足的问题。
[0005]（3）对人脸属性变化的鲁棒性和泛化性不足人脸表征信息中除包含人脸图像的真伪信息外，还包含人脸图像生成方法相关信息，以及人脸姿态、人脸表情等属性信息，这些信息往往相互纠缠，其中任一信息变化都有可能导致其他信息以及人脸表征信息变化。现有方法大多将全部人脸表征信息用于人脸深度伪造检测，导致检测性能受到深度伪造方法变换、以及人脸姿态、人脸表情等属性信息变化的影响。

技术实现思路

[0006]针对现有人脸深度伪造检测技术泛化性之不足的问题，本专利技术提出一种基于深度信息解耦的人脸伪造检测方法，所述人脸检测伪造方法首先将人脸图像输入到人脸特征提取基础网络，提取出对应的人脸表征信息，然后传递给深度信息解耦模块，所述深度信息解耦模块将上述人脸表征信息解耦为真伪判别相关信息和真伪判别无关信息，所述真伪判别无关信息至少包括人脸图像生成方法相关信息和人脸表情信息，同时约束所述真伪判别相关信息与真伪判别无关信息相互独立，进而提高伪造检测网络的鲁棒性和泛化性，主要包括：步骤1：准备人脸伪造图像数据集，并对其进行人脸检测和人脸对齐的预处理，按照约定将预处理好的人脸伪造图像数据集划分为训练集和测试集；步骤2：构建并初始化人脸伪造检测网络，所述人脸伪造检测网络主要包括人脸特征提取基础网络、深度信息解耦模块、真伪分类器和模态分类器，其中，人脸特征提取基础网络用于提取人脸图像表征信息，所述深度信息解耦模块包括真伪注意力网络、模态注意力网络和去相关模块；步骤3：将训练集的人脸图像X输入已初始化好的所述人脸伪造检测网络中进行训练，在输入到人脸伪造检测网络前，将人脸图像X映射到[0,1]范围，训练过程具体包括：步骤31：首先通过人脸特征提取基础网络G提取所述人脸图像X的人脸表征信息；步骤32：将所述人脸表征信息输入到所述深度信息解耦模块进行分解，对所述人脸表征信息的分解过程具体包括：步骤321：所述真伪注意力网络用于学习真伪判别相关信息，对所述人脸表征信息分析处理后输出真伪判别注意力权重，进而将所述人脸表征信息分解为真伪判别相关信息和真伪判别无关信息；步骤322：所述模态注意力网络用于从真伪判别无关信息中解耦出人脸图像生成方法模态信息，对所述真伪判别无关信息分析处理后输出模态注意力权重，进而从所述真伪判别无关信息中分解出人脸图像生成方法相关模态信息；步骤323：所述去相关模块用于促使所述真伪判别相关信息和真伪判别无关信息相互独立，所述去相关模块对输入的所述真伪判别相关信息和真伪判别无关信息进行分析，其网络优化目标与真伪判别相关信息解耦目标成最大
‑
最小对抗关系；步骤33：真伪人脸鉴别，将解耦出的真伪判别相关信息输入真伪分类器，鉴别出其对应的人脸图像是真实图像还是伪造图像；步骤34：人脸图像生成方法分类，即模态分类，将解耦出的模态信息输入到模态分类器中，判别出人脸图像生成方法的模态来源，即模态分类结果；步骤35：计算出真伪鉴别损失、模态分类损失以及去相关对抗损失，然后进行梯度反向传播，更新网络参数；步骤36：判断网络训练是否收敛，若是则保存网络参数并结束训练；若否则重复步骤31至36，进行下一轮训练；步骤4：训练结束后，将测试集依次输入训练好的网络进行测试，统计分析测试结果，评估检测模型的性能。
[0007]相比现有技术存在的不足，本专利技术的有益效果在于：
本专利技术将不同人脸图像深度伪造方法视为不同模态，提出了一种深度信息解耦方法。该方法将预处理后的人脸图像输入到特征提取基础网络，提取出对应的人脸表征信息后将其传递给深度信息解耦模块，该模块将人脸表征信息中解耦为真伪造判别信息、真伪造判别无关信息（包含模态信息和其他信息）。其中，只有真伪判别信息用于人脸图像真伪鉴别。
[0008]本专利技术通过基于互信息的对抗去相关方法消除真伪判别信息与真伪判别无关信息之间的任意依赖关系，且不需要知道它们的分布函数或对其进行假设，进而从本质上消除无关信息变化对人脸深度伪造检测的影响，提高伪造检测模型的鲁棒性和可泛化性。
[0009]本专利技术方法实现简单、通用性强，可以对外部模块（如特征提取主干网络、真伪分类器、伪造方法模态分类器）进行替换或改进，也可以对深度信息解耦方法内部的注意力网络进行改进或替换，以进一步提升效果。
[0010]本专利技术方法使用范围广泛，可以用于解决语音，文本等其他类型的伪造内容检测或为其提供方案参考。
附图说明
[0011]图1是本专利技术所提方法的网络架构示意图；图2是本专利技术真伪/模态注意力网络结构示意图；图3是本专利技术去相关学习示意图；图4是本专利技术在FaceForensics++数据集上的特征解耦可视化效果；图5是本专利技术在Celeb
‑
DFv2数据集上的特征解耦可视化效果。
具体实施方式
[0012]为使本专利技术的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本专利技术进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本专利技术的范围。此外，在以下说明中，省略了对公知结构和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度信息解耦的人脸伪造检测方法，其特征在于，所述人脸检测伪造方法首先将人脸图像输入到人脸特征提取基础网络，提取出对应的人脸表征信息，然后传递给深度信息解耦模块，所述深度信息解耦模块将上述人脸表征信息解耦为真伪判别相关信息和真伪判别无关信息，所述真伪判别无关信息至少包括人脸图像生成方法相关信息和人脸表情信息，同时约束所述真伪判别相关信息与真伪判别无关信息相互独立，进而提高伪造检测网络的鲁棒性和泛化性，主要包括：步骤1：准备人脸伪造图像数据集，并对其进行人脸检测和人脸对齐的预处理，按照约定将预处理好的人脸伪造图像数据集划分为训练集和测试集；步骤2：构建并初始化人脸伪造检测网络，所述人脸伪造检测网络主要包括人脸特征提取基础网络、深度信息解耦模块、真伪分类器和模态分类器，其中，人脸特征提取基础网络用于提取人脸图像表征信息，所述深度信息解耦模块包括真伪注意力网络、模态注意力网络和去相关模块；步骤3：将训练集的人脸图像X输入已初始化好的所述人脸伪造检测网络中进行训练，在输入到人脸伪造检测网络前，将人脸图像X映射到[0,1]范围，训练过程具体包括：步骤31：首先通过人脸特征提取基础网络G提取所述人脸图像X的人脸表征信息；步骤32：将所述人脸表征信息输入到所述深度信息解耦模块进行分解，对所述人脸表征信息的分解过程具体包括：步骤321：所述真...

【专利技术属性】
技术研发人员：杨善敏，蔡爽，吴锡，
申请(专利权)人：成都信息工程大学，
类型：发明
国别省市：