【技术实现步骤摘要】
本专利技术计算机视觉与深度学习，涉及一种基于掩模监督的深度伪造检测方法。
技术介绍
1、深度伪造检测领域近年来取得了显著进展，不断涌现出创新性研究。已经开发了空间、频率和跨模态域的检测方法，引入了语义分割、模型压缩和伪造语音检测等跨学科方法，为深度伪造检测领域带来了新的活力。尽管与机器学习时代相比性能有了显著提高，但在压缩场景下的深度伪造检测仍然是一个重大挑战。具体来说，大多数在社交平台上传播的图像和视频都经历了压缩和过滤等后处理操作。这些后处理操作削弱甚至消除了检测线索，导致现有的深度伪造检测方法显著下降甚至失败。
2、
3、
4、深度伪造检测方法根据提取的特征类型被分类为手工特征基础的检测方法和深度特征基础的检测方法。目前，基于深度特征的深度伪造检测方法正逐渐成为主流。在此之外，本专利技术将深度学习模型提取的特征在此基础上细分为三种类型：空间域、频率域，以及空间域和频率域的结合。
5、a.空间域
6、空间域，也称为图像空间，处理的是图像的像素。典型的空间域特征包括四类：生物特征、纹理和边缘特征、身份特征以及潜在特征。
7、生物特征：指的是基于人脸、指纹、虹膜等生物识别信息的特征。
8、纹理和边缘特征：这些特征描述了图像中区域的纹理结构以及物体的边缘信息，常用于图像的分割和识别。
9、身份特征：与图像中特定对象的身份识别有关，如人脸、车牌等。
10、潜在特征：这些是不易直接观察到的特征，可能需要通过更复杂的算法或模型来提
11、生物特征。由于眉毛位于面部边缘，因此在面部交换过程中，眉毛区域更容易出现融合边界。nguyen等人通过生物特征比较确立了眉毛在深度伪造检测中的效用。此外，研究人员注意到许多伪造视频只涉及单一领域的篡改，即面部或声音源的交换，因此唇形特征被用作检测的基础。使用唇形进行深度伪造检测通常伴随着语音，通过两种模态的联合识别来识别异常视频。agarwal等人从视频中提取关键音素及其对应的帧，通过唇形与典型音素如m、b和p的对应关系不匹配来识别伪造视频。然而，这些方法主要关注人眼敏感的面部信息，可能不适用于所有数据集，如果数据来源发生变化，就有失效的风险。
12、纹理和边缘特征。在面部篡改过程中，融合是一个不可或缺的步骤：面部替换涉及不同身份面部之间的融合过程，面部再现涉及不同面部特征点的拟合过程。融合引入的伪影(如伪造边界、不自然的融合区域、gan指纹等)可以作为深度伪造检测的线索。sun等人提取面部特征点，并将它们输入到循环神经网络中，通过不自然的表情和不连续的动作来区分伪造视频。zhao等人设计了一个纹理增强模块和一个注意力模块，以增强特征的可区分性。仅使用真实图像进行深度伪造检测是纹理和边界特征基础方法的主要方法之一。这类方法所需的伪造数据是通过模型基于真实数据主动生成的，需要的数据量小，表现良好，因此受到了很多关注。li等人提出了一种称为“面部x射线”的方法，通过主动生成伪造面部来引导模型检测图像的融合边界。为了生成更高质量的训练数据，chen等人采用了gan结构，设计了不同的面部交换区域和融合类型，并通过对抗方式训练生成器产生逼真的伪造图像，同时增强了鉴别器的检测能力。为了从检测中排除不相关的背景、身份等信息，shiohara等人创新性地提出了一种“自我面部交换”数据生成方法。生成的伪造图像保持相同的身份，但增加了不同面部交换操作的伪影，使模型能够更专注于伪影本身。
13、潜在特征。潜在特征的具体含义没有明确定义，主要是通过网络如mesonet、xception、resnet、efficientnet、mkfanet等网络提取。这些网络具有良好的便携性，它们提取的特征具有通用性，使得它们成为后续研究中常用的骨干网络，并做出了重要贡献。尽管这些方法在原始图像上可以取得良好的性能，但空间域信息容易受到图像后期处理操作(如压缩)的影响。一旦图像质量下降，它们的性能可能会大幅降低。
14、b.频率域
15、现有的深度伪造检测模型通常面临不够稳健的问题。为了解决这个问题，研究人员开始探索图像的频率域信息。常见的频率域转换方法包括小波变换和离散余弦变换(dct)。jia等人基于静态小波分解训练了一个双分支网络，提取图像内和图像间的不一致性，用以区分真实和伪造图像。wolter等人认为小波变换在一定程度上保留了空间信息，因此他们比较了真实和伪造图像的小波系数来进行真伪判断。由于dct是jpeg压缩的关键步骤，其应用更为广泛。qian等人提出了频率伪造人脸网络(f3-net)，它使用dct从空间域转换到频率域，并采用互补的频率感知线索，在检测低质量伪造人脸方面取得了良好的性能。frank等人利用二维dct提取频率域信息，以高效地检测伪造图像。此外，频率域转换在识别gan指纹中也起着重要作用。jeong等人设计了frepgan，它可以生成频率级扰动图来增强深度伪造检测器的泛化能力。huang等人认为gan主要使用各向同性卷积来生成其输出，因此在通过各向异性变换提取的子带上留下指纹。他们的模型使用完全可分离的小波变换和多小波来获得各向异性特征作为分类的基础。这些方法表明，频率域信息可以为深度伪造检测提供更稳健和有效的线索。
16、c.空间域和频率域的结合
17、为了获得更全面的信息，研究人员尝试了多次空间域和频率域特征的整合。liu等人提出了一个浅层网络，该网络结合了空间图像和相位谱来捕捉上采样伪影。li等人设计了一个空间-频率域融合模块，并通过消融实验证实了融合操作的有效性。这种方法还引入了一种新的损失函数，称为单中心损失，以增强类内压缩性和类间可分性。luo等人将通过srm提取的高频特征与空间特征整合，他们的检测模型在跨数据集评估中取得了优异的性能。gu等人提出了一个具有增强学习能力的双分支深度伪造检测网络，每个分支专门用于提取空间和频率域中的细粒度特征。在wang等人提出的方法中，小波变换后的特征与空间特征结合用于分类。
18、这些研究表明，通过将空间域和频率域的特征结合起来，可以更有效地检测深度伪造图像。这些方法不仅提高了检测的准确性，而且通过使用不同的特征和损失函数，增强了模型对不同类型伪造的泛化能力。
技术实现思路
1、本专利技术为了解决现有技术所存在的上述技术问题，提供一种基于掩模监督的深度伪造检测方法，该方法建立在掩模监督和频率域转换的基础上，通过引入像素级标签，将掩模监督引入模型，以纠正模型对伪造区域的注意力，并指导空间特征的提取，频率域线索更加稳健，不易受到压缩等后处理效果的影响。
2、为实现上述目的，本专利技术提供如下技术方案：
3、一种基于掩模监督的深度伪造检测方法，步骤如下：
4、s1、输入图像到预处理模块进行预处理；
5、s2、处理后的图像分别输入到用于提取空间域特征的掩模监督模块和用于提取频率本文档来自技高网...
【技术保护点】
1.一种基于掩模监督的深度伪造检测方法，其特征在于，步骤如下：
2.如权利要求1所述的基于掩模监督的深度伪造检测方法，其特征在于，所述预处理模块中进行图像裁剪和/或数据增强。
3.如权利要求1所述的基于掩模监督的深度伪造检测方法，其特征在于，图像进入掩模监督模块后，主干网络HRNet提取图像的中间特征，然后将其分为两个方向，一个用于上采样生成预测掩模，真实掩模用于监督；另一个用于生成与频率域连接的特征。
4.如权利要求1所述的基于掩模监督的深度伪造检测方法，其特征在于，在频率域特征提取模块中，首先对图像进行DCT变换，然后通过三个不同的频率带滤波器获得不同频率带的数据，进行重构和拼接；连接后的数据输入到主干网络Xception以获得频率域流的特征。
5.如权利要求2所述的基于掩模监督的深度伪造检测方法，其特征在于，所述数据增强包括图像翻转、灰度化、颜色抖动。
6.如权利要求3所述的基于掩模监督的深度伪造检测方法，其特征在于，所述频率域特征提取模块中执行如下步骤：
7.如权利要求3所述的基于掩模监督的深度伪造检
8.如权利要求7所述的基于掩模监督的深度伪造检测方法，其特征在于，进入所述掩模预测分支后，特征图Im2,Im3和Im4被上采样以匹配Im1的尺寸，然后沿通道维度进行连接；这个过程表示如下：
9.如权利要求7所述的基于掩模监督的深度伪造检测方法，其特征在于，在所述空间特征提取分支中，包括上采样和下采样操作；中间特征的大小被调整以匹配Im3，即16×16；获得连接特征Ic2的过程用以下公式表示
10.如权利要求1-9任一项所述的基于掩模监督的深度伪造检测方法，其特征在于，所述分类模块执行如下步骤：
...【技术特征摘要】
1.一种基于掩模监督的深度伪造检测方法，其特征在于，步骤如下：
2.如权利要求1所述的基于掩模监督的深度伪造检测方法，其特征在于，所述预处理模块中进行图像裁剪和/或数据增强。
3.如权利要求1所述的基于掩模监督的深度伪造检测方法，其特征在于，图像进入掩模监督模块后，主干网络hrnet提取图像的中间特征，然后将其分为两个方向，一个用于上采样生成预测掩模，真实掩模用于监督；另一个用于生成与频率域连接的特征。
4.如权利要求1所述的基于掩模监督的深度伪造检测方法，其特征在于，在频率域特征提取模块中，首先对图像进行dct变换，然后通过三个不同的频率带滤波器获得不同频率带的数据，进行重构和拼接；连接后的数据输入到主干网络xception以获得频率域流的特征。
5.如权利要求2所述的基于掩模监督的深度伪造检测方法，其特征在于，所述数据增强包括图像翻转、灰度化、颜色抖动。
6.如权利要求3所述的基于掩模监...
【专利技术属性】
技术研发人员：曹宸浩，段伊可，刘岱杰，滕仁漉，李雨哲，艾日帕提江·阿不都热合曼，王波，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。