【技术实现步骤摘要】
本专利技术属于计算机视觉，具体涉及一种基于跨域一致性学习的人脸伪造检测方法。
技术介绍
1、随着深度生成模型的流行，人脸伪造技术已经取得了快速发展，产生了大量人眼难以区分的图像。这些伪造的媒体可能会被滥用于不道德和恶意的用途，对安全构成巨大威胁。因此，各国的研究者们纷纷加入到“人脸防伪”的研究中。
2、人脸伪造检测是一个二元分类任务。现有的人脸伪造检测方法主要通过检测操作过程中遗留的可疑伪造伪影。早期的作品主要使用手工制作的特征来识别真实的和伪造图像之间的差异，如缺乏眨眼或头部姿势不一致。这些方法虽然在某些情况下有效，但它们通常缺乏足够的泛化能力，因为手工特征往往需要专家的深入知识和经验来设计，而且对于不同的伪造技术，这些特征的适用性可能会大打折扣。
3、随着深度学习的不断发展，大量基于深度学习的方法在空间域和频率域上学习纹理相关或频谱相关的深度特征。代表的方法有：fdfl(frequency-aware discriminativefeature learning supervised by single-center loss for face forgery detection)和sfdg(dynamic graph learning with content-guided spatial-frequency relationreasoning for deepfake detection)。该类方法主要通过提取深层次的特征来提高伪造内容的识别准确率。后来，又有研究者从数据和学习策略方面来提升人脸伪
4、尽管这些方法在人脸伪造检测方面已经取得了重大进展，但是，在面对完全未知的伪造方法时，仍然会造成模型检测的精度下降。也就是说，当出现新类型的操作时，即使它们在语义上相似，它们的性能也会受到不利影响。这是因为，这些方法都是以二分类的角度出发，分析同一种伪造方法生成的图像与原始图像之间的特征差异，却忽略了不同伪造方法之间的共性。因此，仅通过训练一种伪造人脸的数据集来进行训练，以解决人脸伪造检测模型在现实场景中的泛化性问题是不鲁棒的。因此，如何使模型学习到不同伪造数据之间的共性,实现高泛化的人脸伪造检测仍然是一个具有挑战性的问题。为了解决以上问题，本专利技术提出了一种基于跨域一致性学习的人脸伪造检测方法。
5、经过检索，申请公开号cn117292442b一种跨模态跨域通用人脸伪造定位网络。本专利技术步骤如下:1、实验数据的预处理；2、构建人脸伪造定位网络forgerynet；3、训练forgerynet网络模型；4、使用训练好的forgerynet网络模型在多个伪造定位数据集上进行应用，并对定位结果进行评估。但是，该专利仍然只在同一种伪造方法的数据集下训练模型学习空间域和频率域的交互特征，不能很好的探索多种伪造方法之间的跨域一致性特征，对于人脸伪造检测的泛化性问题未能得到良好解决。因此，本专利利用一组特定伪造技术(源域)和不同伪造技术(目标域)生成的数据来共同训练模型。同时，设计了跨域学习模块来学习多种伪造方法生成图像的跨域一致性特征。另外，进一步设计了跨域一致性中心损失来扩大类间距离缩小类内距离，优化了人脸伪造检测的准确率。
技术实现思路
1、本专利技术旨在解决以上现有技术的问题。提出了一种基于跨域一致性学习的人脸伪造检测方法。本专利技术的技术方案如下：
2、一种基于跨域一致性学习的人脸伪造检测方法，其包括以下步骤：
3、步骤1、将一组带标签的源数据、带标签的目标数据输入到检测网络中，经过基础网络提取源域和目标域的训练样本特征，分别馈送至各自分支的分流中心差分注意力中；
4、步骤2、分流中心差分注意力通过捕获像素强度信息和像素梯度信息来获取伪造图像的局部细粒度特征，同时将异质感受野大小注入到标记中，通过对不同的注意力头使用不同大小的键key和值value来进行深层细粒度特征的提取；
5、步骤3、跨域学习模块通过共享源域分流中心差分注意力中的查询query和目标域数据中的键key、值value来捕获源域和目标域的跨域一致性特征；
6、步骤4、将得到的源域和目标域的最终特征输入到分类器进行图像真伪的判断，设计跨域一致性中心损失进行监督；对目标域的最终特征与跨域学习模块的跨域一致性特征使用蒸馏损失，缩小两者的差异，使目标域分支尽可能地获取源域分支的知识；同时，将源域和目标域伪图像的最终特征输入到鉴别器进行领域判断，通过最小化鉴别损失来进一步学习深度跨域一致性表示。
7、进一步的，所述步骤1具体包括以下步骤：
8、a1、将源域和目标域的人脸伪造图像，通过人脸检测对齐网络mtcnn检测出人脸关键点，并将人脸伪造图像对齐，裁剪为224×224尺寸大小的输入图像is、it；
9、a2、将is、it输入到基础网络中提取图像初级特征，分别用xs、xt表示；将xs、xt馈送至分流中心差分注意力模块；c、h、w分别表示图像通道数、高度及宽度。
10、进一步的，所述步骤2具体包括：
11、b1、将输入的低级特征xs、xt采用3×3卷积来生成查询特征xq，其公式为：
12、xq(p0)＝∑pn∈rw(pn)·x(p0+pn) (1)
13、其中w(pn)表示权重，p0表示输入和输出特征图上的当前位置，pn枚举感受野区域r中的位置；将xq展平为一系列令牌将每个像素视为令牌；
14、b2、在xq上采用局部中心差分卷积来生成细粒度不变特征其具有上述3×3卷积的共享权重w(pn)，其公式为：
15、xkv(p0)＝xq(p0)-∑pn∈rw(pn)·x(p0) (2)
16、b3、为了获得更深层次的细粒度特征，采用分流制度，将多个注意头分成若干组，每组采用键令牌和值令牌的大小不相同；具体来说，对于不同的注意力头，将k、v下采样到不同的大小；具体公式如下：
17、
18、其中，mat()是多尺度token聚合层，i是头部索引，ri是下采样率，wik，wiv是线性投影的参数；和值令牌
19、b4、最后，为了获得最终的细粒度特征，通过query和key之间的点积来计算输入之间的注意力得分，对得分应用softmax函数，以便得到正值的概率分布；使用注意力权重对value进行加权求和，得到最终的输出；计算公式如本文档来自技高网...
【技术保护点】
1.一种基于跨域一致性学习的人脸伪造检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于跨域一致性学习的人脸伪造检测方法，其特征在于，所述步骤1具体包括以下步骤：
3.根据权利要求2所述的一种基于跨域一致性学习的人脸伪造检测方法，其特征在于，所述步骤2具体包括：
4.根据权利要求3所述的一种基于跨域一致性学习的人脸伪造检测方法，其特征在于，所述步骤3具体包括：
5.根据权利要求4所述的一种基于跨域一致性学习的人脸伪造检测方法，其特征在于，所述步骤4将得到的源域和目标域的最终特征输入到分类器进行图像真伪的判断，设计跨域一致性中心损失进行监督，具体包括以下步骤：
6.根据权利要求5所述的一种基于跨域一致性学习的人脸伪造检测方法，其特征在于，所述步骤4对目标域的最终特征与跨域学习模块的跨域一致性特征使用蒸馏损失，具体包括以下步骤：
7.根据权利要求6所述的一种基于跨域一致性学习的人脸伪造检测方法，其特征在于，所述步骤4将源域和目标域伪图像的最终特征输入到鉴别器进行领域判断，通过最小化鉴别损失来进一
8.根据权利要求7所述的一种基于跨域一致性学习的人脸伪造检测方法，其特征在于，将四种损失进行相加操作，得到最终的图像伪造检测损失Ltotal，具体包括：
9.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至8任一项所述的基于跨域一致性学习的人脸伪造检测方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的基于跨域一致性学习的人脸伪造检测方法。
...【技术特征摘要】
1.一种基于跨域一致性学习的人脸伪造检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于跨域一致性学习的人脸伪造检测方法，其特征在于，所述步骤1具体包括以下步骤：
3.根据权利要求2所述的一种基于跨域一致性学习的人脸伪造检测方法，其特征在于，所述步骤2具体包括：
4.根据权利要求3所述的一种基于跨域一致性学习的人脸伪造检测方法，其特征在于，所述步骤3具体包括：
5.根据权利要求4所述的一种基于跨域一致性学习的人脸伪造检测方法，其特征在于，所述步骤4将得到的源域和目标域的最终特征输入到分类器进行图像真伪的判断，设计跨域一致性中心损失进行监督，具体包括以下步骤：
6.根据权利要求5所述的一种基于跨域一致性学习的人脸伪造检测方法，其特征在于，所述步骤4对目标域的最终特征与跨域学习模块的跨域一致性特征使用蒸馏损失，具体包...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。