一种基于注意力机制的卷积对抗网络的人脸伪造检测方法技术

本发明专利技术公开一种基于注意力机制的卷积对抗网络的人脸伪造检测方法，涉及人脸伪造检测领域，其特征在于，包括以下步骤：S1：获取人脸视频；S2：视频关键帧提取；S3：关键帧提取人脸图像；S4：将人脸图像输入到经过预训练的网络当中，输出真伪分类。本发明专利技术要解决的技术问题是提供一种基于注意力机制的卷积对抗网络的人脸伪造检测方法，采用ffmpeg多媒体处理工具只将视频中的I帧进行提取，在其中提取出人脸图片。将注意力机制和领域对抗网络应用到人脸检测技术当中，从而达到实现提升检测的准确性和泛化性性能的目的。和泛化性性能的目的。和泛化性性能的目的。

【技术实现步骤摘要】
一种基于注意力机制的卷积对抗网络的人脸伪造检测方法


[0001]本专利技术涉及人脸伪造检测领域，具体地讲，涉及一种基于注意力机制的卷积对抗网络的人脸伪造检测方法。

技术介绍

[0002][0003]人脸伪造技术的恶意滥用，会造成严重的安全和隐私问题，为社会带来消极影响。这些问题的解决需要技术和法律的不断更新。从技术层面来讲，设计高效的、具有泛化性的人脸伪造检测技术来辨别伪造人脸是至关重要的，能够有效保障人们的隐私与安全。

技术实现思路

[0004]本专利技术要解决的技术问题是提供一种基于注意力机制的卷积对抗网络的人脸伪造检测方法，采用ffmpeg多媒体处理工具只将视频中的I帧进行提取，在其中提取出人脸图片。将注意力机制和领域对抗网络应用到人脸检测技术当中，从而达到实现提升检测的准确性和泛化性性能的目的。
[0005]本专利技术采用如下技术方案实现专利技术目的：一种基于注意力机制的卷积对抗网络的人脸伪造检测方法，其特征在于，包括以下步骤：S1：获取人脸视频；S2：视频关键帧提取；S3：关键帧提取人脸图像；S4：将人脸图像输入到经过预训练的网络当中，输出真伪分类；采用ffmpeg多媒体处理工具将伪造视频中的关键帧进行提取，在其中提取出人脸图像；所述S4中网络包括Xception特征提取部分及领域对抗网络；所述Xception特征提取部分包括Entry flow模块、Middle flow模块及Exit flow模块，所述Entry flow模块第二个卷积层之后设置SimAM注意力模块，所述Exit flow模块的最后一个卷积层之后设置所述SimAM注意力模块。
[0006]作为本技术方案的进一步限定，所述S4的具体步骤如下：S41：人脸图片被送入到所述Entry flow模块进行处理，所述Entry flow模块不断地下采样处理用来减小空间维度，第一个所述SimAM注意力模块学习到更多的线索；S42：经过八次重复的所述Middle flow模块，该模块中包含残差连接，能够不断地进行特征优化；S43：人脸图片进入到Exit flow模块，对人脸图片的特征进行整理、汇总，对人脸图片真伪进行鉴别；S44：所述Xception网络特征提取结构之后，将其添加到所述领域对抗网络，提升整体网络的泛化性，实现特征空间的对齐，消除不同域之间的分布差异，提升来自不同领域
不同的人脸图像判别效果；S45：经过整个网络之后对含有人脸的视频进行真伪检测。
[0007]作为本技术方案的进一步限定，所述SimAM注意力模块是一种无参数注意力模块，一个活跃的神经元可能抑制周围神经元的活动，每个神经元都有一个独特的权重，基于空间抑制，将神经元权重设计为一个能量函数，根据神经元能量函数来判别神经元的重要性，为每个神经元能量函数的定义如下：（1）其中：是权重；是偏置的线性变换；和分别为目标神经元和单一通道的其他神经元；表示实数范围，为通道数、为空间高度、为空间宽度；和是和的线性变换；是空间维度索引；为该通道神经元数；为变量、为能量函数；当对和采用二值标签，即1和
‑
1，并向其中添加正则项，神经元能量函数定义如下：
ꢀꢀ
（2）其中：是正则化常数；计算出： （3）其中：和分别为的均值和方差；计算出：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）最小神经元能量定义如下： （5） 为该神经元权重，神经元能量越低的,其权重越大，同周围神经元区别越大，对视觉处理愈发重要；
ꢀꢀ
（6）（7）其中：和分别为单通道内像素均值和方差；单通道内所有神经元能量组成能量矩阵，用来限制过大，最终单通道内权矩阵表示为： （8）。
[0008]作为本技术方案的进一步限定，在所述领域对抗网络中，优化领域分类器参数以及标签预测器参数，使领域分类损失和标签分类损失最小，对于特征映射参数，最小化标签预测损失并且最大化领域分类损失，公式如下： （9）（10）经过（9）（10）优化步骤的重复执行，实现网络的收敛；为了实现网络的对抗策略，引入一个特殊的梯度反转层GRL，GRL层被插入到特征提取器和领域分类器之间，利用梯度反转层在反向传播过程中实现梯度方向自动取反，在前向传播过程中实现恒等变换，领域对抗网络函数如下：（11）其中：为输入特征；被特征提取器映射到维特征向量，将该映射中所有层表示为，即；相同特征向量通过标签预测器映射到标签，将该映射中的所有标签表示为；为标签分类损失；相同特征向量通过参数为的领域分类器映射到领域标签；为领域分类损失；为梯度反转层的输出特征；
ꢀꢀ
（12）公式（11）中是动态变化的，被设置为10；p为迭代进程相对值，当前迭代次数
与总迭代次数的比率。
[0009]与现有技术相比，本专利技术的优点和积极效果是：1、本专利技术使用了一种更高效的视频帧的提取方法，只对包含全部信息的关键帧进行提取。相较于以往视频帧提取方法，本方法所需时间大大减少，帧提取操作较为简单。在原有的Xception网络的特征提取部分我们向其引入了一种较为新颖的SimAM注意力机制，注意力机制可以通过对网络中的不同部分进行加权来提高网络性能。SimAM注意力模块相较于其他注意力模块，能够灵活的应对空间和通道的变化，模块结构也更加简单，刨去了以往结构需要池化等复杂操作的缺点。SimAM在大多数网络模型中都取得了出色的结果，在改善网络表征能力上更加灵活有效。在Xception网络特征提取部分之后引入了一种无监督的领域对抗来适应不同的人脸伪造鉴别。在网络中添加领域对抗网络，能够实现消除不同领域之间的特征分布差异，以提升模型的泛化性，有利于人脸图像真伪判别效果的提升。
[0010]2、在人脸伪造视频提取方面，仅对视频内包含关键信息的关键帧，即I帧进行提取。视频帧的提取更加简洁，整体耗时大幅减少。在Xception网络种利用了SimAM注意力机制，更多的关注到神经元能量较小的部分，即神经元权重大的部分，注意力机制可以通过对网络中的不同部分进行加权来提高网络性能。在Xception网络特征提取结构之后，我们向其添加领域对抗网络，来提升整体网络的泛化性，实现特征空间的对齐，消除不同域之间的分布差异，能够提升来自不同领域不同的人脸图像判别效果。
附图说明
[0011]图1为本专利技术的基本流程框图。
[0012]图2为本专利技术的网络结构流程图。
[0013]图3为本专利技术的SimAM全三维权重注意力模块。
具体实施方式
[0014]下面结合附图，对本专利技术的一个具体实施方式进行详细描述，但应当理解本专利技术的保护范围并不受具体实施方式的限制。
[0015]本专利技术包括以下步骤：S1：获取人脸视频；S2：视频关键帧提取；S3：关键帧提取人脸图像；S4：将人脸图像输入到经过预训练的网络当中，输出真伪分类。
[0016]视频帧可分为I帧、B帧和P帧，而其中I帧又被称为关键帧，是包含全部信息的独立帧，不依靠前一帧编码；B帧称为双向帧，该帧会参考其前后出现的帧，能够显著降低帧本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制的卷积对抗网络的人脸伪造检测方法，其特征在于，包括以下步骤：S1：获取人脸视频；S2：视频关键帧提取；S3：关键帧提取人脸图像；S4：将人脸图像输入到经过预训练的网络当中，输出真伪分类；采用ffmpeg多媒体处理工具将伪造视频中的关键帧进行提取，在其中提取出人脸图像；所述S4中网络包括Xception特征提取部分及领域对抗网络；所述Xception特征提取部分包括Entry flow模块、Middle flow模块及Exit flow模块，所述Entry flow模块第二个卷积层之后设置SimAM注意力模块，所述Exit flow模块的最后一个卷积层之后设置所述SimAM注意力模块。2.根据权利要求1所述的基于注意力机制的卷积对抗网络的人脸伪造检测方法，其特征在于：所述S4的具体步骤如下：S41：人脸图片被送入到所述Entry flow模块进行处理，所述Entry flow模块不断地下采样处理用来减小空间维度，第一个所述SimAM注意力模块学习到更多的线索；S42：经过八次重复的所述Middle flow模块，该模块中包含残差连接，能够不断地进行特征优化；S43：人脸图片进入到Exit flow模块，对人脸图片的特征进行整理、汇总，对人脸图片真伪进行鉴别；S44：所述Xception网络特征提取结构之后，将其添加到所述领域对抗网络，提升整体网络的泛化性，实现特征空间的对齐，消除不同域之间的分布差异，提升来自不同领域不同的人脸图像判别效果；S45：经过整个网络之后对含有人脸的视频进行真伪检测。3.根据权利要求1所述的基于注意力机制的卷积对抗网络的人脸伪造检测方法，其特征在于：所述SimAM注意力模块是一种无参数注意力模块，一个活跃的神经元可能抑制周围神经元的活动，每个神经元都有一个独特的权重，基于空间抑制，将神经元权重设计为一个能量函数，根据神经元能量函数来判别神经元的重要性，为每个神经元能量函数的定义如下：（1）其中：是权重；是偏置的线性变换；和分别为目标神经元和单一通...

【专利技术属性】
技术研发人员：王春鹏，孟令山，王玉立，马宾，魏子麒，夏之秋，李琦，李健，咸永锦，韩冰，王晓雨，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：