一种基于细粒度特征的深度伪造图像检测方法和系统技术方案

本发明专利技术公开了一种基于细粒度特征的深度伪造图像检测方法和系统，包括利用图像检测的主干网络提取特征，主干网络包括四个残差卷积块；对提取到的全局特征沿水平分成若干块，构建细粒度特征，并将细粒度特征用于引导残差卷积块的输出特征，利用损失函数约束；将细粒度特征和全局特征通过池化，并对池化输出的特征通过分类损失进行约束训练。本发明专利技术在并不需要涉及复杂的注意力机制模块，也不引入额外的训练参数，就可以增加使得模型获取到更鲁棒的特征，跨域的深度伪造检测准确率有显著的提升。跨域的深度伪造检测准确率有显著的提升。跨域的深度伪造检测准确率有显著的提升。

【技术实现步骤摘要】
一种基于细粒度特征的深度伪造图像检测方法和系统


[0001]本专利技术涉及图像检测的
，尤其是一种基于细粒度特征的深度伪造图像检测方法和系统。

技术介绍

[0002]生成的伪造图像逐渐高清化，导致生成的高清图片被滥用，也引起社会对伪造技术的担忧，因此深伪检测技术引起学术界和工业界的关注。现有的生成对抗网络分成条件生成对抗网络和非条件生成对抗网络，非条件生成对抗网络的生成图像逼真程度远低于条件生成对抗网络所产生，因此非条件生成对抗网络的伪造图片极其容易识别，然而条件生成对抗网络所产生的伪造非常高清而且逼真，因此需要更具表征力的特征信息。现有的深度伪造算法上主要了依靠全局信息来对真实图像和伪造图像进行检测，却忽略了局部细粒度特征信息，过于依靠全局特征信息会丢失重要的局部判别性信息。
[0003]由于条件生成对抗网络生成的伪造图片质量越来越高，导致现有的深度伪造检测算法性能下降。深度伪造检测技术主要利用神经网络技术对真实图像和伪造图像进行特征提取，进行分类，从而区分出两类不同的图像。之前伪造方法生成的图像是全图特征，现在的伪造方法由于注重细节，伪造图像更加逼真，因此检测识别需要更关注细粒度的特征。
[0004]现有的深度伪造检测技术更多是从全局特征信息来进行分类，然而现有的伪造图像很多只是对某一极小的局部区域进行伪造篡改，因此在考虑全局特征信息的同时，也需要考虑局部特征信息。学习全局特征信息和局部特征信息有利于获取判别性的特征信息。现有的伪造检测算法利用人脸关键点技术获取局部区域，从而获取局部特征信息，然而这些技术需要依靠额外的算法，无法形成端到端的检测算法。

技术实现思路

[0005]为了解决现有技术中存在的上述技术问题，本专利技术提出了一种基于细粒度特征的深度伪造图像检测方法和系统，以解决上述技术问题。
[0006]根据本专利技术的一个方面，提出了一种基于细粒度特征的深度伪造图像检测方法，包括：
[0007]S1：利用图像检测的主干网络提取特征，主干网络包括四个残差卷积块；
[0008]S2：对提取到的全局特征沿水平分成若干块，构建细粒度特征，并将细粒度特征用于引导残差卷积块的输出特征，利用损失函数约束；
[0009]S3：将细粒度特征和全局特征通过池化，并对池化输出的特征通过分类损失进行约束训练。
[0010]在一些具体的实施例中，主干网络为ResNet50网络，ResNet50网络包括Stage0、Stage1、Stage2和Stage3四个提取特征的阶段。
[0011]在一些具体的实施例中，Stage4后获得特征F∈R
H
×
W
×
C
，其特征提取表达式如下：F＝(B
ResNet50
{i
i
|θ1，θ2，
…
，θ
n
})，其中，B
ResNet50
代表主干网络ResNet50，I
i
代表输入图像，θ1，
θ2，
…
，θ
n
代表残差卷积块的参数。
[0012]在一些具体的实施例中，输入图像为224*224，S2具体包括，将S1得到的特征F∈R
H
×
W
×
C
沿着水平分成7份，编号为F
i
，(i＝0，1，2，3，4，5，6)，得到的特征大小为F∈R
14
×
14
×
2048
，将F
i
，(i＝0，1)构建为第一个细粒度特征F1，F
i
，(i＝2，3)构建为第二个细粒度特征F2，F
i
，(i＝4，5，6)构建为第三个细粒度特征F3，F
i
，(i＝0，1，2，3，4，5，6)为全局特征。
[0013]在一些具体的实施例中，将特征F1、F2、F3和F都通过全局最大池化和全局平均池化，对每个池化输出的特征通过分类损失进行约束训练。
[0014]在一些具体的实施例中，将特征F1、F2和F3分别用于引导Stage1、Stage2和Stage3的输出特征，并利用L2损失进行约束。
[0015]在一些具体的实施例中，分类损失具体为标签平滑正则化的交叉嫡损失函数其中，ε∈[0，1]，K表示人脸的类别数，p(k)表示预测属于类别k的概率。
[0016]根据本专利技术的第二方面，提出了一种计算机可读存储介质，其上存储有一或多个计算机程序，该一或多个计算机程序被计算机处理器执行时实施上述任一项的方法。
[0017]根据本专利技术的第三方面，提出了一种基于细粒度特征的深度伪造图像检测系统，系统包括：
[0018]特征提取单元，配置用于利用图像检测的主干网络提取特征，主干网络包括四个残差卷积块；
[0019]细粒度特征构建单元，配置用于对提取到的全局特征沿水平分成若干块，构建细粒度特征，并将细粒度特征用于引导残差卷积块的输出特征，利用损失函数约束；
[0020]约束单元：配置用于将细粒度特征和全局特征通过池化，并对池化输出的特征通过分类损失进行约束训练。
[0021]在一些具体的实施例中，主干网络为ResNet50网络，ResNet50网络包括Stage0、Stage1、Stage2和Stage3四个提取特征的阶段，Stage4后获得特征F∈R
H
×
W
×
C
，其特征提取表达式如下：F＝(B
ResNet50
{I
i
|θ1，θ2，
…
，θ
n
})，其中，B
ResNet50
代表主干网络ResNet50，I
i
代表输入图像，θ1，θ2，
…
，θ
n
代表残差卷积块的参数。
[0022]在一些具体的实施例中，输入图像为224*224，将特征F∈R
H
×
W
×
C
沿着水平分成7份，编号为F
i
，(i＝0，1，2，3，4，5，6)，得到的特征大小为F∈R
14
×
14
×
2048
，将F
i
，(i＝0，1)构建为第一个细粒度特征F1，F
i
，(i＝2，3)构建为第二个细粒度特征F2，F
i
，(i＝4，5，6)构建为第三个细粒度特征F3，F
i
，(i＝0，1，2，3，4，5，6)为全局特征。
[0023]在一些具体的实施例中，将特征F1、F2和F3分别用于引导Stage1、Stage2和Stage3的输出特征，并利用L2损失进行约束，将特征F1、F2、F3和F都通过全局最大池化和全局平均池化，对每个池化输出的特征通过分类损失进行约束训练。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于细粒度特征的深度伪造图像检测方法，其特征在于，包括：S1：利用图像检测的主干网络提取特征，所述主干网络包括四个残差卷积块；S2：对提取到的全局特征沿水平分成若干块，构建细粒度特征，并将所述细粒度特征用于引导所述残差卷积块的输出特征，利用损失函数约束；S3：将所述细粒度特征和所述全局特征通过池化，并对池化输出的特征通过分类损失进行约束训练。2.根据权利要求1所述的基于细粒度特征的深度伪造图像检测方法，其特征在于，所述主干网络为ResNet50网络，所述ResNet50网络包括Stage0、Stage1、Stage2和Stage3四个提取特征的阶段。3.根据权利要求2所述的基于细粒度特征的深度伪造图像检测方法，其特征在于，所述Stage4后获得特征F∈R
H
×
W
×
C
，其特征提取表达式如下：F＝(B
ResNet50
{I
i
|θ1，θ2，
…
，θ
n
})，其中，B
Re sNet50
代表主干网络ResNet50，I
i
代表输入图像，θ1，θ2，
…
，θ
n
代表残差卷积块的参数。4.根据权利要求3所述的基于细粒度特征的深度伪造图像检测方法，其特征在于，输入图像为224*224，所述S2具体包括，将所述S1得到的特征F∈R
H
×
W
×
C
沿着水平分成7份，编号为F
i
，(i＝0，1，2，3，4，5，6)，得到的特征大小为F∈R
14
×
14
×
2048
，将F
i
，(i＝0，1)构建为第一个细粒度特征F1，F
i
，(i＝2，3)构建为第二个细粒度特征F2，F
i
，(i＝4，5，6)构建为第三个细粒度特征F3，F
i
，(i＝0，1，2，3，4，5，6)为全局特征。5.根据权利要求4所述的基于细粒度特征的深度伪造图像检测方法，其特征在于，将特征F1、F2、F3和F都通过全局最大池化和全局平均池化，对每个池化输出的特征通过分类损失进行约束训练。6.根据权利要求4所述的基于细粒度特征的深度伪造图像检测方法，其特征在于，将所述特征F1、F2和F3分别用于引导所述Stage1、Stage2和Stage3的输出特征，并利用L2损失进行约束。7.根据权利要求1或5所述的基于细粒度特征的深度伪造图像检测方法，其特征在于，所述分类损失具体为标签平滑正则化的交叉嫡损失函数所述分类损失具体为标签平滑正则化的交叉嫡损失函数其中，ε∈[0，1]，K表示人脸的类别数，p(k)表示预测属于类别k的概率。8.一种计算机可读存储介质，其...

【专利技术属性】
技术研发人员：洪雅婷，吴俊毅，陈绍东，梁素敏，李彤馨，滕凯文，
申请(专利权)人：厦门市美亚柏科信息股份有限公司，
类型：发明
国别省市：