【技术实现步骤摘要】
本专利技术属于人工智能，具体涉及一种缩小属性偏见的人脸伪造检测方法及系统。
技术介绍
1、近年来，随着人脸编辑和人脸生成的快速发展，越来越多的假视频在社交媒体上流传，引起了公众的极度关注。现有的基于空域纹理特征的人脸伪造检测方法发现，生成对抗网络的伪造视频在时序上有着明显的帧间不一致性(如纹理的突变)以及在纹理细节上的不自然性。但该方法在处理不同属性的人脸伪造视频方面存在局限，往往难以捕捉伪造视频在连续帧之间表现出的面部属性差异。面部属性在高语义层面上表现出了真假面部差异，尽管在真实视频中，不同帧的面部属性能够保持一致性，但伪造视频可能在高语义层面上显示出真假面部之间的显著差异。
2、因此，仅依赖空域纹理特征的检测技术无法全面解决伪造视频在时序连贯性和面部属性一致性方面的挑战。我们需要更先进的方法来综合分析视频中的空间和时间维度，以便更准确地识别和区分真假人脸。此外，我们发现现有的基于空域纹理特征的人脸伪造检测方法存在巨大的属性“偏见”，即可能无法公正对待数据集中不同属性的数据(如性别、种族、年龄等)，导致对某些特定群体存在偏见；对性别、种族、年龄等不同属性的数据未能一视同仁，导致对某些特定群体的不公平对待。这种偏见不仅影响了检测技术的普适性和公正性，也限制了其在多场景、多人群中的应用潜力。
3、现有基于空域线索的伪造检测技术虽然能够识别图像中的局部特征和纹理异常，但它们往往忽略了伪造视频在时序上的帧间不一致性和面部属性的高语义层面差异，导致检测精度和鲁棒性不足。现有基于时域线索的伪造检测技术在处理不同属
技术实现思路
1、为了解决现有技术中存在的上述问题，本专利技术提供了一种缩小属性偏见的人脸伪造检测方法及系统。本专利技术要解决的技术问题通过以下技术方案实现：
2、第一方面，本专利技术提供了一种缩小属性偏见的人脸伪造检测方法，所述方法包括：
3、获取待检测视频；
4、对所述待检测视频进行预处理，得到待检测图像序列；
5、获取预训练的伪造检测模型；所述预训练的伪造检测模型包括：属性分析模型、纹理分析模型和时空特征聚合器；
6、将所述待检测图像序列输入预训练的伪造检测模型，利用所述属性分析模型提取面部属性特征，利用所述纹理分析模型提取面部纹理特征；通过所述时空特征聚合器对所述面部属性特征和所述面部纹理特征进行融合处理，得到所述待检测图像序列的检测结果；所述检测结果表征所述待检测视频中人脸是否为伪造。
7、在本专利技术的一个实施例中，对所述待检测视频进行预处理，得到待检测图像序列，包括：
8、针对每个待检测视频，随机提取该待检测视频中的n帧图片；
9、利用基于cnn网络的人脸检测模型识别每帧图片中的人脸区域，获取面部特征点；
10、基于所述面部特征点得到所述待检测图像序列。
11、在本专利技术的一个实施例中，待检测图像序列包括若干图片序列。
12、在本专利技术的一个实施例中，伪造检测模型的训练过程，包括：
13、获取训练数据集；所述训练数据集包括若干人脸视频和各人脸的身份信息；其中，每个视频包括若干人脸属性标签；
14、将所述训练数据集中的人脸图像分割成若干非重叠的图像窗口作为图像序列；
15、将所述图像序列输入至所述伪造检测模型，根据加载预训练的所述纹理分析模型、属性分析模型和时空特征聚合器，以建立模型损失函数；
16、利用随机梯度下降算法处理所述模型损失函数，以使所述模型损失函数最小化；
17、通过反向传播算法计算所述模型损失函数相对于模型参数的梯度，根据所述梯度更新所述伪造检测模型的参数，得到训练完成的伪造检测模型。
18、在本专利技术的一个实施例中，属性分析模型是在没有加载预训练权重的resnet34网络上添加第一全局平均池化层和全连接层，并加载第一预训练权重得到的。
19、在本专利技术的一个实施例中，属性分析模型采用的损失函数的表达式如下：
20、
21、其中，n表示所述待检测图像序列的帧数，fi,a表示针对伪造检测任务提取的特征，fi,′a表示针对面部属性检测任务提取的特征。
22、在本专利技术的一个实施例中，纹理分析模型是在没有加载预训练权重的resnet101网络上添加瓶颈模块和第二全局平均池化层，并加载第二预训练权重得到的。
23、在本专利技术的一个实施例中，纹理分析模型采用的损失函数的表达式如下：
24、
25、其中，n表示所述待检测图像序列的帧数，pi表示人脸图像的原始标签，pi,′t表示纹理分析模型进行伪造检测的预测结果。
26、在本专利技术的一个实施例中，时空特征聚合器采用的损失函数的表达式如下：
27、
28、其中，n表示所述待检测图像序列的帧数，pi表示人脸图像的原始标签，pi,′out表示伪造检测模型的预测结果。
29、第二方面，本专利技术提供了一种缩小属性偏见的人脸伪造检测系统，所述系统包括：
30、视频获取模块，用于获取待检测视频；
31、图像序列获取模块，用于对所述待检测视频进行预处理，得到待检测图像序列；
32、预训练的伪造检测模型包括：属性分析模型、纹理分析模型和时空特征聚合器；所述预训练的伪造检测模型，用于对所述待检测图像序列，利用所述属性分析模型提取面部属性特征，利用所述纹理分析模型提取面部纹理特征；通过所述时空特征聚合器对所述面部属性特征和所述面部纹理特征进行融合处理，得到所述待检测图像序列的检测结果；所述检测结果表征所述待检测视频中人脸是否为伪造。
33、本专利技术的有益效果：
34、本专利技术所提供的方案中，通过属性分析模型和纹理分析模型提取出面部属性特征和面部纹理特征，更加具有分辨性和鲁棒性；利用时空特征聚合器对面部属性特征和面部纹理特征进行融合，不仅能够识别图像的局部纹理异常，还能够检测面部属性的不一致性，从而降低了属性之间的标准差的同时，减少了偏见，提高了准确率、公正性和普适性。
本文档来自技高网...【技术保护点】
1.一种缩小属性偏见的人脸伪造检测方法，其特征在于，包括：
2.根据权利要求1所述的一种缩小属性偏见的人脸伪造检测方法，其特征在于，对所述待检测视频进行预处理，得到待检测图像序列，包括：
3.根据权利要求1所述的一种缩小属性偏见的人脸伪造检测方法，其特征在于，所述待检测图像序列包括若干图片序列。
4.根据权利要求1所述的一种缩小属性偏见的人脸伪造检测方法，其特征在于，所述伪造检测模型的训练过程，包括：
5.根据权利要求1所述的一种缩小属性偏见的人脸伪造检测方法，其特征在于，所述属性分析模型是在没有加载预训练权重的ResNet34网络上添加第一全局平均池化层和全连接层，并加载第一预训练权重得到的。
6.根据权利要求5所述的一种缩小属性偏见的人脸伪造检测方法，其特征在于，所述属性分析模型采用的损失函数的表达式如下：
7.根据权利要求1所述的一种缩小属性偏见的人脸伪造检测方法，其特征在于，所述纹理分析模型是在没有加载预训练权重的ResNet101网络上添加瓶颈模块和第二全局平均池化层，并加载第二预训练权重得到的。<...
【技术特征摘要】
1.一种缩小属性偏见的人脸伪造检测方法，其特征在于，包括：
2.根据权利要求1所述的一种缩小属性偏见的人脸伪造检测方法，其特征在于，对所述待检测视频进行预处理，得到待检测图像序列，包括：
3.根据权利要求1所述的一种缩小属性偏见的人脸伪造检测方法，其特征在于，所述待检测图像序列包括若干图片序列。
4.根据权利要求1所述的一种缩小属性偏见的人脸伪造检测方法，其特征在于，所述伪造检测模型的训练过程，包括：
5.根据权利要求1所述的一种缩小属性偏见的人脸伪造检测方法，其特征在于，所述属性分析模型是在没有加载预训练权重的resnet34网络上添加第一全局平均池化层和全连接层，并加载第一预训练权重得到的。
...
【专利技术属性】
技术研发人员：陈茵茵，彭春蕾，郑昱，刘德成，鲁瑞颖，李腾，张鼎文，王楠楠，高新波，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。