一种对深度伪造人脸图像和视频的鉴别方法技术

本发明专利技术提供一种对深度伪造人脸图像和视频的鉴别方法，包括如下步骤：S1，采集混合训练样本；S2，构建鉴别模型；所述鉴别模型包括两个2D深度卷积神经网络和一个3D深度卷积神经网络；S3，利用所述混合训练样本训练所述鉴别模型；S4，利用训练好的鉴别模型去鉴别待鉴别人脸视频。本发明专利技术提出三个改进：(1)采用混合训练样本提高泛化性能；(2)分别采用大边缘和小边缘的人脸中心剪裁图像训练两个2D深度，提高预测鲁棒性深度卷积神经网络，提高预测鲁棒性；(3)使用3D深度卷积神经网络能利用帧间一致性信息，提高信息利用率；由此，本发明专利技术能够解决现有技术对新型伪造视频的辨别能力较差的问题。

【技术实现步骤摘要】
一种对深度伪造人脸图像和视频的鉴别方法
本专利技术具体涉及一种对深度伪造人脸图像和视频的鉴别方法。
技术介绍
对伪造视频的检测方法可以分为两类：一是基于帧间时间特性的方法(Temporalfeaturesacrossframes)，利用视频内人眨眼频率、嘴型等时间相关的特性进行判断，通常使用递归分类方法；二是基于帧内视觉效果的方法(Visualartifactswithinframe)，利用图像边缘的瑕疵以及五官位置、面部阴影等不自然的细节进行判断，通常提取特定特征后用深层或浅层的分类器完成检测。此外，亦有研究人员提出使用可追溯、不可篡改的区块链技术对深度伪造视频进行追溯。2019年3月，阿拉伯联合酋长国哈利法大学电气与计算机工程系研究人员发表名为《使用区块链和智能合约打击深度伪造视频》(CombatingDeepfakeVideosUsingBlockchainandSmartContracts)的论文，提出使用区块链的解决方案和通用框架，以追踪数字内容的来源和历史，即使数字内容被多次复制也可对其进行溯源。该论文提供的解决方案框架具有普适性，亦可应用于任何其他形式的数字内容。具体成果方面：2017年8月，新加坡信息通信研究所网络安全小组发表名为《自动人脸交换及其检测》(Automatedfaceswappinganditsdetection)的论文，第一次提出AI换脸检测框架，检测准确率达到92％。从此，业界对于人工智能换脸技术及检测技术的研究进入白热化阶段，企业、高校及个人开发者纷纷投入对人工智能换脸检测工具的开发。2019年6月，美国加州大学伯克利分校和南加州大学研究人员通过已有的非伪造视频，收集视频中个人的特征，构建高度个人化的“软生物识别指标”体系。识别系统在掌握个人的微表情和行为习惯后，鉴伪准确率可达到95％。美国Adobe公司也于2019年6月推出反向PS(Photoshop，全球使用最广泛的修图软件，此处意为“编辑图片”)工具。依托于AI算法，该工具可自动识别出人像图片中经过图像液化工具修改的部分，并将其还原成初始样貌，准确率高达99％。为帮助研究人员开发深度伪造自动检测工具，谷歌公司于2019年9月公开发布深度伪造视频识别数据集，其中包含3000多段视频，由多位真人演员在28个不同场景下拍摄。全球研究人员都可使用该完全开源的数据集对深度伪造检测工具进行训练。但是上述技术只对单幅图像进行鉴别，不考虑视频中上下文信息，神经网络无法自动利用帧间信息，导致不能从帧间的一致性做出推测。由于现实中深度伪造视频的方法和变量是无法穷举的，而且伪造视频的算法在不断进步，新算法不断被提出，现实深度伪造视频的特征和造假点和目前业界制作的伪造数据集有明显的差别。这些伪造数据集上使用常用的分类卷积神经网络训练方法，生成的模型的泛化性能不佳，对新型伪造视频的辨别能力较差。
技术实现思路
本专利技术旨在提供一种对深度伪造人脸图像和视频的鉴别方法，以解决上述现有技术中存在的问题。本专利技术提供的一种对深度伪造人脸图像和视频的鉴别方法，包括如下步骤：S1，采集混合训练样本；S2，构建鉴别模型；所述鉴别模型包括两个2D深度卷积神经网络和一个3D深度卷积神经网络；S3，利用所述混合训练样本训练所述鉴别模型；S4，利用训练好的鉴别模型去鉴别待鉴别人脸视频。进一步的，步骤S1中采集混合训练样本的方法为：S11，收集大量深度伪造视频和其对应的原视频构成训练数据集；S12，对每个深度伪造视频使用人脸检测方法检测每帧中的第一人脸位置，在有伪造人脸的连续帧中，随机截取长度为L的片段，并用第一人脸位置信息剪裁出人脸方框，构成深度伪造人脸片段；S13，对每个深度伪造视频对应的原视频使用人脸检测方法检测每帧中的第二人脸位置，在有人脸的连续帧中，随机截取长度为L的片段，并用第二人脸位置信息剪裁出人脸方框，构成原视频人脸片段；S14，取深度伪造人脸片段中的一帧F和原视频人脸片段中的对应帧R，将帧F和对应帧R取加权和形成混合人脸图像；S15，将所有深度伪造人脸片段和对应的原视频人脸片段通过步骤S14的方法形成混合人脸图像，即得到混合训练样本。进一步的，步骤S14中帧F和对应帧R取加权和的权重符合为符合某种分布的[0,1]随机采样。进一步的，步骤S2中每个所述2D深度卷积神经网络的卷积核为2D，主干网络为常用深度卷积神经网络，全连接层为2分类结构。进一步的，步骤S3中训练所述2D深度卷积神经网络的方法为：(1)从混合训练样本中随去抽取一帧混合人脸图像进行中心裁剪，使得人脸离远离混合人脸图像边缘，然后重复使用第一个2D深度卷积神经网络对中心裁剪后的混合人脸图像进行前向和后向传播进行训练；(2)从混合训练样本中随去抽取一帧混合人脸图像进行中心裁剪，使得人脸离贴近混合人脸图像边缘，然后重复使用第一个2D深度卷积神经网络对中心裁剪后的混合人脸图像进行前向和后向传播进行训练；进一步的，步骤S2中所述3D深度卷积神经网络为以一个2D深度卷积神经网络为基础，将其卷积核替换为3D卷积核，使其具有在视频帧间进行卷积的能力。进一步的，步骤S3中训练所述3D深度卷积神经网络的方法为，从混合训练样本中随去抽取连续几帧混合人脸图像，然后重复使用3D深度卷积神经网络对连续几帧混合人脸图像进行前向和后向传播进行训练。进一步的，步骤S4包括如下子步骤：S41，对待鉴别人脸视频随机抽取一段视频帧片段；S42，使用训练好的两个2D深度卷积神经网络对视频帧片段中的每帧中的人脸进行鉴别；S43，使用训练好的3D深度卷积神经网络对视频帧片段中的每帧进行鉴别；S44，对两个2D深度卷积神经网络和3D深度卷积神经网络的鉴别预测值，使用加权的集成方法作为鉴别结果。进一步的，步骤S44中所述加权的集成方法使用的权重为鉴别预测值的置信度；所述置信度为鉴别预测值与0.5的距离。综上所述，由于采用了上述技术方案，本专利技术的有益效果是：本专利技术提出三个改进：(1)采用混合训练样本提高泛化性能；(2)分别采用大边缘和小边缘的人脸中心剪裁图像训练两个2D深度，提高预测鲁棒性深度卷积神经网络，提高预测鲁棒性；(3)使用3D深度卷积神经网络能利用帧间一致性信息，提高信息利用率；由此，本专利技术能够解决现有技术对新型伪造视频的辨别能力较差的问题。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本专利技术实施例的对深度伪造人脸图像和视频的鉴别方法的流程框图图2为本专利技术实施例的采集混合训练样本的原理图。图3为本专利技术实施例的利用训练好的鉴别模型去鉴别待鉴别人脸视频本文档来自技高网...

【技术保护点】
1.一种对深度伪造人脸图像和视频的鉴别方法，其特征在于，包括如下步骤：/nS1，采集混合训练样本；/nS2，构建鉴别模型；所述鉴别模型包括两个2D深度卷积神经网络和一个3D深度卷积神经网络；/nS3，利用所述混合训练样本训练所述鉴别模型；/nS4，利用训练好的鉴别模型去鉴别待鉴别人脸视频。/n

【技术特征摘要】
1.一种对深度伪造人脸图像和视频的鉴别方法，其特征在于，包括如下步骤：
S1，采集混合训练样本；
S2，构建鉴别模型；所述鉴别模型包括两个2D深度卷积神经网络和一个3D深度卷积神经网络；
S3，利用所述混合训练样本训练所述鉴别模型；
S4，利用训练好的鉴别模型去鉴别待鉴别人脸视频。


2.根据权利要求1所述的对深度伪造人脸图像和视频的鉴别方法，其特征在于，步骤S1中采集混合训练样本的方法为：
S11，收集大量深度伪造视频和其对应的原视频构成训练数据集；
S12，对每个深度伪造视频使用人脸检测方法检测每帧中的第一人脸位置，在有伪造人脸的连续帧中，随机截取长度为L的片段，并用第一人脸位置信息剪裁出人脸方框，构成深度伪造人脸片段；
S13，对每个深度伪造视频对应的原视频使用人脸检测方法检测每帧中的第二人脸位置，在有人脸的连续帧中，随机截取长度为L的片段，并用第二人脸位置信息剪裁出人脸方框，构成原视频人脸片段；
S14，取深度伪造人脸片段中的一帧F和原视频人脸片段中的对应帧R，将帧F和对应帧R取加权和形成混合人脸图像；
S15，将所有深度伪造人脸片段和对应的原视频人脸片段通过步骤S14的方法形成混合人脸图像，即得到混合训练样本。


3.根据权利要求2所述的对深度伪造人脸图像和视频的鉴别方法，其特征在于，步骤S14中帧F和对应帧R取加权和的权重符合为符合某种分布的[0,1]随机采样。


4.根据权利要求2所述的对深度伪造人脸图像和视频的鉴别方法，其特征在于，步骤S2中每个所述2D深度卷积神经网络的卷积核为2D，主干网络为常用深度卷积神经网络，全连接层为2分类结构。


5.根据权利要求4所述的对深度伪造人脸图像和视频的鉴别方法，其特征在于...

【专利技术属性】
技术研发人员：李斌，周世杰，张家亮，贾宇，邹严，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51