基于目标检测的人脸篡改鉴定方法、模型及其鉴定方法技术

本发明专利技术涉及基于目标检测的人脸篡改鉴定方法、模型及其鉴定方法，通过利用目标检测模型提取目标图像中人脸的坐标信息，通过目标检测模型的尾分支完成人脸框的检测，在目标检测模型的原有特征提取层后添加一个人脸篡改鉴定分支并通过该分支提取人脸篡改鉴定特征，最后根据所述人脸篡改鉴定特征鉴定人脸是否被篡改。本发明专利技术通过大数据学习能够自动提取图像特征，在检测出图像中人脸信息的同时，实现对图像中人脸是否被篡改的鉴定。

Face tampering identification method, model and identification method based on target detection

【技术实现步骤摘要】
基于目标检测的人脸篡改鉴定方法、模型及其鉴定方法
本专利技术涉及图像或视频的鉴定，具体地指一种基于目标检测的人脸篡改鉴定方法、模型及其鉴定方法，属于图像处理

技术介绍
早在2017年，一位名叫“deepfakes”的外国网友就利用AI(人工智能)技术，将女明星的脸，“移花接木”到了色情片女主角身上，一度掀起轩然大波。这一技术被公开后，各种换脸软件层出不穷。“deepfake”也因此成为这项技术的代名词。“deepfake”(深度伪造)是英文“deeplearning”(深度学习)和“fake”(伪造)的合成词，是一种基于AI的人体图像合成技术。利用深度学习算法进行音频、视频的模拟和伪造，创造出现实不存在的人物活动，让某人做没做过的事。这种技术的一大特点就是，投入深度学习的内容库越大，合成的音视频仿真性就越高，甚至可以达到以假乱真的效果。毋庸置疑，“deepfake”这项技术如果被居心叵测者利用，制作各种可能涉及色情、暴力、政治因素的虚假视频，就会成为侵害他人合法权益和危害社会公共安全的工具。对于人脸篡改鉴定任务，很多人直接使用传统数字图像处理来鉴定，传统方法算法设计的特征只能对特定篡改进行鉴定；在AI技术兴起后，有些人的第一想法是直接使用SSD等通用目标检测算法检测出人脸位置，再训练人脸篡改判定网络对检测到的人脸roi图片进行是否是篡改人脸的判定。这种先检测后判定的方法不仅步骤繁琐，而且每帧图像鉴定所需时耗会随着图片中检测到的人脸增加而线性增加。
技术实现思路
本专利技术目的在于克服上述现有技术的不足而提供一种基于目标检测的人脸篡改鉴定方法、模型及其鉴定方法，本专利技术能够自动学习图像特征，在检测出图像中人脸坐标信息的同时，实现对图像中人脸是否被篡改的鉴定。实现本专利技术目的采用的技术方案是一种基于目标检测的人脸篡改鉴定方法，该方法包括：利用目标检测模型提取目标图像中人脸的坐标信息，通过目标检测模型的尾分支完成人脸框的检测，在目标检测模型的原有特征提取层后添加一个人脸篡改鉴定分支并通过该分支提取人脸篡改鉴定特征，最后根据所述人脸篡改鉴定特征鉴定人脸是否被篡改。本专利技术还提供一种基于目标检测的人脸篡改鉴定模型，该模型包括人脸篡改鉴定基础模型，所述人脸篡改鉴定基础模型包括：目标检测模型，用于将提取的人脸特征回归出目标图像中人脸坐标信息；人脸篡改鉴定分支，设于所述目标检测模型的特征提取层后，所述人脸篡改鉴定分支用于提取目标图像中人脸的描述信息，并以此鉴定人脸是否被篡改。本专利技术还提供一种将上述人脸篡改鉴定基础模型进行训练得到人脸篡改鉴定网络模型，具体的训练过程包括：收集m个原视频文件及对原视频文件中进行人脸篡改后的视频文件作为初始样本，并以初始样本采集样本图片n张，对样本图片中人脸坐标及其是否被篡改进行标注；将初始样本和标注结果作为输入，通过多次调整训练参数训练得到人脸篡改鉴定网络模型。本专利技术能够自动、快速对图片或实时视频进行人脸是否被篡改的鉴定，有利于协助拦截各种可能涉及色情、暴力、政治因素的虚假视频，帮助打击侵害他人合法权益和危害社会公共安全的犯罪行为。附图说明图1为SSD目标检测模型的算法示意图。图2为本专利技术基于目标检测的人脸篡改鉴定网络模型的结构示意图。图3-1为一原始图像；图3-2为通过本专利技术人脸篡改鉴定网络模型进行是否被篡改鉴定的效果示意图。图4-1为另一原始图像；图4-2为通过本专利技术人脸篡改鉴定网络模型进行是否被篡改鉴定的效果示意图。具体实施方式下面结合附图和具体实施例对本专利技术作进一步的详细说明。本实施例中所用目标检测模型用于提取目标图像中的人脸坐标信息，该操作可以采用现有技术实现，例如SSD、RefineDet、MobileNet-SSD，具体实施方式中的以下具体实施例均以现有SSD网络结构进行示例说明，SSD网络结构的如图1所示。实施例1本专利技术基于目标检测的人脸篡改鉴定方法包括：利用目标检测模型提取目标图像中人脸的坐标信息，通过目标检测模型的尾分支完成人脸框的检测，在目标检测模型的原有特征提取层后添加一个人脸篡改鉴定分支并通过该分支提取人脸篡改鉴定特征，最后根据所述人脸篡改鉴定特征鉴定人脸是否被篡改。其中，所用的人脸篡改鉴定分支为3个3*3卷积层及激活层串联形成。实施例2本实施例基于目标检测的人脸篡改鉴定模型，首先建立一个人脸篡改鉴定基础模型，该基础模型通过SSD目标检测模型对目标图像中的人脸框进行人脸特征提取，在SSD每个特征提取层后添加一个人脸篡改鉴定分支，在本实施例中，本专利技术采用3个3*3卷积层及激活层串联形成人脸篡改鉴定分支，该分支输出即为目标图像中的人脸篡改鉴定特征，其中，SSD原有特征回归出图像中所有人脸坐标信息，而人脸篡改鉴定分支特征是用于对图像中的人脸进行描述的信息，包括但不限于与人脸相关的各种基本要素(例如人脸轮廓、人脸及周边纹理等)，对该特征采用二元交叉熵分类，得到各个人脸是否被篡改得分，结合两个分支输出结果，即可实现一个网络模型端到端获取图像中所有人脸坐标及其是否被篡改信息。使用该人脸篡改鉴定模型时，利用目标检测模型提取目标图像中人脸的坐标信息，以及利用人脸篡改鉴定分支用于提取目标图像中人脸的描述信息，最后根据所述人脸篡改鉴定特征鉴定人脸是否被篡改。实施例3本实施例是对上述实施例2所得的人脸篡改鉴定基础模型进行训练得到最终的人脸篡改鉴定网络模型，具体的训练过程包括：收集1万个原视频文件及对原视频文件中进行人脸篡改后的视频文件作为初始样本，并对初始样本的视频文件采集样本图片3.3万张，对样本图片中人脸是否被篡改进行标注；将初始样本和标注结果作为输入，通过多次调整训练参数训练得到人脸篡改鉴定网络模型。在本实施例中，对上述训练所得人脸篡改鉴定网络模型可以使用avx2进行加速优化，以使得模型的处理速度能达到实时处理监控视频的要求。其中，所用裁剪和加速优化的操作都是为了使得整个算法速度达到实时处理视频的需求，均可采用现有的常规操作实现，此处不再赘述。上述人脸篡改鉴定基础模型和人脸篡改鉴定网络模型，均利用目标检测模型提取目标图像中人脸坐标信息，以及利用人脸篡改鉴定分支提取目标图像中人脸的描述信息，最后根据人脸篡改鉴定特征鉴定人脸是否被篡改。而人脸篡改鉴定网络模型经过大数据训练，提高了鉴定的准确率。下面以实际的图片篡改鉴定说明本专利的鉴定效果：通过上述人脸篡改鉴定网络模型，对篡改后的图片进行鉴定，其鉴定效果如图3和图4所示，具体地，图3-1为原始图片，图3-2是对图3-1进行人脸篡改后的图片，使用本专利技术人脸篡改鉴定网络模型对图3-2进行鉴定之后，能够得出图中被篡改的人脸，如图3-2中的疑似篡改标示。图4-1为另一原始图片，图4-2是对图4-1进行人脸篡改后的图片，使用本专利技术人脸篡改鉴定网络模型对图4-2进行鉴定之后，能够得出图中被篡改的人脸，如图4-2中的疑似篡改标示。图3-本文档来自技高网...

【技术保护点】
1.一种基于目标检测的人脸篡改鉴定方法，其特征在于：利用目标检测模型提取目标图像中人脸的坐标信息，通过目标检测模型的尾分支完成人脸框的检测，在目标检测模型的原有特征提取层后添加一个人脸篡改鉴定分支并通过该分支提取人脸篡改鉴定特征，最后根据所述人脸篡改鉴定特征鉴定人脸是否被篡改。/n

【技术特征摘要】
1.一种基于目标检测的人脸篡改鉴定方法，其特征在于：利用目标检测模型提取目标图像中人脸的坐标信息，通过目标检测模型的尾分支完成人脸框的检测，在目标检测模型的原有特征提取层后添加一个人脸篡改鉴定分支并通过该分支提取人脸篡改鉴定特征，最后根据所述人脸篡改鉴定特征鉴定人脸是否被篡改。


2.根据权利要求1所述基于目标检测的人脸篡改鉴定方法，其特征在于：所述人脸篡改鉴定分支为3个3*3卷积层及激活层串联形成。


3.一种基于目标检测的人脸篡改鉴定模型，其特征在于：包括人脸篡改鉴定基础模型，所述人脸篡改鉴定基础模型包括：
目标检测模型，用于提取目标图像中人脸的坐标信息；
人脸篡改鉴定分支，设于所述目标检测模型的特征提取层后，所述人脸篡改鉴定分支用于提取目标图像中人脸的描述信息，并以此鉴定人脸是否被篡改。


4.根据权利要求3所述基于目标检测的人脸篡改鉴定模型，其特征在于：所述人脸篡改鉴定分支为3个3*3卷积层及激活层串联形成。


5.一种通过权利要求3所述人脸篡改鉴定模型的鉴定方法，其特征在于，包括：利用目标检测模型提取目标图像中人脸的坐标信息，以及利用人脸篡改鉴定分支用于提取目标图像中人...

【专利技术属性】
技术研发人员：严国建，李志强，王彬，曾璐，杨阳，许璐，梁瑞凡，
申请(专利权)人：武汉大千信息技术有限公司，
类型：发明
国别省市：湖北;42