基于空间局部二值模式与光流梯度的人脸伪造视频检测方法技术

本发明专利技术公开一种基于空间局部二值模式与光流梯度的人脸伪造视频检测方法，首先，对人脸视频中的人脸进行定位分割，得到人脸区域图像块序列；其次，从该序列中提取空间3D局部二值模式描述符；然后，利用光流法估计人脸视频的运动模式，结合方向梯度直方图构建真假人脸视频的运动特征；最后，联合两种特征并利用支持向量机进行训练，对真假人脸进行伪造检测。本发明专利技术从动态纹理的角度考虑伪造人脸视频，与基于深度学习的方法相比较，将大大降低时间消耗；且最终的特征能够从全局局部两个角度辨识真假人脸，充分描述视频的全局运动特征，提高伪造人脸视频检测的精度。

【技术实现步骤摘要】
基于空间局部二值模式与光流梯度的人脸伪造视频检测方法
本专利技术属于机器学习与数字取证结合的领域，具体涉及一种基于空间局部二值模式与光流梯度的人脸伪造视频检测方法。
技术介绍
随着技术的进步，对人脸视频内容的伪造或篡改的现象层出不穷，因此对视频的数字取证也成伪了信息安全中的一个重要研究方向。近年来，人脸视频伪造问题受到人们的广泛关注。个人隐私如何保护，视频能否作为有效的法律证据，都成为了目前急需解决的问题。伪造人脸视频作为一种基于深度生成模型的人脸视频伪造方法，在构建模型时使用了一种自编解码架构。在模型的训练阶段，输入人脸图像通过仿射变换被扭曲，自编码器通过训练将这种任意随机扭曲的人脸进行还原重建。针对不同身份的人脸需要各自训练其自编码器，然而编码器的权重是共享的，而解码器的权重与身份是高度相关的。因此在测试即换脸阶段，通过组合不同身份的输入图像与解码器，可以实现人脸身份的交换而保持表情动作不变。整个训练过程包含：1)获取正常人脸照片；2)扭曲变换人脸照片；3)编码器编码向量；4)解码器解码向量；5)还原正常人脸照片等五个步骤。后续的人脸伪造技术在自编码器的框架之上，又引入了生成对抗网络技术，不但降低了同等条件下的模型参数量和模型复杂度，同时使生成的人脸更为清晰，大大降低了对原图的依赖，显著提升了换脸的效果。人脸伪造算法通常需要大量的图像和视频数据来训练模型创建逼真的图像和视频，但是名人政要等公众人物的视频和图片在网上很容易获取，所以它们很容易就成了人脸伪造技术的原始数据。伪造人脸技术制作的第一个视频出现在2017年，一位名人的脸被换到色情视频中。这在一定程度上对被换脸人物的形象造成了损坏。伪造人脸视频算法一旦被恶意用来制作政治人物演讲视频，将可能影响政治选举、导致金融市场混乱，甚至可能引起国家之间的紧张局势，对世界安全构成严重威胁。尽管如今已经有大量伪造人脸检测研究方法被提出，但是还存在一些明显的缺陷与不足。大多数针对伪造人脸视频的检测算法将视频分解成独立的帧，在帧内进进行伪造检测。这类方法只考虑了基于图像的伪造瑕疵，而伪造算法在生成人脸视频时，并没有引入时域信息，因此在时间尺度上残留了大量可以用来区分真假人脸的特征。然而大部分检测方法只关注了帧级别的篡改痕迹，而没有关注到时间域上的篡改痕迹。现有的基于特征的篡改方法均是从单一的角度进行检测，例如基于眨眼的方法，基于嘴型的方法，基于呼吸频率的方法与基于相机噪声的方法，都是提取了单一的特征，没有联合视频中可能存在的所有瑕疵。其他基于图像瑕疵的方法大多直接利用深度学习模型，无法直观的提取真假人脸的差异，也难以结合其他方面的篡改特征，检测精度上仍然存在着很大的上升空间。
技术实现思路
专利技术目的：本专利技术提供一种基于空间局部二值模式与光流梯度的人脸伪造视频检测方法，能大大降低时间消耗，且能够从全局、局部两个角度辨识真假人脸，充分描述视频的全局运动特征，提高伪造人脸视频检测的精度。技术方案：本专利技术所述的一种基于空间局部二值模式与光流梯度的伪造人脸视频检测方法，包括以下步骤：(1)对待检测的人脸伪造视频进行帧级别的分解，得到一个连续的帧序列；(2)对于步骤(1)中裁剪得到的连续人脸图像块序列，设定三个时空轴T、X、Y，在XY、XT和YT这3个正交平面上分别计算局部二值模式；(3)采用均匀模式的算子进行特征提取，nj＝59(j＝0，1，2)，获取第j平面上的中心像素点x，y，t的LBP值；其中，R表示局部二值模式的计算半径，8表示对半径为R的环形区域上的8个采样点的领域进行LBP编码，u2表示该局部二值模式计算的是二次跳变的情况，nj表示第j时空平面上的二值模式类别数，均等于59；(4)将3个平面的局部二值模式直方图按照XY、XT、YT的顺序串联起来，构成联合特征；(5)对步骤(1)中获得的人脸图像块序列，利用Horn-Schunck光流算法计算运动光流，得出四维平面坐标的向量(x，y，u，v)；将其转换为极坐标(x，y，r，θ)，r为点(x，y)上光流的大小，θ为该点的光流方向；(6)将光流方向分成B个方向柱，以360°/B为间隔，光流大小分成M个数量级；计算单帧图像的方向－数量级光流梯度直方图时，根据每个像素点上光流的方向和大小投票到相应的方向柱数量级上；(7)在获得每一帧人脸图像块的方向－数量级的光流梯度直方图特征的基础上，计算每一帧累积的方向－数量级的光流梯度直方图特征向量来表示N帧连续图像序列的运动特征；(8)将步骤(4)获得的联合特征和步骤(7)获得的运动特征的特征序列链接并使用支持向量机进行训练并分类，对真假人脸进行伪造检测。进一步地，所述步骤(1)包括以下步骤：(11)对于检测到的每一帧，利用多任务卷积神经网络识别并定位图像中的人脸，裁剪出人脸图像块并进行缩放，得到人脸区域图像块序列；(12)从该序列中提取空间3D局部二值模式描述符。进一步地，所述步骤(3)包括以下步骤：(31)将三维局部二值模式的直方图定义为：其中，i＝0，1，...，nj-1；j＝0，1，2其中，fj(x，y，t)表示在第j平面上的中心像素点(x，y，t)的LBP值，j表示平面的编号，j＝0表示XY平面，j＝1表示XT平面，j＝2表示YT平面；nj是在第j个平面上由LBP算子产生的二元模式数量；(32)对空间3D-LBP直方图进行归一化的操作：(33)将输入的面部图像分成p×p个子块，然后分别计算每个子块的局部LBP直图。进一步地，所述步骤(6)包括以下步骤(61)将光流方向分成8个方向柱，分别为[0°,45°],[45°,90°],[90°,135°],[135°,180],[180°,225],[225°,270°],[270°,315°],[315°,360°]；(62)光流大小分成4个数量级[0,0.5],(0.5,1.5],(1.52],(2,+∞)；(63)为了避免出现零的情况，将每个方向柱的数量级上的值初始化为1；其中，方向θ通过以下公式进行计算θ＝tan-1(u/v)其中：1≤b≤B其中，b表示索引，表示第几个方向柱。进一步地，所述步骤(7)包括以下步骤：(71)对于一段人脸视频A有Q帧图像，即A＝{I1，I2，...IQ}，第q帧图像的方向－数量级的光流梯度直方图用G(Iq)表示；从I1到IQ连续Q帧图像序列的累积方向－数量级的光流梯度直方图Gq为：(72)为避免不同面部动作或者不同人相同表情的特征之间的数量级差别较大，对所得到的上述特征进行归一化处理：其中，Ga(l，8，4)表示第l个子网格，8个方向柱上，4个数量级；Gle表示第l个子网格，8方向柱上所有数量级上值的和。有益效果：与现有技术相比，本专利技术的有益效果：1、本专利技术从空间局部二值模式与光流梯度特征的角度考虑，结合传统的本文档来自技高网...

【技术保护点】
1.一种基于空间局部二值模式与光流梯度的人脸伪造视频检测方法，其特征在于，包括以下步骤：/n(1)对待检测的人脸伪造视频进行帧级别的分解，得到一个连续的帧序列；/n(2)对于步骤(1)中裁剪得到的连续人脸图像块序列，设定三个时空轴T、X、Y，在XY、XT和YT这3个正交平面上分别计算局部二值模式；/n(3)采用均匀模式的

【技术特征摘要】
1.一种基于空间局部二值模式与光流梯度的人脸伪造视频检测方法，其特征在于，包括以下步骤：
(1)对待检测的人脸伪造视频进行帧级别的分解，得到一个连续的帧序列；
(2)对于步骤(1)中裁剪得到的连续人脸图像块序列，设定三个时空轴T、X、Y，在XY、XT和YT这3个正交平面上分别计算局部二值模式；
(3)采用均匀模式的算子进行特征提取，nj＝59(j＝0，1，2)，获取第j平面上的中心像素点(x，y，t)的LBP值；其中，R表示局部二值模式的计算半径，8表示对半径为R的环形区域上的8个采样点的领域进行LBP编码，u2表示该局部二值模式计算的是二次跳变的情况，nj表示第j时空平面上的二值模式类别数，均等于59；
(4)将3个平面的局部二值模式直方图按照XY、XT、YT的顺序串联起来，构成联合特征；
(5)对步骤(1)中获得的人脸图像块序列，利用Horn-Schunck光流算法计算运动光流，得出四维平面坐标的向量(x，y，u，v)；将其转换为极坐标(x，y，r，θ)，r为点(x，y)上光流的大小，θ为该点的光流方向；
(6)将光流方向分成B个方向柱，以360°/B为间隔，光流大小分成M个数量级；计算单帧图像的方向-数量级光流梯度直方图时，根据每个像素点上光流的方向和大小投票到相应的方向柱数量级上；
(7)在获得每一帧人脸图像块的方向-数量级的光流梯度直方图特征的基础上，计算每一帧累积的方向-数量级的光流梯度直方图特征向量来表示N帧连续图像序列的运动特征；
(8)将步骤(4)获得的联合特征和步骤(7)获得的运动特征的特征序列链接并使用支持向量机进行训练并分类，对真假人脸进行伪造检测。


2.根据权利要求1所述的一种基于空间局部二值模式与光流梯度的人脸伪造视频检测方法，其特征在于，所述步骤(1)包括以下步骤：
(11)对于检测到的每一帧，利用多任务卷积神经网络识别并定位图像中的人脸，裁剪出人脸图像块并进行缩放，得到人脸区域图像块序列；
(12)从该序列中提取空间3D局部二值模式描述符。


3.根据权利要求1所述的一种基于空间局部二值模式与光流梯度的人脸伪造视频检测方法，其特征在于，所述步骤(3)包括以下步骤：
(31)将三维局部...

【专利技术属性】
技术研发人员：马廷淮，俞特，田青，荣欢，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：江苏;32