一种基于放大模糊操作痕迹的图片真假检测方法技术

一种基于放大模糊操作痕迹的图片真假检测方法，通过重建图片的边缘轮廓图，来放大图片篡改过程中模糊操作所造成的边缘痕迹的影响，对于真假图片通过对应的期望重建图来监督训练，从而生成预期的重建效果，以此来让分类器更简单的进行判定。该方法是在之前的只关注痕迹本身的检测方法的基础上做出的改进，通过放大痕迹从而更加清晰的找到真假图片之间的差异性。通过该发明专利技术可以有效的提高图片真假检测的精度和泛化性，从而降低篡改图片所造成的危害。危害。危害。

【技术实现步骤摘要】
一种基于放大模糊操作痕迹的图片真假检测方法


[0001]本专利技术涉及深度伪造图片真假检测方法
，具体涉及一种基于放大模糊操作痕迹的图片真假检测方法。

技术介绍

[0002]常见的深度伪造图片的生成流程是：检测并裁剪面部图片，提取面部图片的中间特征表示，接着根据一些驱动信息(例如：另一张脸)生成新的面部内容，最后将生成的假脸替换目标图片中的真脸，最后通过模糊等修饰操作消除拼接痕迹。因为该模糊操作会平滑图像、羽化边缘，所以可以用来淡化或者消除图像篡改造成的拼接边缘。但是模糊操作是从人脸开始向内外发散的，所以也会弱化脸内部本身的边缘轮廓痕迹。
[0003]当前的基于模糊操作的图片真假检测方法都是直接对图片提取本身的面部轮廓信息，然后放进卷积神经网络等分类器里面进行判断，但是这种方法不仅忽略了脸内部五官等部分因模糊操作所造成的影响，而且对于质量较高的假脸很难进行判定真假，存在很大的局限性，难以应用普及。

技术实现思路

[0004]本专利技术为了克服以上技术的不足，提供了一种有效的提高图片真假检测的精度和泛化性的基于放大模糊操作痕迹的图片真假检测方法。
[0005]本专利技术克服其技术问题所采用的技术方案是：
[0006]一种基于放大模糊操作痕迹的图片真假检测方法，包括如下步骤：
[0007]a)定位图片中的人脸标志点，根据人脸标志点切出人脸部分图像I；
[0008]b)根据人脸部分图像I通过sobel算子提取出人脸的边缘轮廓图G；
[0009]c)将人脸的边缘轮廓图G通过Attention U
‑
Net网络进行重建，得到重建图片I
recons
，对重建图片I
recons
进行消除噪声操作；
[0010]d)通过公式计算得到重建图片I
recons
的正则项所产生的损失L
recons
，x
i,j
为重建图片I
recons
横坐标为i且纵坐标为j时的像素值，i∈{1,...,N}，j∈{1,...,M}，N为重建图片I
recons
横向像素点个数，M为重建图片I
recons
纵向像素点个数，x
i,j
‑1为重建图片I
recons
横坐标为i且纵坐标为j
‑
1时的像素值，x
i+1,j
为重建图片I
recons
横坐标为i+1且纵坐标为j时的像素值，β为权重系数；
[0011]e)将人脸部分图像I通过二维的高斯函数处理得到图像I
′
，计算得到图像I
′
通过sobel算子经梯度值和方向后的图片G
′
；
[0012]f)将图片G
′
中像素点像素值大于等于50小于等于150的像素点保留，其它像素点均设为0，得到监督图片I
supv
，假脸的监督图片I
supv
设置为纯黑图片；
[0013]g)建立改进的Siamese网络，将监督图片I
supv
和重建图片I
recons
输入到改进的
Siamese网络中，分别得到特征表示out
supv
和out
recons
；
[0014]h)通过公式计算得到重建监督模块的损失L
contra
，P为样本的个数；
[0015]i)将重建图片I
recons
通过transformer encoder的结构作为分类器，输出得到预测值p
i
，将预测值p
i
经过Sigmoid激活函数处理得到预测结果，如果预测结果是1，则该图片所在的视频为真的视频，如果预测结果是0，则该图片所在的视频为假的视频，完成构建的Edge
‑
ViT网络模型；
[0016]j)通过公式计算得到交叉熵损失函数L
class
，式中y
i
为当前样本的标签；
[0017]k)通过公式L＝θ1L
recons
+θ2L
contra
+θ3L
class
计算得到总损失L；
[0018]l)采用SGD优化器利用总损失L对Edge
‑
ViT网络模型进行训练更新；
[0019]m)将待检测的图片输入到训练后的Edge
‑
ViT网络模型中，输出得到预测值p
i
，将预测值p
i
经过Sigmoid激活函数处理得到预测结果，如果预测结果是1，则该图片所在的视频为真的视频，如果预测结果是0，则该图片所在的视频为假的视频。
[0020]进一步的，步骤a)中通过dlib库定位图片中的人脸标志点。
[0021]进一步的，步骤b)中通过sobel算子提取出人脸的边缘轮廓图G的方法为：通过公式计算得到人脸部分图像I经横向边缘检测的图像G
x
，通过公式计算得到人脸部分图像I经纵向边缘检测的图像G
y
，通过公式计算得到人脸的边缘轮廓图G。
[0022]进一步的，步骤c)中通过Total Variation Loss来消除重建图片I
recons
中的噪声。
[0023]优选的，步骤d)中β取值为1。
[0024]进一步的，步骤e)包括如下步骤：
[0025]e
‑
1)通过公式计算得到图像I
′
，式中σ为高斯函数的标准差，x为人脸部分图像I的长度值，y为人脸部分图像I的宽度值，e为自然常数；
[0026]e
‑
2)通过公式计算得到图像I
′
经横向边缘检测的图像G
′
x
，
通过公式计算得到图像I
′
经纵向边缘检测的图像G
′
y
，通过公式计算得到图片G
′
。
[0027]进一步的，步骤g)包括如下步骤：
[0028]g
‑
1)改进的Siamese网络依次由第一卷积块、第二卷积块、全局平均池化层、第一线性块、第二线性块、第三卷积块、第三线性块、第四线性块构成；
[0029]g
‑
2)第一卷积块和第二卷积块均依次由卷积核大小为5
×
5、stride为2、padding为2的卷积层；BatchNorm2d层；ReLU激活函数层构成，将监督图片I
supv
和重建图片I
recons
依次输入到第一卷积块和第二卷积块后，分别输出得到特征F
supv
和F
recons
；
[0030]g
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于放大模糊操作痕迹的图片真假检测方法，其特征在于，包括如下步骤：a)定位图片中的人脸标志点，根据人脸标志点切出人脸部分图像I；b)根据人脸部分图像I通过sobel算子提取出人脸的边缘轮廓图G；c)将人脸的边缘轮廓图G通过Attention U
‑
Net网络进行重建，得到重建图片I
recons
，对重建图片I
recons
进行消除噪声操作；d)通过公式计算得到重建图片I
recons
的正则项所产生的损失L
recons
，x
i,j
为重建图片I
recons
横坐标为i且纵坐标为j时的像素值，i∈{1,...,N}，j∈{1,...,M}，N为重建图片I
recons
横向像素点个数，M为重建图片I
recons
纵向像素点个数，x
i,j
‑1为重建图片I
recons
横坐标为i且纵坐标为j
‑
1时的像素值，x
i+1,j
为重建图片I
recons
横坐标为i+1且纵坐标为j时的像素值，β为权重系数；e)将人脸部分图像I通过二维的高斯函数处理得到图像I
′
，计算得到图像I
′
通过sobel算子经梯度值和方向后的图片G
′
；f)将图片G
′
中像素点像素值大于等于50小于等于150的像素点保留，其它像素点均设为0，得到监督图片I
supv
，假脸的监督图片I
supv
设置为纯黑图片；g)建立改进的Siamese网络，将监督图片I
supv
和重建图片I
recons
输入到改进的Siamese网络中，分别得到特征表示out
supv
和out
recons
；h)通过公式计算得到重建监督模块的损失L
contra
，P为样本的个数；i)将重建图片I
recons
通过transformer encoder的结构作为分类器，输出得到预测值p
i
，将预测值p
i
经过Sigmoid激活函数处理得到预测结果，如果预测结果是1，则该图片所在的视频为真的视频，如果预测结果是0，则该图片所在的视频为假的视频，完成构建的Edge
‑
ViT网络模型；j)通过公式计算得到交叉熵损失函数L
class
，式中y
i
为当前样本的标签；k)通过公式L＝θ1L
recons
+θ2L
contra
+θ3L
class
计算得到总损失L；l)采用SGD优化器利用总损失L对Edge
‑
ViT网络模型进行训练更新；m)将待检测的图片输入到训练后的Edge
‑
ViT网络模型中，输出得到预测值p
i
，将预测值p
i
经过Sigmoid激活函数处理得到预测结果，如果预测结果是1，则该图片所在的视频为真的视频，如果预测结果是0，则该图片所在的视频为假的视频。2.根据权利要求1所述的基于放大模...

【专利技术属性】
技术研发人员：舒明雷，刘明，王英龙，陈达，刘丽，
申请(专利权)人：齐鲁工业大学，
类型：发明
国别省市：