一种基于篡改区域分离和区域约束损失的弱监督深度修复图像篡改定位方法及系统技术方案

本发明专利技术公开了一种基于篡改区域分离和区域约束损失的弱监督深度修复图像篡改定位方法及系统，涉及修复图像检测定位技术领域。本发明专利技术的技术要点包括：获取预训练集图像数据和训练集图像数据；对图像数据进行预处理；将预处理后的预训练集图像数据输入基于神经网络的预训练检测模型中进行预训练，获取训练好的预训练模型参数；将预训练模型参数作为网络参数初始值，并将预处理后的训练集图像数据输入基于神经网络的弱监督篡改定位模型中进行训练，获取训练好的弱监督篡改定位模型。本发明专利技术无需预先准确的篡改标签，只需利用少量的带有图像级标签信息的训练样本即可进行学习，降低了训练难度，提高了定位效率。提高了定位效率。提高了定位效率。

【技术实现步骤摘要】
一种基于篡改区域分离和区域约束损失的弱监督深度修复图像篡改定位方法及系统


[0001]本专利技术涉及修复图像检测定位
，具体涉及一种基于篡改区域分离和区域约束损失的弱监督深度修复图像篡改定位方法及系统。

技术介绍

[0002]随着互联网技术的日新月异和社交网络的快速发展，以图像、视频和音频为主的数字媒体逐渐成为数据的主要载体，在这些信息载体中，图像的表达最为充分，能够储存丰富的视觉信息，最易被人类接受。而且图像中通常会包含一些重要的信息，所以保持图像的完整性就是保留信息的完整性。图像修复是在给定图像中，根据未受损区域的信息恢复受损或缺失区域的过程。它在现实世界中有广泛的应用，如修复受损的图像和移除不需要的区域。
[0003]弱监督算法是近年来图像处理领域的热门研究方向之一，传统的图像处理算法需要大量的像素级别标注数据作为训练集，因此需要耗费大量人力物力和时间。而弱监督算法可以通过使用只有部分像素级别标签的训练数据(例如图像级别标签或边界框)，来进行精确的图像分割或定位。这种方法可以有效降低标注数据的依赖，减少成本和时间开销。在实际应用领域中，由于现实中存在各种噪声和干扰，获取高质量的篡改图像像素级别标注数据往往非常困难，传统的篡改定位算法容易受到这些因素的影响而出现偏差，因此弱监督篡改定位的优势尤为明显，其可以利用更多的信息和先验知识来提高算法的鲁棒性和泛化能力，通过使用弱标签信息，可以避免过度拟合和减轻类别不平衡问题，从而提高算法的鲁棒性。并且，弱监督方法还可以利用图像的上下文信息、篡改特征、纹理信息等来提高算法的泛化能力。
[0004]以往的深度修复图像篡改定位方法只是通过给定修复图像通过训练神经网络定位篡改区域以接近修复掩码，从而忽略了深度修复图像和原图像之间的在高维特征的对比信息。弱监督篡改定位是指在训练模型时不需要准确的标注数据，而是依赖于一些弱监督信息，即图像是否被深度修复技术篡改，来指导学习，从而实现图像篡改区域的自动识别。在现实场景中，深度修复图像经常用作移除图像中的某个或某些目标，即图像取证中的移除(Removal)检测任务。这就需要大量的人工标注和数据生成，耗费大量的人力物力成本。

技术实现思路

[0005]为此，本专利技术提出一种基于篡改区域分离和区域约束损失的弱监督深度修复图像篡改定位方法及系统，将深度修复图像篡改定位的视角引入到弱监督领域，以减少标注成本，提高效率和可扩展性。
[0006]根据本专利技术的一方面，提供一种基于篡改区域分离和区域约束损失的弱监督深度修复图像篡改定位方法，该方法包括以下步骤：
[0007]步骤一、获取预训练集图像数据和训练集图像数据；
[0008]步骤二、对图像数据进行预处理；
[0009]步骤三、将预处理后的预训练集图像数据输入基于神经网络的预训练检测模型中进行预训练，获取训练好的预训练模型参数；
[0010]步骤四、将预训练模型参数作为网络参数初始值，并将预处理后的训练集图像数据输入基于神经网络的弱监督篡改定位模型中进行训练，获取训练好的弱监督篡改定位模型；
[0011]步骤五、将待检测图像输入到训练好的弱监督篡改定位模型中，确定待检测图像中的篡改区域。
[0012]进一步地，步骤一中预训练集图像数据包括真实图像、篡改区域大的深度修复篡改图像及对应的第一级别图像级标签；训练集图像数据包括篡改区域小的深度修复篡改图像及对应的第二级别图像级标签。
[0013]进一步地，步骤二中所述预处理包括：利用隐写分析富模型层方法将真实图像或深度修复篡改图像从RGB色彩空间转换为噪声空间，获取对应的噪声图像；将真实图像或深度修复篡改图像和其对应的噪声图像进行级联操作。
[0014]进一步地，步骤四中所述基于神经网络的弱监督篡改定位模型的训练过程包括：
[0015]将级联后的图像和噪声图像输入到神经网络中，获得图像的深度特征；通过一个卷积层将深度特征对应的通道数降为2；选取类别为1的特征作为初始篡改类别的类激活图；
[0016]分离深度修复篡改图像中篡改区域特征和非篡改区域特征，并计算图像级标签损失函数和区域约束损失函数，更新类激活图；
[0017]将第一级别图像级标签损失函数L
cls
、第二级别图像级标签损失函数L0和L1、区域约束损失函数L
ac
进行加权，作为弱监督篡改定位模型的总的损失函数；总的损失函数表示为：L＝L
cls
+λ(L0+L1)+μL
ac
，λ和μ为权重参数；
[0018]采用反向传播算法优化神经网络的网络参数，获取训练好的弱监督篡改定位模型。
[0019]进一步地，步骤四中所述基于神经网络的弱监督篡改定位模型的训练过程中分离深度修复篡改图像中篡改区域特征和非篡改区域特征的过程包括：
[0020]对于深度修复篡改图像的深度特征，根据其空间位置生成粗真实像素先验A0和篡改像素先验A1：
[0021][0022][0023]式中，Z表示深度特征；P
i
表示类别为1即篡改图像的类激活图；
[0024]将粗真实像素先验A0和篡改像素先验A1分别通过全局最大池化层，生成图像级特征Z0和Z1，分别作为非篡改区域特征和篡改区域特征的图像级标签。
[0025]进一步地，步骤四中所述基于神经网络的弱监督篡改定位模型的训练过程中所述第一级别图像级标签损失函数L
cls
、第二级别图像级标签损失函数L0和L1均采用交叉熵函数，所述交叉熵函数计算公式如下：
[0026][0027]其中，N表示批处理数量，M表示类别的数量；y
ic
是符号函数，其值为0或1，如果样本i的真实类别等于c，则y
ic
取1，否则取0；p
ic
表示样本i属于类别c的预测概率；
[0028]所述区域约束损失函数的计算公式如下：
[0029][0030]其中，表示篡改区域特征占整个图像的比例，表示非篡改区域特征占整个图像的比例；H和W表示图像的高和宽。
[0031]根据本专利技术的另一方面，提供一种基于篡改区域分离和区域约束损失的弱监督深度修复图像篡改定位系统，该系统包括：
[0032]图像获取模块，其配置成获取预训练集图像数据和训练集图像数据；
[0033]预处理模块，其配置成对图像数据进行预处理；
[0034]预训练模型训练模块，其配置成将预处理后的预训练集图像数据输入基于神经网络的预训练检测模型中进行预训练，获取训练好的预训练模型参数；
[0035]篡改定位模型训练模块，其配置成将预训练模型参数作为网络参数初始值，并将预处理后的训练集图像数据输入基于神经网络的弱监督篡改定位模型中进行训练，获取训练好的弱监督篡改定位模型；
[0036]篡改定位模块，其配置成将待检测图像输入到训练好的弱监督篡改定位模型中，确定待检测图像中的篡改区域。
[0037本文档来自技高网...

【技术保护点】

【技术特征摘要】
和Z1，分别作为非篡改区域特征和篡改区域特征的图像级标签。6.根据权利要求4所述的一种基于篡改区域分离和区域约束损失的弱监督深度修复图像篡改定位方法，其特征在于，步骤四中所述基于神经网络的弱监督篡改定位模型的训练过程中所述第一级别图像级标签损失函数L
cls
、第二级别图像级标签损失函数L0和L1均采用交叉熵函数，所述交叉熵函数计算公式如下：其中，N表示批处理数量，M表示类别的数量；y
ic
是符号函数，其值为0或1，如果样本i的真实类别等于c，则y
ic
取1，否则取0；p
ic
表示样本i属于类别c的预测概率；所述区域约束损失函数的计算公式如下：其中，表示篡改区域特征占整个图像的比例，表示非篡改区域特征占整个图像的比例；H和W表示图像的高和宽。7.一种基于篡改区域分离和区域约束损失的弱监督深度修复图像篡改定位系统，其特征在于，包括：图像获取模块，其配置成获取预训练集图像数据和训练集图像数据；预处理模块，其配置成对图像数据进行预处理；预训练模型训练模块，其配置成将预处理后的预训练集图像数据输入基于神经网络的预训练检测模型中进行预训练，获取训练好的预训练模型参数；篡改定位模型训练模块，其配置成将预训练模型参数作为网络参数初始值，并将预处理后的训练集图像数据输入基于神经网络的弱监督篡改定位模型中进行训练，获取训练好的弱监督篡改定位模型；篡改定位模块，其配置成将待检测图像输入到训练好的弱监督篡改定位模型中，确定待检测图像中的篡改区域。8.根据权利要求7所述的一种基于篡改区域分离和区域约束损失的弱监督深度修复图像篡改定位系统，其特征在于，所述图像获取模块中预训练集图像数据包括真实图像、篡改区域大的深度修复篡改图像及对应的第一级别图像级标签；训练集图像数据包括篡改区域小的深度修复篡改图像及对应的第二级别图像级标签。9.根据权利要求7所述的一种基于篡改区域分离和区域约束损失的弱监督深度修复图像篡改定位系统，其特征在于，所述预处理模块中所述预处理包括：利用隐写分析富模型层方法将真实图像或深度修复篡改图像从RGB色彩空间转换为噪声空间，获取对应的噪声图像；...

【专利技术属性】
技术研发人员：朱国普，孙珑，刘春雨，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：