一种基于注意力的对象语义一致性篡改图像检测方法技术

本发明专利技术公开了一种基于注意力的对象语义一致性篡改图像检测方法，涉及图像被动取证领域。现有的基于深度学习的拼接篡改检测方法大都基于异常检测实现，并且由于卷积操作在感受野上存在局限。针对这一问题，本发明专利技术采用基于注意力机制构建的编码器，分别对图像中对象层级的语义信息和像素层级的篡改痕迹信息进行特征提取与表示，生成对象语义表示和篡改痕迹表示，并通过一个解码器对两种不同的编码进行融合与解码，从而实现图像的拼接篡改检测与定位。本发明专利技术能够结合对象语义一致性与可疑的篡改痕迹，有效提升篡改图像的检测准确率，具有实用价值。实用价值。实用价值。

【技术实现步骤摘要】
一种基于注意力的对象语义一致性篡改图像检测方法


[0001]本专利技术涉及图像取证
，特别是一种基于注意力的对象语义一致性篡改图像检测方法。

技术介绍

[0002]图像作为信息交流的媒介被广泛应用于各行各业，但图像编辑技术的普及也使得图像篡改操作变得容易。篡改后的图像破坏了图像内容的完整性，若被用于非法用途将对网络空间安全的稳定带来影响。因此，篡改图像检测已成为信息安全领域多媒体取证技术的一个急需解决的问题。篡改图像对自然图像进行编辑，篡改区域来源图像为供体图像，接收篡改区域的图像成为受体图像。根据供体图像和受体图像之间的来源一致性可将篡改图像分为同源篡改图像和异源篡改图像。其中，同源篡改图像中供体和受体图像为同一张图像，例如复制粘贴(copy
‑
move)篡改图像。异源篡改中供体和受体图像非同一张图像，且供体图像可能有多张，例如拼接(splicing)篡改图像。篡改过程会留下固有痕迹，如篡改区域边缘的不连续性以及篡改区域与非篡改区域的不一致性等，可用于检测篡改图像以及定位篡改的区域。在图像拼接篡改中，图像的原始语义信息往往会发生变化，且拼接篡改操作的对象也往往具有完整的语义信息。但是，现有基于深度学习的篡改图像检测方法无法将对象语义一致性与可疑的篡改痕迹充分结合，在更大的感受野内提取篡改图像的信息进行检测。例如在文献《The point where reality meets fantasy:mixed adversarial generators for image splice detection》(Proceedings of the 33rd International Conference on Neural Information Processing Systems.215
‑
226)和文献《语义一致性引导的多任务拼接篡改检测算法》(中国图象图形学报，2023，28(3))中，都是基于卷积操作实现的异常检测，其感受野受限，并且都需要额外的语义标签来辅助获取语义信息，受数据集限制较大。

技术实现思路

[0003]本专利技术的目的在于解决上述局限性，提供一种基于注意力的对象语义一致性篡改图像检测方法，进一步提高对篡改区域的识别与检测的准确性。
[0004]实现本专利技术目的的技术方案如下：
[0005]一种基于注意力的对象语义一致性篡改图像检测方法，采用基于注意力机制构建的编码器，分别对图像中对象层级的语义信息和像素层级的篡改痕迹信息进行特征提取与表示，生成对象语义表示和篡改痕迹表示，并通过一个解码器对两种不同的编码进行融合与解码，从而实现图像的拼接篡改检测与定位，包括以下步骤：
[0006]步骤1：构造基于自注意力机制的对象语义编码器，其中包括一个前置卷积模块，8个堆叠的对象语义编码模块和多层感知机。
[0007]步骤2：构造基于注意力的篡改痕迹编码器，获得图像中色彩分量和高频分量的篡改痕迹。
[0008]步骤3：构造融合解码器，结合步骤1和步骤2所获的对象语义信息和篡改痕迹信息定位篡改区域。
[0009]步骤4：在训练阶段存通过损失函数为步骤1至步骤3所得算法提供整体约束，以使算法中的各项参数调整至最优值。
[0010]进一步地，在步骤1中，实现对象语义编码的具体方法为：
[0011](1)使用前置卷积模块对长为H宽为W维度为C的待检测图像I
H
×
W
进行浅层特征提取，预
[0012]设滑动窗口的大小k
×
k，滑动步长s、填充大小p，该过程表示为：
[0013]OSB
i
＝cut(Conv(I
H
×
W
))
[0014]其中，Conv(
·
)表示前置卷积模块的卷积操作，cut(
·
)表示切块操作；
[0015](2)对象语义编码模块首先使用位置编码对OSB
i
进行更新，生成更新后的序列块，该过程表示为：
[0016][0017]其中，embedding(
·
)表示位置编码；
[0018](3)由多头自注意力层对图像块序列之间存在的对象级语义一致性关系进行建模，该计算过程表示为：
[0019][0020][0021]其中，为初次得到的对象语义表征模型，d
head
为可以调节的特征缩放系数，在本方法中一般d
head
＝64，softmax(
·
)表示softmax函数；K
e
，Q
e
和V
e
均为可学习的线性投影层输出的的线性映射，即注意力机制计算所的查询、键、值向量，其维度与一致，均为在此处N＝16为可调节的参数，表示一幅图像中可能包含的语义对象的最大数量，C为的通道数；
[0022](4)使用多层感知机来获取同一图像不同对象之间的语义关联性，学习不同对象原型之间如何进行交互；最后由多层感知机和激活函数来对模块得到的对象语义模型进行增强，以实现更好的泛化性；该过程表示为：
[0023][0024][0025]其中，W
C
是可多层感知机中可学习的参数；其中，OS
i
为对象语义编码器获得的对象语义表示，GELU(
·
)表示GELU激活函数，MLP(
·
)表示多层感知机的线性映射操作。
[0026]进一步地，在步骤2中，提取篡改痕迹的具体方法为：
[0027](1)提取色彩分量对应的篡改痕迹表示FC
RGB
；
[0028](2)提取高频分量对应的篡改痕迹表示FC
HF
；
[0029](3)将FC
RGB
与FC
HF
在信道维度上相加，得到图像I
H
×
W
对应的篡改特征编码
[0030](4)采样层对篡改特征编码做进一步处理，将其缩放并切块，最终生成与OS
i
维度相同的篡改特征表示FC
i
。
[0031]进一步地，在步骤3中，融合解码器进行特征融合与解码的具体方法为：
[0032](1)将OS
i
和FC
i
将送入多头自注意力层和多层感知机中进行块嵌入细化，得到细化后的表示该过程的计算过程为：
[0033][0034][0035]其中，IV
i
为计算过程中的中间变量，Q
d
为FC
i
的线性映射，K
d
和V
d
均为OS
i
的线性映射，Q
d
、K
d
、K
d
的维度均与FC
i
、OS
i
一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力的对象语义一致性篡改图像检测方法，采用基于注意力机制构建的编码器，分别对图像中对象层级的语义信息和像素层级的篡改痕迹信息进行特征提取与表示，生成对象语义表示和篡改痕迹表示，并通过一个解码器对两种不同的编码进行融合与解码，从而实现图像的拼接篡改检测与定位，包括以下步骤：步骤1：构造基于自注意力机制的对象语义编码器，其中包括一个前置卷积模块，8个堆叠的对象语义编码模块和多层感知机；步骤2：构造基于注意力的篡改痕迹编码器，获得图像中色彩分量和高频分量的篡改痕迹；步骤3：构造融合解码器，结合步骤1和步骤2所获的对象语义信息和篡改痕迹信息定位篡改区域；步骤4：在训练阶段通过损失函数为步骤1至步骤3所得算法提供整体约束，以使算法中的各项参数调整至最优值。2.如权利要求1所述的一种基于注意力的对象语义一致性篡改图像检测方法，其特征在于，在步骤1中，实现对象语义编码的具体方法为：(1)使用前置卷积模块对长为H宽为W维度为C的待检测图像I
H
×
W
进行浅层特征提取，预设滑动窗口的大小k
×
k，滑动步长s、填充大小p，该过程表示为：OSB
i
＝cut(Conv(I
H
×
W
))其中，Conv(
·
)表示前置卷积模块的卷积操作，cut(
·
)表示切块操作；(2)对象语义编码模块首先使用位置编码对OSB
i
进行更新，生成更新后的序列块，该过程表示为：其中，embedding(
·
)表示位置编码；(3)由多头自注意力层对图像块序列之间存在的对象级语义一致性关系进行建模，该计算过程表示为：计算过程表示为：其中，为初次得到的对象语义表征模型，d
hea
为可以调节的特征缩放系数，在本方法中一般d
head
＝64，softmax(
·
)表示softmax函数；K
e
，Q
e
和V
e
均为可学习的线性投影层输出的的线性映射，即注意力机制计算所的查询、键、值向量，其维度与一致，均为在此处N为可调节的参数,本方法中N＝16，表示一幅图像中可能包含的语义对象的最大数量，C为的通道数；(4)使用多层感知机来获取同一图像不同对象之间的语义关联性，学习不同对象原型之间如何进行交互；最后由多层感知机和激活函数来对模块得到的对象语义模型进行增强，以实现更好的泛化性；该过程表示为：
其中，W
C
是可多层感知机中可学习的参数；其中，OS
i
为对象语义编码器获得的对象语义表示，GELU(
·
)表示GELU激活函数，MLP(
·
)表示多层感知机的线性映射操作。3.如权利要求1所述的一种基于注意力的对象语义一致性篡改图像检测方法，其特征在于，在步骤2中，提取篡改痕迹的具体方法为：(1)提取色彩分量对应的篡改痕迹表示FC
RGB
；(2)提取高频分量对应的篡改痕迹表示FC
HF
；(3)将FC
RGB
与FC

【专利技术属性】
技术研发人员：王宏霞，张玉林，张瑞，
申请(专利权)人：四川大学，
类型：发明
国别省市：