一种基于关键区域低感知性扰动的对抗样本生成方法技术

本发明专利技术公开了一种基于关键区域低感知性扰动的对抗样本生成方法，包括：获取包含对抗目标的原始图像；将原始图像输入预设的对抗样本生成网络获得对抗样本；所述对抗样本生成网络包括感知模块和生成器；将原始图像输入至感知模块获得感知区域掩模；将原始图像输入生成器生成初始扰动；将初始扰动经过平滑滤波模块进行滤波处理后与感知区域掩模进行相乘获得最终扰动；将最终扰动与所述原始图像叠加生成初始对抗样本；计算初始对抗样本与原始图像之间的网络损失L；根据网络损失L对对抗样本生成网络进行迭代优化；利用优化后的对抗样本生成网络将原始图像转化为最终对抗样本；生成的对抗样本更加接近真实图像，提高了对抗样本的不可感知性。可感知性。可感知性。

【技术实现步骤摘要】
一种基于关键区域低感知性扰动的对抗样本生成方法


[0001]本专利技术属于图像信号处理
，具体涉及基于关键区域低感知性扰动的目标检测方法。

技术介绍

[0002]目前针对目标检测的对抗样本生成方法主要分为基于梯度优化与基于生成对抗网络(Generative Adversarial Network，GAN)的方法。基于梯度优化的方法经多次迭代优化对抗扰动，直至模型输出错误结果。典型方法有DAG(Dense Adversary Generation)、RAP(Robust Adversarial Perturbation)，Daedalus。但是此类方法的计算量较大，对抗样本的平均生成时间达到了10秒左右或者更多。
[0003]基于GAN的方法则训练一个用于生成对抗扰动的生成网络。在推理阶段快速生成对抗样本，提升了攻击的效率，经典方法有UEA(Unified and Efficient Adversary)、FA(A Fast Method to Attack Real
‑
time Object Detection Systems)等。基于GAN的对抗攻击方法大幅降低了对抗样本的生成时间，但存在以下问题：1)受限于生成网络的结构性能与优化方式，这类基于GAN的攻击方法生成的对抗样本存在明显的红色噪点，影响了对抗样本的感知性能；2)这类方法未对添加扰动的幅度及区域进行有效地限制，在背景区域也存在不少扰动，导致了扰动冗余添加；3)该类方法一般使用L
p
范数来约束扰动生成，而基于L
p
范数的对抗样本的客观视觉评价指标与人眼的主观视觉评价存在较大区别。使用L
p
范数约束扰动仅限制了像素的幅值，对图像结构差异和纹理变化未加以限制，上述原因导致生成的对抗样本在满足计算机视觉评定标准的前提下，并不能做到对人眼观察的“不可见”。

技术实现思路

[0004]本专利技术的目的在于提供一种基于关键区域低感知性扰动的对抗样本生成方法，生成的对抗样本更加接近真实图像，提高了对抗样本的不可感知性。
[0005]为达到上述目的，本专利技术所采用的技术方案是：
[0006]本专利技术第一方面提供了一种基于关键区域低感知性扰动的对抗样本生成方法，包括：
[0007]获取包含对抗目标的原始图像；将原始图像输入预设的对抗样本生成网络；所述对抗样本生成网络包括感知模块和生成器；
[0008]将原始图像输入至感知模块获得感知区域掩模；将原始图像输入生成器生成初始扰动；将初始扰动经过平滑滤波模块进行滤波处理后与感知区域掩模进行相乘获得最终扰动；将最终扰动与所述原始图像叠加生成初始对抗样本；
[0009]计算初始对抗样本与原始图像之间的感知损失和GAN损失；由初始对抗样本中提取多尺度特征图B、候选区域和候选区域类别，计算候选区域类别的类别损失和多尺度特征图B的特征图损失；根据感知损失、GAN损失、类别损失和特征图损失对对抗样本生成网络进行迭代优化；利用优化后的对抗样本生成网络将原始图像转化为最终对抗样本。
[0010]优选的，将原始图像输入至感知模块获得感知区域掩模的方法包括：
[0011]对原始图像提取获得多尺度特征图A，将特征图A输入至RPN网络处理，经过非极大值抑制处理获得候选区域，对候选区域进行梯度加权类激活映射计算得到候选区域的权重值，对所有候选区域的权重值进行ReLU函数处理并进行累加获得特征m，再对特征m进行归一化处理得到感知区域掩模，表达公式为：
[0012][0013][0014][0015]公式中，R＝{g1，g2，
···
，g
n
}为经过非极大值抑制处理的候选区域集合；g
i
为其中第i个候选区域；α
if
为特征图A的第f个通道对第i个候选区域的权重；y
i
是第i个候选区域的包含对抗目标的概率；表示为第i个候选区域映射到特征图A的第f个通道特征图的第j行，第k列的像素；(x
i1
,x
i2
,y
i1
,y
i2
)为第i个候选区域的位置坐标；为第i个候选区域映射到特征图A的第f个通道的特征图；M为最终生成的感知区域掩模。
[0016]优选的，将初始扰动经过平滑滤波模块进行滤波处理的方法包括：
[0017]遍历初始扰动中的所有像素点，将噪声的原始像素值替换为其周围八个相邻点的中值像素值，公式为：
[0018][0019]公式中，g(j,k)是初始扰动的第j行，第k列噪点像素值；Med函数为中位数函数，Med函数输出值为输入的中位数。
[0020]优选的，计算初始对抗样本与原始图像之间的感知损失的方法包括：
[0021]将原始图像和初始对抗样本分别输入预训练好的卷积神经网络，通过前向计算，提取原始图像和初始对抗样本的不同卷积层的特征图，对提取的每一层特征图在空间上进行平均，并在通道上进行求和操作获得原始图像和初始对抗样本之间的距离L2，所述距离L2记为感知损失L
perceptual
，表达公式为：
[0022][0023]公式为，为原始图像输入至卷积神经网络f层l通道提取的特征图维度；为
抗样本A输入至卷积神经网络f层l通道提取的特征图维度；为原始图像经过卷积神经网络f层输出的特征图的l通道的h行，w列的特征值；为初始对抗样本经过卷积神经网络f层输出的特征图的l通道的h行，w列的特征值；所述卷积神经网络采用VGG16模型，f分别取VGG16模型的conv1
‑
1层、conv2
‑
1层、conv3
‑
1层、conv4
‑
1层和conv5
‑
1层。
[0024]优选的，计算初始对抗样本与原始图像之间的GAN损失的方法包括：
[0025]L
GAN
＝logD(s)+log(1
‑
D(s+G(s)))
[0026]公式中，L
GAN
为GAN损失，D为判别器，G为生成器，s为输入的原始图像，G(s)为将原始图像输入生成器生成扰动。
[0027]优选的，计算候选区域类别的类别损失，表达公式为：
[0028][0029]公式中，L
DAG
表示为候选区域类别的类别损失，X为特征提取网络输出的特征图B，N＝{t1，t2，
···
，t
n
}为初始对抗样本中提取的候选区域中大于阈值T的候选区域集合，t
n
为初始对抗样本中提取第n个候选区域，l
n
为其真实标签，为从剩余标签中随机选取的错误标签，f(
·
)为计算候选区域类别概率的函数。
[0030]优选的，多尺度特征图B的特征图损失，表达公式为：
[0031][0032]公式中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于关键区域低感知性扰动的对抗样本生成方法，其特征在于，包括：获取包含对抗目标的原始图像；将原始图像输入预设的对抗样本生成网络；所述对抗样本生成网络包括感知模块和生成器；将原始图像输入至感知模块获得感知区域掩模；将原始图像输入生成器生成初始扰动；将初始扰动经过平滑滤波模块进行滤波处理后与感知区域掩模进行相乘获得最终扰动；将最终扰动与所述原始图像叠加生成初始对抗样本；计算初始对抗样本与原始图像之间的感知损失和GAN损失；由初始对抗样本中提取多尺度特征图B、候选区域和候选区域类别，计算候选区域类别的类别损失和多尺度特征图B的特征图损失；根据感知损失、GAN损失、类别损失和特征图损失对对抗样本生成网络进行迭代优化；利用优化后的对抗样本生成网络将原始图像转化为最终对抗样本。2.根据权利要求1所述的一种基于关键区域低感知性扰动的对抗样本生成方法，其特征在于，将原始图像输入至感知模块获得感知区域掩模的方法包括：对原始图像提取获得多尺度特征图A，将特征图A输入至RPN网络处理，经过非极大值抑制处理获得候选区域，对候选区域进行梯度加权类激活映射计算得到候选区域的权重值，对所有候选区域的权重值进行ReLU函数处理并进行累加获得特征m，再对特征m进行归一化处理得到感知区域掩模，表达公式为：处理得到感知区域掩模，表达公式为：处理得到感知区域掩模，表达公式为：公式中，R＝{g1，g2，
···
，g
n
}为经过非极大值抑制处理的候选区域集合；g
i
为其中第i个候选区域；α
if
为特征图A的第f个通道对第i个候选区域的权重；y
i
是第i个候选区域的包含对抗目标的概率；表示为第i个候选区域映射到特征图A的第f个通道特征图的第j行，第k列的像素；(x
i1
,x
i2
,y
i1
,y
i2
)为第i个候选区域的位置坐标；为第i个候选区域映射到特征图A的第f个通道的特征图；M为最终生成的感知区域掩模。3.根据权利要求1所述的一种基于关键区域低感知性扰动的对抗样本生成方法，其特征在于，将初始扰动经过平滑滤波模块进行滤波处理的方法包括：遍历初始扰动中的所有像素点，将噪声的原始像素值替换为其周围八个相邻点的中值像素值，公式为：公式中，g(j,k)是初始扰动的第j行，第k列噪点像素值；Med函数为中位数函数，Med函
数输出值为输入的中位数。4.根据权利要求1所述的一种基于关键区域低感知性扰动的对抗样本生成方法，其特征在于，计算初始对抗样本与原始图像之间的感知损失的方法包括：将原始图像和初始对抗样本分别输入预训练好的卷积神经网络，通过前向计算，提取原始图像和初始对抗样本的不同卷积层的特征图，对提取的每一层特征图在空间上进行平均，并在通道上进行求和操作获得原始图像和初始对抗样本之间的距离L2，所述距离L2记为感知损失L
perceptual
，表达公式为：公式为，为原始图像输入至卷积神经网络f层l通道提取的特征图维度；为抗样本A输入至卷积神经网络f层l通道提取的特征图维度；为原始图像经过卷积神经网络...

【专利技术属性】
技术研发人员：曹铁勇，王烨奎，付炳阳，郑云飞，方正，赵斐，申海霞，王杨，陈雷，
申请(专利权)人：中国人民解放军陆军工程大学，
类型：发明
国别省市：