一种抵抗JPEG压缩的对抗样本的生成方法技术

本发明专利技术公开了一种抵抗JPEG压缩的对抗样本的生成方法，其利用设计好的空间形变网络对图像形变，使得生成的对抗样本在公共信道传播时能抵抗可能的压缩；空间形变网络由定位网络和取样模块组成，定位网络由多个卷积层和池化层等组成，通过对图像进行对应空间坐标值的计算得到形变图像；将训练集中的图像块放入空间形变网络进行训练，得到形变图像块，然后将得到的形变图像块进行提取、拼接得到与原始样本相同大小的对抗样本；在测试阶段，通过对得到的对抗样本进行图像质量的评估来衡量对抗样本经过JPEG压缩后的对抗性是否下降；优点是其生成的对抗样本在公共信道上进行传播时能更好地抵抗JPEG压缩，进而保证了经过传播后的对抗样本依然具有很好的攻击性。抗样本依然具有很好的攻击性。抗样本依然具有很好的攻击性。

【技术实现步骤摘要】
一种抵抗JPEG压缩的对抗样本的生成方法


[0001]本专利技术涉及一种对抗样本生成技术，尤其是涉及一种抵抗JPEG(Joint PhotographicExperts Group，联合图像专家小组)压缩的对抗样本的生成方法，其生成的对抗样本可以更好地抵抗JPEG压缩。

技术介绍

[0002]随着社交网络等新媒体技术的飞速发展，大量图片在互联网上传播。若这些图片在信道上以原始图片的方式进行传输时，需要占用大量的传输空间和存储空间，增加相关内容服务提供商的存储成本。因此，为了解决这个问题，传输前需要对原始图片进行压缩，以减少图片传输和存储所需要的成本。传统的压缩方法可分为有损压缩和无损压缩。无损压缩是指数据经过压缩后，信息不被破坏，压缩过程完全可逆，即可以将数据恢复原样。有损压缩是指将次要的数据舍弃，牺牲一些质量来减少数据量、提高压缩比。无损压缩常用于对图像质量要求较高的应用场景；有损压缩则更适合用户规模较大的场景，如社交网络。JPEG压缩技术是图像中最常见也是最通用的有损压缩技术，其特点是可以根据不同的压缩因子，对图像进行不同强度的压缩。JPEG压缩的一般流程如图1所示，编码过程首先将RGB格式的图像转换为YCrCb格式，然后进行分块和离散余弦变换(Discrete Cosine Transform，DCT)，再对DCT系数进行量化，最后将量化后的系数进行熵编码；解码过程首先进行熵解码得到DCT系数，然后将解码后的DCT系数进行逆DCT变换，转换到像素空间，最后将得到的像素块组成图像，并由YCrCb格式转换回RGB格式，得到JPEG压缩后的图像。在JPEG压缩的流程中，量化操作是有损的，同时也是不可微的，对图像进行JPEG压缩后，由于量化的影响，因此每个8
×
8的像素块边界均会出现失真，严重影响了图像的视觉质量。
[0003]然而，评价一幅图像是否“好看”有很多种方法，传统的方法只能通过指标去静态的衡量图像的好坏，和人类的视觉无法联系在一起，因此，以人作为观测者，对图像进行主观评价，力求能够真实地反应人的视觉感知。基于深度学习的图像质量评价器相比于传统的方法能更直观地反应图像的视觉质量。以使用广泛的图像质量评价器(NIMA)为例，它在分类网络的基础上进行改造。将VGG16的最后一层用含有10个神经元的全连接层代替，其他部分的结构保持不变，然后使用数据对NIMA进行端到端的训练。由于训练集中的图片的长宽比例各不相同，因此在输入到NIMA之前会对训练集中的图片进行预处理，将图片变为256
×
256大小，随后将图片随机裁剪为224
×
224大小，最后每一张图片输入NIMA后会得到10个概率值，这10个概率值代表该图片落在1～10分中每个分数段的概率值，然后对这10个概率值进行加权平均得到该图片在NIMA中的图像质量得分。通过对NIMA进行端到端的训练，使其更加贴近人眼观察图像的好坏。
[0004]随着深度学习技术在各个领域的优异表现，深度学习模型的安全性也存在隐患。对抗样本是指在数据集中通过故意添加细微的干扰所形成的输入样本，其会导致深度学习模型以高置信度给出一个错误的输出，从而欺骗深度学习模型。对抗攻击可以分为白盒攻击和黑盒攻击，白盒攻击是指知道所攻击模型的网络结构以及参数等模型的具体信息，可
以通过梯度对模型进行攻击；黑盒攻击是指不知道所攻击模型的具体结构和参数等信息，攻击者只能通过对模型进行输入和输出的方式进行查询，然后建立替代模型，实现对模型的攻击。现有的白盒对抗样本生成方法一般分为两种：基于加性噪声的对抗样本生成方法和基于优化的对抗样本生成方法。
[0005]以最常用的FGSM(Fast Gradient Sign Method，快速梯度下降法方法)和PGD(Project Gradient Descent，投影梯度下降法)方法作为示例。FGSM方法在白盒环境下，通过求出模型对输入的导数，然后用符号函数得到其具体的梯度方向，接着乘以一个步长，得到的“扰动”加在原来的输入上就得到了在FGSM攻击下的样本。虽然利用FGSM方法生成对抗样本的速度很快，但是由于FGSM只经过一次迭代，所添加的噪声是比较大的，因此利用FGSM生成的对抗样本有着肉眼可见的噪声，视觉质量较差。PGD方法可以看作是FGSM的翻版——K
‑
FGSM(K表示迭代的次数)，大概的思路就是，FGSM是仅仅做一次迭代，走一大步，而PGD是做多次迭代，每次走一小步，每次迭代都会将扰动clip(截剪)到规定范围(即限制到0～1)内。一般来说，PGD的攻击效果比FGSM要好，但是速度相对于FGSM较慢。利用PGD方法生成的对抗样本相比利用FGSM方法生成的对抗样本噪声更小，但是噪声依旧是肉眼可见的，视觉质量有待提高。

技术实现思路

[0006]本专利技术所要解决的技术问题是提供一种抵抗JPEG压缩的对抗样本的生成方法，其生成的对抗样本在公共信道上进行传播时能够更好地抵抗JPEG压缩，进而保证了经过传播后的对抗样本依然具有很好的攻击性，且视觉质量好。
[0007]本专利技术解决上述技术问题所采用的技术方案为：一种抵抗JPEG压缩的对抗样本的生成方法，其特征在于包括训练阶段和测试阶段；
[0008]所述的训练阶段的具体过程为：
[0009]步骤1_1：选取Q张原始RGB图像；然后将每张原始RGB图像缩放成256
×
256大小的图像；再对每张256
×
256大小的图像在其中心区域内进行随机裁剪，裁剪成224
×
224大小的图像，定义为裁剪图像；接着将每张裁剪图像输入到图像质量评价器中，图像质量评价器输出每张裁剪图像的质量得分，作为对应的原始RGB图像的真实质量得分；之后将所有原始RGB图像及每张原始RGB图像的真实质量得分构成训练集；再将训练集中的每张原始RGB图像对应的裁剪图像分割成625个相互重叠的32
×
32大小的图像块；其中，Q≥1，图像块与图像块之间重叠8个像素点；
[0010]步骤1_2：构建空间形变网络：该空间形变网络包括定位网络和取样模块；
[0011]定位网络为一个卷积神经网络，其由依次连接的第一卷积块、第二卷积块、第三卷积块、第四卷积块、全连接层组成，第一卷积块由依次连接的第一卷积层、第一批归一化层、第一LeakyReLu激活函数组成，第二卷积块由依次连接的第二卷积层、第二批归一化层、第二LeakyReLu激活函数组成，第三卷积块由依次连接的第三卷积层、第三批归一化层、第三LeakyReLu激活函数、平均池化层组成，第四卷积块由依次连接的第四卷积层、第四批归一化层、第四LeakyReLu激活函数组成，第一卷积层的输入端接收一张32
×
32大小的RGB图像的三通道，第一批归一化层的输入端接收第一卷积层的输出端输出的64张15
×
15大小的特征图，第一LeakyReLu激活函数的输入端接收第一批归一化层的输出端输出的64张15...

【技术保护点】

【技术特征摘要】
1.一种抵抗JPEG压缩的对抗样本的生成方法，其特征在于包括训练阶段和测试阶段；所述的训练阶段的具体过程为：步骤1_1：选取Q张原始RGB图像；然后将每张原始RGB图像缩放成256
×
256大小的图像；再对每张256
×
256大小的图像在其中心区域内进行随机裁剪，裁剪成224
×
224大小的图像，定义为裁剪图像；接着将每张裁剪图像输入到图像质量评价器中，图像质量评价器输出每张裁剪图像的质量得分，作为对应的原始RGB图像的真实质量得分；之后将所有原始RGB图像及每张原始RGB图像的真实质量得分构成训练集；再将训练集中的每张原始RGB图像对应的裁剪图像分割成625个相互重叠的32
×
32大小的图像块；其中，Q≥1，图像块与图像块之间重叠8个像素点；步骤1_2：构建空间形变网络：该空间形变网络包括定位网络和取样模块；定位网络为一个卷积神经网络，其由依次连接的第一卷积块、第二卷积块、第三卷积块、第四卷积块、全连接层组成，第一卷积块由依次连接的第一卷积层、第一批归一化层、第一LeakyReLu激活函数组成，第二卷积块由依次连接的第二卷积层、第二批归一化层、第二LeakyReLu激活函数组成，第三卷积块由依次连接的第三卷积层、第三批归一化层、第三LeakyReLu激活函数、平均池化层组成，第四卷积块由依次连接的第四卷积层、第四批归一化层、第四LeakyReLu激活函数组成，第一卷积层的输入端接收一张32
×
32大小的RGB图像的三通道，第一批归一化层的输入端接收第一卷积层的输出端输出的64张15
×
15大小的特征图，第一LeakyReLu激活函数的输入端接收第一批归一化层的输出端输出的64张15
×
15大小的特征图，第二卷积层的输入端接收第一LeakyReLu激活函数的输出端输出的64张15
×
15大小的特征图，第二批归一化层的输入端接收第二卷积层的输出端输出的64张7
×
7大小的特征图，第二LeakyReLu激活函数的输入端接收第二批归一化层的输出端输出的64张7
×
7大小的特征图，第三卷积层的输入端接收第二LeakyReLu激活函数的输出端输出的64张7
×
7大小的特征图，第三批归一化层的输入端接收第三卷积层的输出端输出的64张3
×
3大小的特征图，第三LeakyReLu激活函数的输入端接收第三批归一化层的输出端输出的64张3
×
3大小的特征图，平均池化层的输入端接收第三LeakyReLu激活函数的输出端输出的64张3
×
3大小的特征图，第四卷积层的输入端接收平均池化层的输出端输出的64张2
×
2大小的特征图，第四批归一化层的输入端接收第四卷积层的输出端输出的6张2
×
2大小的特征图，第四LeakyReLu激活函数的输入端接收第四批归一化层的输出端输出的6张2
×
2大小的特征图，全连接层的输入端接收第四LeakyReLu激活函数的输出端输出的6张2
×
2大小的特征图，全连接层的输出端输出由6个数值构成的向量；其中，第一卷积层的输入通道数为3、输出通道数为64、卷积核的大小为5、卷积核的步长为2、填充为1，第二卷积层的输入通道数为64、输出通道数为64、卷积核的大小为5、卷积核的步长为2、填充为1，第三卷积层的输入通道数为64、输出通道数为64、卷积核的大小为5、卷积核的步长为2、填充为1，平均池化层的平均池化核的大小为2
×
2，第四卷积层的输入通道数为64、输出通道数为6、卷积核的大小为1、卷积核的步长为1、填充为0，第一LeakyReLu激活函数、第二LeakyReLu激活函数、第三LeakyReLu激活函数、第四LeakyReLu激活函数的激活参数均为0.2，全连接层的神经元个数为6；取样模块将全连接层的输出端输出的向量中的前3个数值作为第一行、后3个数值作为第二行构成一个矩阵，记为θ；然后将输入定位网络的32
×
32大小的RGB图像及对应的矩阵θ
输入到网格函数中，网格函数输出形变后的32
×
32大小的块，定义为形变块；再计算形变块中的每个像素点的像素值，对于形变块中的任一个像素点，当在输入定位网络的32
×
32大小的RGB图像中找到与该像素点的坐标位置有对应关系的坐标位置时，该像素点的像素值等于找到的坐标位置上的像素点的像素值；当在输入定位网络的32
×
32大小的RGB图像中找不到与该像素点的坐标位置有对应关系的坐标位置时，先使用双线性插值法获取该像素点的插值坐标位置，...

【专利技术属性】
技术研发人员：董理，鲁宁，严迪群，王让定，
申请(专利权)人：宁波大学，
类型：发明
国别省市：