图像处理方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种图像处理方法、装置、设备及存储介质，属于人工智能技术领域。该方法包括：获取原始图像，对原始图像进行特征编码处理，得到第一特征图；根据第一特征图，获取原始图像的第二特征图和第三特征图；其中，第二特征图指代待叠加到原始图像上的图像扰动，第三特征图上各个位置具有不同的特征值，各个特征值用于表征相应位置上图像特征的重要程度；根据第二特征图和第三特征图，生成噪声图像；将原始图像与噪声图像叠加，得到第一对抗样本。本申请能够生成优质的对抗样本，进而能够取得良好的攻击效果。取得良好的攻击效果。取得良好的攻击效果。

【技术实现步骤摘要】
图像处理方法、装置、设备及存储介质


[0001]本申请涉及人工智能
，特别涉及一种图像处理方法、装置、设备及存储介质。

技术介绍

[0002]利用深度学习弊端破坏图像识别模型的图像识别能力的方法被统称为对抗攻击，即图像在添加人眼难以识别的噪声后，会使得基于深度学习的图像识别模型的图像识别任务失效。换言之，对抗攻击的目标是在原始图像上添加人眼难以察觉的扰动，进而使得模型输出的识别结果与原始图像的实际分类完全不一致。其中，添加有噪声且人眼看上去与原始图像一致的图像被称为对抗样本。
[0003]相关技术采用基于搜索或优化的方法进行对抗攻击。其中，基于搜索或优化的方法在生成对抗样本时涉及多次前向运算并且计算梯度，以此在一定的搜索空间中搜索使得图像识别模型的识别任务失效的扰动，这会导致生成一个对抗样本便需要花费大量时间，对于大量图片的场景下，这种对抗攻击方式所需的时间让人难以接受，时效性差。为了解决这个问题，基于对抗生成网络的对抗生成网络的方法被提出来。然而，训练对抗生成网络有一个生成器和判别器的博弈过程，这会使得生成的扰动不稳定，进而导致攻击效果不稳定。
[0004]基于以上描述可知，目前无法取得有效的攻击效果，为此如何进行图像处理，以生成优质的对抗样本，便成为了本领域技术人员亟待解决的一个难题。

技术实现思路

[0005]本申请实施例提供了一种图像处理方法、装置、设备及存储介质，能够生成优质的对抗样本，进而能够取得良好的攻击效果。所述技术方案如下：
[0006]一方面，提供了一种图像处理方法，所述方法包括：
[0007]获取原始图像，对所述原始图像进行特征编码处理，得到第一特征图；
[0008]根据所述第一特征图，获取所述原始图像的第二特征图和第三特征图；其中，所述第二特征图指代待叠加到所述原始图像上的图像扰动，所述第三特征图上各个位置具有不同的特征值，各个特征值用于表征相应位置上图像特征的重要程度；
[0009]根据所述第二特征图和所述第三特征图，生成噪声图像；
[0010]将所述原始图像与所述噪声图像叠加，得到第一对抗样本。
[0011]另一方面，提供了一种图像处理装置，所述装置包括：
[0012]编码模块，被配置为获取原始图像，对所述原始图像进行特征编码处理，得到第一特征图；
[0013]解码模块，被配置为根据所述第一特征图，获取所述原始图像的第二特征图和第三特征图；其中，所述第二特征图指代待叠加到所述原始图像上的图像扰动，所述第三特征图上各个位置具有不同的特征值，各个特征值用于表征相应位置上图像特征的重要程度；
[0014]第一处理模块，被配置为根据所述第二特征图和所述第三特征图，生成噪声图像；
[0015]第二处理模块，被配置为将所述原始图像与所述噪声图像叠加，得到第一对抗样本。
[0016]在一些实施例中，所述编码模块，被配置为：
[0017]将所述原始图像输入对抗攻击网络的特征编码器进行特征编码处理，得到所述第一特征图，所述第一特征图的尺寸小于所述原始图像；
[0018]其中，所述特征编码器包括卷积层和残差块，所述残差块在连接顺序上位于所述卷积层之后；任意一个残差块中均包括一个恒等映射和至少两个卷积层，所述任意一个残差块的恒等映射由所述任意一个残差块的输入端指向所述任意一个残差块的输出端。
[0019]在一些实施例中，所述解码模块包括第一解码单元，所述第一解码单元，被配置为：
[0020]将所述第一特征图输入对抗攻击网络的第一特征解码器进行第一特征解码处理，得到原始噪声特征图；
[0021]对所述原始噪声特征图上各个位置的噪声特征值进行抑制处理，得到所述第二特征图，所述第二特征图的尺寸与所述原始图像的尺寸一致；
[0022]其中，所述第一特征解码器包括反卷积层和卷积层，所述卷积层在连接顺序上位于所述反卷积层之后。
[0023]在一些实施例中，所述解码模块包括第一解码单元，所述第一解码单元，被配置为：
[0024]将所述原始噪声特征图上各个位置的噪声特征值与目标阈值进行比较；
[0025]对于所述原始噪声特征图上的任意位置，响应于所述任意位置的噪声特征值大于所述目标阈值，将所述任意位置的噪声特征值替换为所述目标阈值。
[0026]在一些实施例中，所述解码模块还包括第二解码单元，所述第二解码单元，被配置为：
[0027]将所述第一特征图输入对抗攻击网络的第二特征解码器进行第二特征解码处理，得到所述原始图像的第三特征图；
[0028]对所述第三特征图上各个位置的图像特征值进行归一化处理，所述第三特征图的尺寸与所述原始图像的尺寸一致；
[0029]其中，所述第二特征解码器包括反卷积层和卷积层，所述卷积层在连接顺序上位于所述反卷积层之后。
[0030]在一些实施例中，所述对抗攻击网络还包括图像识别模型；所述装置还包括：分类模块；所述分类模块，被配置为将所述第一对抗样本输入所述图像识别模型，得到所述图像识别模型输出的图像识别结果。
[0031]在一些实施例中，所述对抗攻击网络的训练过程包括：
[0032]获取训练数据集中包括的样本图像的第二对抗样本；
[0033]将所述样本图像和所述第二对抗样本一并输入所述图像识别模型进行特征编码处理，得到所述样本图像的特征数据和所述第二对抗样本的特征数据；
[0034]基于所述样本图像的特征数据和所述第二对抗样本的特征数据，分别构建第一损失函数和第二损失函数；
[0035]获取所述样本图像的第三特征图，所述样本图像的第三特征图上各个位置具有不
同的特征值，各个特征值用于表征相应位置上图像特征的重要程度；
[0036]基于所述样本图像的第三特征图，构建第三损失函数；
[0037]基于所述第一损失函数、所述第二损失函数和所述第三损失函数进行端到端训练，得到所述对抗攻击网络。
[0038]在一些实施例中，所述对抗攻击网络的训练过程包括：
[0039]在所述样本图像的特征数据中，分离出所述样本图像的特征角度；
[0040]在所述第二对抗样本的特征数据中，分离出所述第二对抗样本的特征角度；
[0041]基于所述样本图像的特征角度和所述第二对抗样本的特征角度，构建所述第一损失函数，所述第一损失函数的优化目标是将所述样本图像与所述第二对抗样本之间的特征夹角变大。
[0042]在一些实施例中，所述对抗攻击网络的训练过程包括：
[0043]在所述样本图像的特征数据中，分离出所述样本图像的特征模值；
[0044]在所述第二对抗样本的特征数据中，分离出所述第二对抗样本的特征模值；
[0045]基于所述样本图像的特征模值和所述第二对抗样本的特征模值，构建所述第二损失函数，所述第二损失函数的优化目标是将所述样本图像与所述第二对抗样本之间的特征模值之差变小。
[0046]在一些本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取原始图像，对所述原始图像进行特征编码处理，得到第一特征图；根据所述第一特征图，获取所述原始图像的第二特征图和第三特征图；其中，所述第二特征图指代待叠加到所述原始图像上的图像扰动，所述第三特征图上各个位置具有不同的特征值，各个特征值用于表征相应位置上图像特征的重要程度；根据所述第二特征图和所述第三特征图，生成噪声图像；将所述原始图像与所述噪声图像叠加，得到第一对抗样本。2.根据权利要求1所述的方法，其特征在于，所述对所述原始图像进行特征编码处理，得到第一特征图，包括：将所述原始图像输入对抗攻击网络的特征编码器进行特征编码处理，得到所述第一特征图，所述第一特征图的尺寸小于所述原始图像；其中，所述特征编码器包括卷积层和残差块，所述残差块在连接顺序上位于所述卷积层之后；任意一个残差块中均包括一个恒等映射和至少两个卷积层，所述任意一个残差块的恒等映射由所述任意一个残差块的输入端指向所述任意一个残差块的输出端。3.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征图，获取所述原始图像的第二特征图和第三特征图，包括：将所述第一特征图输入对抗攻击网络的第一特征解码器进行第一特征解码处理，得到原始噪声特征图；对所述原始噪声特征图上各个位置的噪声特征值进行抑制处理，得到所述第二特征图，所述第二特征图的尺寸与所述原始图像的尺寸一致；其中，所述第一特征解码器包括反卷积层和卷积层，所述卷积层在连接顺序上位于所述反卷积层之后。4.根据权利要求3所述的方法，其特征在于，所述对所述原始噪声特征图上各个位置的噪声特征值进行抑制处理，包括：将所述原始噪声特征图上各个位置的噪声特征值与目标阈值进行比较；对于所述原始噪声特征图上的任意位置，响应于所述任意位置的噪声特征值大于所述目标阈值，将所述任意位置的噪声特征值替换为所述目标阈值。5.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征图，获取所述原始图像的第二特征图和第三特征图，包括：将所述第一特征图输入对抗攻击网络的第二特征解码器进行第二特征解码处理，得到所述原始图像的第三特征图；对所述第三特征图上各个位置的图像特征值进行归一化处理，所述第三特征图的尺寸与所述原始图像的尺寸一致；其中，所述第二特征解码器包括反卷积层和卷积层，所述卷积层在连接顺序上位于所述反卷积层之后。6.根据权利要求1所述的方法，其特征在于，所述根据所述第二特征图和所述第三特征图，生成噪声图像，包括：将所述第二特征图与所述第三特征图进行按位置相乘处理，得到所述噪声图像。7.根据权利要求2至6中任一项权利要求所述的方法，其特征在于，所述对抗攻击网络
还包括图像识别模型；所述方法还包括：将所述第一对抗样本输入所述图像识别模型，得到所述图像识别模型输出的图像识别结果。8.根据权利要求7所述的方法，其特征在于，所述对抗攻击网络的训练过程包括：获取训练数据集中包括的样本图像的第二对抗样本；将所述样本图像和所述第二对抗样本一并输入所述图像识别模型进行特征编码处理，得到所述样本图像的特征数据和所述第...

【专利技术属性】
技术研发人员：卢少豪，胡易，鄢科，杜俊珑，朱城，郭晓威，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：