图片对抗样本生成方法和图片分类系统测试方法技术方案

本公开涉及一种图片对抗样本生成方法和图片分类系统测试方法。所述图片对抗样本生成方法包括：对图片样本中的图片块进行掩码以获取掩码图片样本；将掩码图片样本送入图片分类模型以求取预测分类损失值；调整图片样本，以使得从经调整图片样本获取的经调整掩码图片样本的预测分类损失值增大；以及重复所述图片样本调整过程，直至预定终止条件，以获取所述图片对抗样本。本发明专利技术通过将掩码图片送入模型来制作对抗样本，能够在掩码部分破坏图片整体性的情况下使得针对图片的调整集中在图片中目标的底层特征，由此提升对抗样本攻击不同模型的泛化能力，从而进一步提升各个模型防御对抗攻击的能力，提升模型的安全性。提升模型的安全性。提升模型的安全性。

【技术实现步骤摘要】
图片对抗样本生成方法和图片分类系统测试方法


[0001]本公开涉及深度学习领域，尤其涉及一种图片对抗样本生成方法和图片分类系统测试方法。

技术介绍

[0002]近年来，深度神经网络业已取得重大进展，成为诸多行业的核心技术。但许多研究表明，深度神经网络对于对抗攻击十分脆弱。具体来说，对抗性攻击可以通过使用在普通样本上增加轻微的精心设计的敌对噪声而制作的对抗样本来欺骗深度神经网络，使得深度神经网络产生推测错误。深度神经网络的脆弱性成为其部署在例如自动驾驶、医疗等高安全性要求的场景的主要约束。由于对抗攻击能够暴露深度神经网络的盲点，因此开发有效的对抗攻击已成为深度学习安全领域的一项基本任务。
[0003]由此，需要更为有效的对抗攻击方案。

技术实现思路

[0004]本公开要解决的一个技术问题是提供一种对抗样本生成方案，该方案通过将掩码图片送入模型来制作对抗样本，能够在掩码部分破坏图片整体性的情况下使得针对图片的调整集中在图片中目标的底层特征，由此提升对抗样本攻击不同模型的泛化能力，从而进一步提升各个模型防御对抗攻击的能力，提升模型的安全性。
[0005]根据本公开的第一个方面，提供了一种图片对抗样本生成方法，包括：对图片样本中的图片块进行掩码以获取掩码图片样本；将掩码图片样本送入图片分类模型以求取预测分类损失值；调整图片样本，以使得从经调整图片样本获取的经调整掩码图片样本的预测分类损失值增大；以及重复所述图片样本调整过程，直至预定终止条件，以获取所述图片对抗样本。
[0006]可选地，对图片样本中的图片块进行掩码以获取掩码图片样本包括：将所述图片样本划分成多个互不重叠的图片块；以及以掩码多个图片块中的一个图片块的形式获取一个掩码图片样本。
[0007]可选地，对图片样本中的图片块进行掩码以获取掩码图片样本包括：获取各自掩码不同图片块的多个掩码图片样本，并且将掩码图片样本送入图片分类模型以求取预测分类损失值包括：将所述多个掩码图片样本送入图片分类模型以求取所述多个掩码图片样本中每个掩码图片样本的损失值；将每个掩码图片样本的损失值求和，作为所述预测分类损失值。
[0008]可选地，将所述图片样本划分成多个互不重叠的图片块包括：将所述图片样本划分成M个互不重叠且大小相等的图片块，其中，M的取值在9
‑
50之间。
[0009]可选地，调整图片样本包括：在预定的像素变化范围内调整所述图片样本。
[0010]可选地，所述预定终止条件包括如下至少一项：基于所述预测分类损失值的图片样本重复调整达到预定次数；所述预测分类损失值达到预定阈值；以及所述图片分类模型
对经调整的图片样本分类错误。
[0011]可选地，所述图片分类模型包括：经训练的卷积神经网络图片分类模型。
[0012]根据本公开的第二个方面，提供了一种图片分类系统测试方法，包括：将根据第一方面所述获取的所述图片对抗样本送入待测试的图片分类系统；以及根据所述待测试的图片分类系统针对上述图片对抗样本的分类结果，判定所述待测试的图片分类系统的对抗攻击鲁棒性，其中，所述待测试的图片分类系统包括不同于调整所述图片样本时使用的图片分类模型的其他经训练的图片分类模型。
[0013]据本公开的第三个方面，提供了一种算设备，包括：处理器；以及存储器，其上存储有可执行代码，当可执行代码被处理器执行时，使处理器执行如上述第一或第二方面所述的方法。
[0014]根据本公开的第四个方面，提供了一种非暂时性机器可读存储介质，其上存储有可执行代码，当可执行代码被电子设备的处理器执行时，使处理器执行如上述第一或第二方面所述的方法。
[0015]由此，本专利技术提出了一种提高生成的对抗样本的迁移性的简单易性的方案。通过将图片分割成若干个不重叠的区域，通过依次遮盖不同的、小的区域生成多张图片同时喂入模型中制作对抗样本，使得由此获取的对抗样本有着更强的泛化特性。可以使用上述对抗样本来改善深度学习模型鲁棒性评测工具，从而在黑盒场景下更准确评估模型的安全性、可用性。
附图说明
[0016]通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。
[0017]图1示出了构造对抗样本进行对抗性攻击的一个例子。
[0018]图2示出了根据本专利技术一个实施例的图片对抗样本生成方法的示意性流程图。
[0019]图3示出了构造掩码图片样本的一个例子。
[0020]图4示出了图2所示图片对抗样本生成方法的迭代表示。
[0021]图5则示出了根据本专利技术的MaskBlock方法的示意图。
[0022]图6示出了根据本专利技术一个实施例可用于实现上述图片对抗样本生成方法和/或图片分类系统测试方法的计算设备的结构示意图。
具体实施方式
[0023]下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
[0024]神经网络是一种数学计算模型，具有强大的数据拟合能力，被广泛运用在计算机视觉、自然语言处理等领域。对抗性攻击是一种专门针对神经网络的攻击，可以通过使用对抗样本来欺骗深度神经网络，使得深度神经网络产生推测错误，例如，使得神经网络所接分
类器输出错误的分类。在此，“对抗样本”指代在普通样本上增加轻微的精心设计的敌对噪声制作而成的样本。对抗样本往往人眼看上去与原始样本并无差别，但确会导致神经网络分类错误。
[0025]图1示出了构造对抗样本进行对抗性攻击的一个例子。如图所示，左侧的原始熊猫图片输入某一经训练的图片分类模型之后，模型以过半的置信度推测该图片中包括熊猫。但该图片在由攻击者入施加一些微小的特制噪声生成对抗样本后，可以得到右侧的图片。右侧的图片(即，原始图片加入特制微小噪声后得到的对抗样本)在人眼看来还是熊猫图片，并且左右两种图片人眼无法区分，但神经网络对该对抗样本会产生意料之外的输出，例如，以极高的置信度推测该图片中包括的是长臂猿。
[0026]深度神经网络对对抗性攻击的脆弱性成为其部署在例如自动驾驶、医疗等高安全性要求的场景的主要约束。由于对抗攻击能够暴露深度神经网络的盲点，因此开发有效的对抗攻击已成为深度学习安全领域的一项基本任务。
[0027]对抗性攻击的分类有很多种。从攻击环境来说，可将对抗性攻击分为黑盒攻击和白盒攻击。黑盒攻击指攻击者对攻击的模型的内部结构、训练参数、防御方法(如果加入了防御手段的话)等等一无所知，只能通过输入输出与模型进行交互，并由此构造对抗样本。与黑盒模型相反，白盒攻击指攻击者掌握攻击模型的一切信息。
[0028]尽管在过去几年中，许多有效的白盒攻击方法被提出，但是允本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图片对抗样本生成方法，包括：对图片样本中的图片块进行掩码以获取掩码图片样本；将掩码图片样本送入图片分类模型以求取预测分类损失值；调整图片样本，以使得从经调整图片样本获取的经调整掩码图片样本的预测分类损失值增大；以及重复所述图片样本调整过程，直至预定终止条件，以获取所述图片对抗样本。2.如权利要求1所述的方法，其中，对图片样本中的图片块进行掩码以获取掩码图片样本包括：将所述图片样本划分成多个互不重叠的图片块；以及以掩码所述图片样本中的一个图片块的形式获取一个掩码图片样本。3.如权利要求2所述的方法，其中，对图片样本中的图片块进行掩码以获取掩码图片样本包括：获取各自掩码不同图片块的多个掩码图片样本，并且将掩码图片样本送入图片分类模型以求取预测分类损失值包括：将所述多个掩码图片样本送入图片分类模型以求取所述多个掩码图片样本中每个掩码图片样本的损失值；将每个掩码图片样本的损失值求和，作为所述预测分类损失值。4.如权利要求2所述的方法，其中，将所述图片样本划分成多个互不重叠的图片块包括：将所述图片样本划分成M个互不重叠且大小相等的图片块，其中，M的取值在9
‑
50之间。5.如权利要求1所述的方法，其中，调整图片样本包括：在预定...

【专利技术属性】
技术研发人员：周文猛，范洺源，
申请(专利权)人：阿里云计算有限公司，
类型：发明
国别省市：