【技术实现步骤摘要】
本专利技术涉及深度学习安全，特别涉及一种黑盒对抗样本生成方法、装置、设备及存储介质。
技术介绍
1、随着超大型数据集的兴起和计算机算力的显著增强，以深度学习为代表的人工智能技术正在经历迅猛的发展，并逐渐成熟。在计算机视觉、语音识别、自然语言处理等多个领域，这些技术取得了引人注目的成就。然而，深度学习技术本身存在对大规模数据集的高度依赖和较差的可解释性等固有特点，因此以深度学习为核心的人工智能技术面临着许多潜在的安全威胁。这些威胁涵盖了投毒攻击、后门攻击、对抗攻击、隐私攻击等多个方面。在计算机视觉领域中主要焦点聚焦的对抗攻击问题上。对抗攻击(adversarial attacks)是人工智能安全领域的一个概念，特别在计算机视觉领域备受关注。这种攻击是指攻击者有意对输入图像进行微小、几乎不可察觉的修改，旨在欺骗计算机视觉模型，如分类或目标检测模型，以导致模型做出错误的决策或预测。这些微小的修改通常被称为对抗扰动(adversarial perturbations)，而添加了对抗扰动的输入图像通常被称为对抗样本或对抗性示例(adversarial examples)。相对于图像分类模型，目标检测模型更为复杂且攻击难度更大。此外，根据攻击者对受害者模型信息的掌握程度不同，可将对抗攻击分为白盒攻击(white-box attacks)和黑盒攻击(black-box attacks)。黑盒攻击可进一步分为基于查询的黑盒攻击和基于迁移的黑盒攻击。白盒攻击指攻击者能够获取受害者模型的全部信息，包括模型架构、内部参数等，从而构造对抗样本并实施攻击
2、目前，针对目标检测的白盒对抗攻击算法已经十分丰富，例如dag(denseadversary generation)、uea(unified and efficient attacks)等。然而，针对目标检测的黑盒对抗攻击算法的研究工作目前还十分匮乏。主要原因是：1)目标检测任务的运行机制十分复杂，且不同模型之间的架构差异十分显著，因此难以设计出一个模型依赖性弱的通用算法；2)已有基于查询的黑盒目标检测对抗攻击算法查询的次数过多，造成资源以及时间花费较高；3)现有的目标检测黑盒对抗攻击算法都是针对分类部分的工作，针对回归部分的研究工作还是一片空白。因此，如何实现对目标检测的回归部分进行攻击是目前亟待解决的问题。
技术实现思路
1、有鉴于此，本专利技术的目的在于提供一种黑盒对抗样本生成方法、装置、设备及存储介质，能够实现对黑盒目标检测模型中的定位部分进行可控的攻击，同时将对抗扰动的覆盖区域限制在有效攻击的区域，从而一方面提高了攻击的隐蔽性，另一方面提高了攻击的有效占比区域使得攻击的效率提高。其具体方案如下：
2、第一方面，本申请公开了一种黑盒对抗样本生成方法，包括：
3、利用预先获取的数据集对初始目标检测模型进行训练，并将相应的训练好的目标检测模型确定为黑盒目标检测模型；
4、将目标图像输入所述黑盒目标检测模型中，获取若干个预测结果，基于所述预测结果以及预设热图生成算法生成热图；
5、基于所述热图生成目标掩码，利用目标技术生成对抗扰动，并利用所述目标掩码限制所述对抗扰动的扰动区域，根据相应的限制后对抗扰动确定对抗样本。
6、可选的，所述预测结果包括所述目标图像中的目标类别置信度和边界框。
7、可选的，所述基于所述预测结果以及预设热图生成算法生成热图，包括：
8、基于所述目标图像中的目标类别置信度和边界框相对应的各属性以及预设热图生成算法生成热图。
9、可选的，所述基于所述目标图像中的目标类别置信度和边界框相对应的各属性以及预设热图生成算法生成热图，包括：
10、利用蒙特卡洛采样生成n个第一掩码，利用所述第一掩码对所述目标图像的部分区域进行掩码处理；
11、按照以下公式对所述目标图像中目标位置的所述热图进行计算：
12、
13、w＝max(bottom·score·iou)；
14、
15、其中，mi表示所述第一掩码，且i∈[0，n]，λ为所述目标图像中任意一个像素的所述目标位置，⊙表示点乘，mi(λ)表示第i个掩码m上的目标位置λ的值，i为所述目标图像，score是当前进行所述预设热图生成算法过程中候选框的类别置信度，iou是所述候选框与所述预测结果对应的原始预测框的交并比，bottom用于判断当前候选框是否相较于所述原始预测框保持不变，a为任一所述边界框的第一目标边界的属性值，b为任一所述边界框的第二目标边界的属性值，ya为经过所述掩码处理后预测得到的候选框中与所述第一目标边界对应的属性值，θ为预设阈值。
16、可选的，所述基于所述热图生成目标掩码，包括：
17、按照以下公式生成所述目标掩码：
18、idx＝index(h(p))
19、m(p)＝mask(0，idx)；
20、其中，index(x)用于找出所述热图h(p)对应的向量x中所有值不为0的目标点，并将所述目标点的索引记录为idx，为元素值全为0的向量，mask(x，key)为将向量x中对应索引key的值修改为1的操作，为所述目标掩码。
21、可选的，所述目标技术包括掩盖像素法、随机噪声法和快速梯度符号法其中的任意一种或几种的组合。
22、可选的，所述利用所述目标掩码限制所述对抗扰动的扰动区域，根据相应的限制后对抗扰动确定对抗样本，包括：
23、将所述目标掩码与所述对抗扰动相乘，以限制所述对抗扰动的扰动区域，得到相应的乘积结果；其中，所述乘积结果为限制后对抗扰动；
24、基于所述限制后对抗扰动对应的像素值与所述对抗扰动对应的像素值之间的相加结果确定所述对抗样本。
25、第二方面，本申请公开了一种黑盒对抗样本生成装置，包括：
26、模型确定模块，用于利用预先获取的数据集对初始目标检测模型进行训练，并将相应的训练好的目标检测模型确定为黑盒目标检测模型；
27、热图生成模块，用于将目标图像输入所述黑盒目标检测模型中，获取若干个预测结果，基于所述预测结果以及预设热图生成算法生成热图；
28、对抗样本生成模块，用于基于所述热图生成目标掩码，利用目标技术生成对抗扰动，并利用所述目标掩码限制所述对抗扰动的扰动区域，根据相应的限制后对抗扰动确定对抗样本。
本文档来自技高网...
【技术保护点】
1.一种黑盒对抗样本生成方法，其特征在于，包括：
2.根据权利要求1中所述的黑盒对抗样本生成方法，其特征在于，所述预测结果包括所述目标图像中的目标类别置信度和边界框。
3.根据权利要求2中所述的黑盒对抗样本生成方法，其特征在于，所述基于所述预测结果以及预设热图生成算法生成热图，包括：
4.根据权利要求3中所述的黑盒对抗样本生成方法，其特征在于，所述基于所述目标图像中的目标类别置信度和边界框相对应的各属性以及预设热图生成算法生成热图，包括：
5.根据权利要求1中所述的黑盒对抗样本生成方法，其特征在于，所述基于所述热图生成目标掩码，包括：
6.根据权利要求1至5任一项中所述的黑盒对抗样本生成方法，其特征在于，所述目标技术包括掩盖像素法、随机噪声法和快速梯度符号法其中的任意一种或几种的组合。
7.根据权利要求1中所述的黑盒对抗样本生成方法，其特征在于，所述利用所述目标掩码限制所述对抗扰动的扰动区域，根据相应的限制后对抗扰动确定对抗样本，包括：
8.一种黑盒对抗样本生成装置，其特征在于，包括：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。