【技术实现步骤摘要】
本专利技术属于图像分类的对抗攻击领域，尤其涉及一种基于扩散模型的对抗攻击方法。
技术介绍
1、深度学习技术在近年内取得了显著的进步，深度神经网络也逐渐成为计算机视觉领域所使用的首选技术。然而深度学习模型存在对抗性，研究表明在图像上添加人类难以察觉的扰动，即可导致最前沿的深度学习模型输出高置信度的错误结果。在一些安全性要求高的领域，如自动驾驶人脸识别，军事安防和通用人工智能等领域。对抗样本的存在揭示了模型的潜在风险，也阻碍了这些技术的实际应用。图像中的对抗攻击旨在研究更先进的对抗攻击方法，目的是生成难以察觉的对抗样本，以此来误导深度神经网络。这些对抗样本不仅有助于评估模型的脆弱性，且有助于构建更加稳健的模型。因此，研究难以察觉的对抗攻击技术，对验证模型安全性和提升其鲁棒性都具有重要意义。
技术实现思路
1、针对现有技术中的上述不足，本专利技术提供的一种基于扩散模型的对抗攻击方法，解决了现有方法无法兼顾对抗样本视觉质量、迁移能力以及防御模型上的攻击性能的问题。
2、为了达到上述专利技术目的，本专利技术采用的技术方案为：一种基于扩散模型的对抗攻击方法，包括以下步骤：
3、s1、获取文本，并使用多模态目标检测模型预测图像中文本对应的检测框；
4、s2、使用分割大模型预测检测框对应的遮罩，并整合遮罩集合得到对抗攻击的目标区域；
5、s3、获取图像，并利用稳定扩散模型将图像映射至图像对应的潜在空间中，并保存每一步的潜在向量；
6、s4
7、本专利技术的有益效果为：通过一种基于扩散模型的对抗攻击方法，利用稳定扩散模型的先验知识、注意力机制以及区域控制来优化对抗样本的视觉质量和黑盒迁移能力；因为对抗攻击添加的扰动难以察觉，所以能够帮助构建更加具有鲁棒性的防御模型，具有较高的实用价值。
8、进一步地，所述s1包括以下步骤：
9、s101、获取需要实施对抗攻击的图像和图像对应的文本标签；
10、s102、使用多模态目标检测模型获取文本标签对应的检测框，并保留大于预设阈值的检测框。
11、上述进一步方案有益效果为：本专利技术使用多模态目标检测模型能够将基于开放集的文本作为输入，便捷高效地预测文本对应的检测框。
12、再进一步地，所述s2包括以下步骤：
13、s201、整理图像和s1中得到的检测框，并对齐图像与检测框的位置和大小；
14、s202、根据经s201处理后的图像和检测框，利用分割大模型输出预测的遮罩集合；
15、s203、整合遮罩集合，合并为单张遮罩，并将单张遮罩作为对抗攻击的目标区域。
16、上述进一步方案有益效果为：本专利技术利用分割大模型能够根据文本获得的检测框，预测对应的遮罩，组合遮罩作为对抗攻击区域，利用遮罩，提升对抗攻击生成的对抗样本与原始图像的结构相似度。
17、再进一步地，所述s3包括以下步骤：
18、s301、对稳定扩散模型进行预训练；
19、s302、获取图像，利用经预训练的稳定扩散模型的编码器，将图像映射至图像对应的潜在空间中进行正向扩散加噪处理，并保留中间每一步潜在向量。
20、再进一步地，所述正向扩散加噪的公式如下：
21、
22、其中，表示参数化为的确定性反转采样过程，xt表示时间步长t的潜在向量，x0表示原始图像经过编码器输出的潜在向量；
23、上述进一步方案有益效果为：本专利技术将扩散过程引入对抗攻击中，能够利用稳定扩散模型中的先验知识，在潜在空间中添加扰动能够给对抗攻击带来更大的攻击空间。保留中间每一步潜在向量，用于后续优化过程中控制扰动图像的细节结构。经过逆扩散过程再解码能够改变图像的语义信息，提升对抗样本的迁移能力。
24、再进一步地，所述s4包括以下步骤：
25、s401、迭代对抗攻击，并通过在逆向扩散去噪过程中对潜在空间添加扰动；
26、s402、设置结构损失函数；
27、s403、设置迁移损失函数；
28、s404、设置分类器损失函数；
29、s405、构建目标函数，使用结构损失函数的权重、迁移损失函数的权重以及分类器损失函数的权重，联合优化结构损失函数、迁移损失函数以及分类器损失函数，利用经预训练的稳定扩散模型的解码器对目标函数得到的潜在向量进行解码生成对抗样本，完成基于扩散模型的对抗攻击。
30、上述进一步方案有益效果为：本专利技术通过在逆向去噪过程中对潜在空间添加扰动，设置了结构损失函数提升对抗样本的细节相似性，迁移损失函数提升对抗样本的迁移能力以及分类器损失函数提升对抗样本的对抗性，最终联合优化结构损失函数、迁移损失函数以及分类器损失函数，利用将扩散过程和区域选择引入对抗攻击的策略，生成出视觉质量良好且拥有高迁移能力的对抗样本，并在防御模型上实现更高的愚弄率。
31、再进一步地，所述结构损失函数公式如下：
32、l1＝mse(st',st)
33、其中，l1表示结构损失函数，mse(·)表示均方误差，st'表示扰动后潜在向量的自注意力矩阵，st表示对应st'时间步数未扰动的潜在向量自注意力矩阵；
34、所述迁移损失函数公式如下：
35、
36、其中，l2表示迁移损失函数，var(·)表示计算方差，n表示总共进行的逆向扩散次数，xt表示逆向扩散中第t步的潜在向量，cross(·)表示逆向重建过程中累积的交叉注意力，p表示图像对应的文本提示，sdm表示稳定扩散模型；
37、所述分类器损失函数的公式如下：
38、
39、其中，l3表示分类器损失函数，j(·)表示交叉熵损失，x表示输入的原始图像，x′表示经过对抗攻击模型生成的扰动图像，m表示对抗攻击的目标区域，y表示标签类别；
40、所述目标函数公式如下：
41、
42、其中，xt表示实施攻击的潜在向量，argmin(·)表示取得函数达到最小值时的参数值，l表示目标函数，l1表示结构损失函数，l2表示迁移损失函数，l3表示分类器损失函数，a表示结构损失函数的权重，b表示迁移损失函数的权重，c表示分类器损失函数的权重。
本文档来自技高网...【技术保护点】
1.一种基于扩散模型的对抗攻击方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于扩散模型的对抗攻击方法，其特征在于，所述S1包括以下步骤：
3.根据权利要求1所述的基于扩散模型的对抗攻击方法，其特征在于，所述S2包括以下步骤：
4.根据权利要求1所述的基于扩散模型的对抗攻击方法，其特征在于，所述S3包括以下步骤：
5.根据权利要求4所述的基于扩散模型的对抗攻击方法，其特征在于，所述正向扩散加噪的公式如下：
6.根据权利要求1所述的基于扩散模型的对抗攻击方法，其特征在于，所述S4包括以下步骤：
7.根据权利要求6所述的基于扩散模型的对抗攻击方法，其特征在于，所述结构损失函数公式如下：
【技术特征摘要】
1.一种基于扩散模型的对抗攻击方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于扩散模型的对抗攻击方法，其特征在于，所述s1包括以下步骤：
3.根据权利要求1所述的基于扩散模型的对抗攻击方法，其特征在于，所述s2包括以下步骤：
4.根据权利要求1所述的基于扩散模型的对抗攻击方法，其特征在...
【专利技术属性】
技术研发人员：滕飞，肖致明，何占元，周俊，孙云旭，王尚广，张邵淇，
申请(专利权)人：西南交通大学唐山研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。