【技术实现步骤摘要】
本专利技术涉及图像去噪，尤其涉及一种基于条件扩散模型的对抗样本净化方法。
技术介绍
1、对抗攻击指的是通过向输入数据中添加精心设计的微小扰动，使深度学习模型产生错误的一种技术。随着对抗性攻击问题的发展，各种防御机制也应运而生，主要的防御方法有：对抗性训练、梯度遮蔽、对抗样本检测、对抗性净化等。
2、其中，对抗性训练可以提高模型对对抗样本的鲁棒性，然而大多数对抗性训练方法只能防御训练的特定攻击，同时它的计算复杂度通常高于标准训练。梯度掩蔽方法本质上提供的是一种伪安全性，难以抵御更强大复杂的攻击，并可能导致模型的正常优化和性能受损。对抗样本检测依赖于对抗样本和正常样本在输入空间或特征空间上的统计差异，虽然它在一定程度上可以提升模型的安全性，但难以适应不断变化的对抗攻击策略。对抗性净化方法依靠生成模型在分类前净化对抗性扰动图像，通过对攻击模式进行过滤，能够在去除对抗性扰动的同时保留其原始特征。目前有使用gan(generative adversarialnetworks，生成对抗网络)等生成模型用于对抗净化的方法、diffpure(diffusion modelsfor adversarial purification，扩散模型作对抗净化)方法、diffdefence(defendingagainst adversarial attacks via diffusion models，扩散模型作对抗防御)方法。然而对于使用gan等生成模型用于对抗净化的方法，受到gan中的模式崩溃等缺点限制，它们的性能通常落后于当前的对抗性训
3、对于diffpure方法，存在以下问题：（1）计算开销大：diffpure方法依赖于扩散模型进行前向和反向的随机微分方程求解。前向过程需要逐步添加噪声，反向过程则需要逐步去噪以恢复干净的图像，两个过程需要大量的计算资源，尤其是针对高维数据或大规模数据集。（2）图像语义不稳定性：方法选择逆随机微分方程的求解进行去噪，在实际过程中，数值求解sde可能会导致不稳定性，尤其是在多个时间步长和复杂扰动下，这种不稳定性可能会导致纯化后的图像语义不精准。（3）对扩散时间步长和噪声水平的敏感性：diffpure方法的净化效果依赖于前向扩散过程的时间步长和添加噪声的程度。不同的对抗样本可能需要不同的时间步长和噪声水平来达到最佳净化效果，这需要大量的调参和实验，增加了方法应用的复杂性和难度。
4、对于diffdefence方法，存在以下问题：（1）计算成本高：diffdefence方法需要经过多次优化迭代，每次迭代涉及多个扩散时间步，且每个对抗样本均需重复优化过程，这导致了巨大的计算成本和时间开销，且在需快速响应的场景下整体优化效率较低，使得方法在实时或大规模应用中不切实际。（2）鲁棒性不够：虽然作者假设对抗样本与原始图像在高维空间中相邻，并通过去噪扩散将对抗样本拉回到原始图像附近，但在实际应用中，对抗性攻击的多样性和复杂性可能会导致模型无法充分处理某些类型的攻击，尤其是那些与原始图像语义距离更远的攻击。同时，某些对抗性攻击可能不完全遵循假设模式，使得该防御方法不完全适用于所有类型的攻击场景，影响了方法的普适性。
技术实现思路
1、本专利技术的目的就在于提供一种解决上述问题，能提高计算效率、鲁棒性与稳定性、更好地保留原始图像的语义和视觉特征、以及抵御自适应攻击的一种基于条件扩散模型的对抗样本净化方法。
2、为了实现上述目的，本专利技术采用的技术方案是这样的：一种基于条件扩散模型的对抗样本净化方法，包括以下步骤；
3、s1，获取包含干净样本的干净样本数据集；
4、s2，用白盒攻击算法攻击分类模型，对每个干净样本生成一对抗样本；
5、s3，将干净样本xclean和对抗样本xadv一一配对，形成训练数据集d，d=(xclean,xadv)；
6、s4，获取一预训练的stable diffusion模型，包括自编码器、多模态编码器和unet神经网络，所述自编码器包括编码器和解码器，所述多模态编码器为clip模型的图像编码器，所述unet神经网络包括交叉注意力层；
7、s5，设计微调过程和微调损失函数；
8、所述自编码器的编码器用于对xclean生成低维潜在表示z0，并经正向扩散过程逐步添加随机噪声形成各时间步的潜在表示，第t个时间步的潜在表示为zt，随机噪声从标准高斯分布n(0,i)中随机采样获得；
9、所述图像编码器用于对xadv编码得到对抗样本编码τ(xadv)；
10、所述unet神经网络用于将τ(xadv)作为条件信息引入交叉注意力层，并经反向扩散过程逐步预测噪声并去噪，其中第t个时间步的预测噪声为，θ为unet神经网络的网络参数；
11、所述微调损失函数l根据下式计算；
12、，
13、式中，为l2范数的平方，表示对样本对、预测噪声和时间步的期望；
14、s6，预设迭代轮次和批次大小，用训练数据集d微调stable diffusion模型，每批次计算一微调损失函数值，并反向传播调整交叉注意力层的网络参数，直至达到迭代轮次，得到微调后条件扩散模型；
15、s7，对抗样本净化；
16、随机采样一高斯噪声，将待净化对抗样本作为条件信息，输入stablediffusion模型，由unet神经网络经反向扩散过程从高斯噪声逐步去噪，得到预测低维潜在表示，再经自编码器的解码器解码得到预测干净图像。
17、作为优选：所述干净样本数据集包括cifar-10数据集、cifar-100数据集、和/或imagenet数据集。
18、作为优选：所述白盒攻击算法包括pgd方法、fgsm方法和mim方法，所述分类模型为vgg-13模型、vgg-16模型、resnet-18模型、resnet50模型、mobilenet-v2模型、inception-v3模型、convnext模型和swin-b模型。
19、作为优选：所述交叉注意力层根据下式生成查询向量q、键向量k和值向量v，将unet神经网络中所有交叉注意力层按顺序编号，第i个交叉注意力层的输出根据下式得到；
20、，
21、，
22、，
23、，
24、式中，、、分别为q、k、v对应的可学习权重矩阵，为unet神经网络中输入交叉注意力层的中间表示，为softmax函数，g为转置操作，d为向量维度。
25、作为优选：s5中，第t个时间步的潜在表示zt根据下式得到；
26、，
27、，
28、式中，为第t个时间步的方差，为噪声强度控制参数。
29、本专利技术的思路为，将干净样本和对抗样本构成样本对一起送入预训练的stablediffusion模型中，将对抗样本作为条件信息，干净样本作为目标输出，通过监督学习对模型stable diff本文档来自技高网...
【技术保护点】
1.一种基于条件扩散模型的对抗样本净化方法，其特征在于：包括以下步骤；
2.根据权利要求1所述的一种基于条件扩散模型的对抗样本净化方法，其特征在于：所述干净样本数据集包括CIFAR-10数据集、CIFAR-100数据集、和/或ImageNet数据集。
3.根据权利要求1所述的一种基于条件扩散模型的对抗样本净化方法，其特征在于：所述白盒攻击算法包括PGD方法、FGSM方法和MIM方法，所述分类模型为VGG-13模型、VGG-16模型、ResNet-18模型、ResNet50模型、MobileNet-v2模型、Inception-v3模型、ConvNeXt模型和Swin-B模型。
4.根据权利要求1所述的一种基于条件扩散模型的对抗样本净化方法，其特征在于：所述交叉注意力层根据下式生成查询向量Q、键向量K和值向量V，将Unet神经网络中所有交叉注意力层按顺序编号，第i个交叉注意力层的输出根据下式得到；
5.根据权利要求1所述的一种基于条件扩散模型的对抗样本净化方法，其特征在于：S5中，第t个时间步的潜在表示zt根据下式得到；
【技术特征摘要】
1.一种基于条件扩散模型的对抗样本净化方法，其特征在于：包括以下步骤；
2.根据权利要求1所述的一种基于条件扩散模型的对抗样本净化方法，其特征在于：所述干净样本数据集包括cifar-10数据集、cifar-100数据集、和/或imagenet数据集。
3.根据权利要求1所述的一种基于条件扩散模型的对抗样本净化方法，其特征在于：所述白盒攻击算法包括pgd方法、fgsm方法和mim方法，所述分类模型为vgg-13模型、vgg-16模型、resnet-18模型、res...
【专利技术属性】
技术研发人员：邓建华，
申请(专利权)人：上海成电福智科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。