【技术实现步骤摘要】
本专利技术属于人工智能安全领域，具体涉及一种基于扩散模型的可定制物理对抗补丁生成方法。
技术介绍
1、随着深度学习的迅猛发展，基于深度学习的目标检测器在现实生活中广泛应用，包括无人驾驶、医疗诊断等领域，都与我们自身的安全息息相关。不幸的是，最近许多工作都已经证明深度神经网络非常容易被一些恶意设计的对抗样本干扰，从而做出违背常识的判断，这对相关应用造成了巨大的威胁。
2、对视觉领域而言，对抗性攻击可分为两个不同的类别：数字对抗攻击和物理对抗攻击。与在数字空间中加入微小扰动的数字攻击不同，物理对抗攻击是在现实世界中进行的，其目标是通过改变物理物体的外观或位置来误导视觉系统。这种攻击可以通过多种方式实现，例如在物体表面粘贴特定的贴图、改变环境的光照、或添加干扰元素。相比于数字攻击，物理对抗攻击在实际操作中面临更多的限制和挑战，因为它们必须在现实世界中有效。例如，攻击者可能需要考虑光照条件、观察角度、物体移动等因素，以确保攻击的稳定性和持续性。
3、在大部分以往的物理对抗补丁的研究中，比如advyolo方法[1]和t-sea方法[2]，主要都是以提升补丁的攻击性能为主，这意味着需要在生成的补丁中加入更强的扰动，导致补丁很大程度地背离了自然图像的分布，变得十分违和，虽然几乎所有的补丁生成方法中都引入了tv损失来使补丁更加平滑，但这仍然解决不了补丁突兀的根本问题，他们还是十分容易被人们识别出来。随着图像生成领域的发展，一些基于深度图像生成器的自然补丁的生成方法应运而生,以naturalistic adversaria
4、[1]thys,s.；van ranst,w.；and goedem′e,t.2019.fooling au-tomatedsurveillance cameras:adversarial patches to attackperson detection.in cvprw,0-0.
5、[2]huang,h.；chen,z.；chen,h.；wang,y.；and zhang,k.2023.t-sea:transfer-based self-ensemble attack on objectdetection.in cvpr,20514-20523.
6、[3]hu,y.-c.-t.；kung,b.-h.；tan,d.s.；chen,j.-c.；hua,k.-l.；and cheng,w.-h.2021.naturalistic physical adversarial patch for object detectors.in cvpr,7848-7857.
技术实现思路
1、本专利技术是为了解决上述问题而进行的，目的在于提供一种基于扩散模型的可定制物理对抗补丁生成方法。
2、本专利技术提供了一种基于扩散模型的可定制物理对抗补丁生成方法，具有这样的特征，包括以下步骤：s10，生成参考图像的文本描述；s20，对参考图像的非主体区域做基于目标掩码的背景替换；s30，将参考图像与中间时间步的隐向量做基于空文本逆转的完美映射，得到起始噪声隐向量xt/2；s40，将隐向量xt/2通过ddim采样，在文本描述的引导下得到对抗补丁；s50，将数据集的人物图像填充后缩放成同一尺寸，随后将对抗补丁应用于人物图像中的人物衣服表面，得到训练数据集；s60，利用检测模型检测训练数据集，得到预测结果；s70，检测预测结果的损失，从而更新隐向量xt/2；s80，重复步骤s40～步骤s70直至迭代结束，输出最终的对抗补丁。
3、在本专利技术提供的基于扩散模型的可定制物理对抗补丁生成方法中，还可以具有这样的特征：其中，步骤s10中，利用blip模型生成文本描述。
4、在本专利技术提供的基于扩散模型的可定制物理对抗补丁生成方法中，还可以具有这样的特征：其中，步骤s20中，背景替换的公式为：上式中，为参考图像；m为目标掩码；s为纯色背景，用于替换原有背景；为得到的新图像。
5、在本专利技术提供的基于扩散模型的可定制物理对抗补丁生成方法中，还可以具有这样的特征：其中，步骤s30中，空文本逆转训练在每一个采样过程中的非条件嵌入，从而矫正生成过程的路径偏离。
6、在本专利技术提供的基于扩散模型的可定制物理对抗补丁生成方法中，还可以具有这样的特征：其中，步骤s50中，人物图像填充后缩放成同一方形的尺寸。
7、在本专利技术提供的基于扩散模型的可定制物理对抗补丁生成方法中，还可以具有这样的特征：其中，步骤s60中，预测结果包括预测框的坐标以及其中对应的物体概率。
8、在本专利技术提供的基于扩散模型的可定制物理对抗补丁生成方法中，还可以具有这样的特征：其中，步骤s70中，利用iou检测损失通过梯度下降的方式更新隐向量，根据损失对隐向量求导，以获得损失函数对隐向量的梯度，随后，通过梯度下降算法调整隐向量，iou损失定义如下式：上式中，m是满足最大iou大于阈值t的检测框的总数；iou(jj，j′k)是检测框j′k和真实框jj之间的交并比；是指示函数，当括号中的条件为真时，函数值为1，否则为0；p是检测器处理图像后输出的预测框内存在物体的概率pobj和各种物体的分类概率pcls的乘积。
9、在本专利技术提供的基于扩散模型的可定制物理对抗补丁生成方法中，还可以具有这样的特征：其中，t＝0.5。
10、专利技术的作用与效果
11、本专利技术的基于扩散模型的可定制物理对抗补丁生成方法通过图像与隐空间向量映射，结合目标掩码实现定制化自然外观的物理补丁生成。
12、本专利技术使用不完整的扩散优化，很好的解决了使用扩散模型时，优化过程中补丁攻击性与隐蔽性难以折衷的问题。
13、本专利技术提出了一种更适合对抗补丁优化的检测损失，叫做交并检测损失，在保持补丁自然外表的同时，该损失函数能达到更强的攻击性能以及更快的收敛速度。
本文档来自技高网...【技术保护点】
1.一种基于扩散模型的可定制物理对抗补丁生成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于扩散模型的可定制物理对抗补丁生成方法，其特征在于：
3.根据权利要求1所述的基于扩散模型的可定制物理对抗补丁生成方法，其特征在于：
4.根据权利要求1所述的基于扩散模型的可定制物理对抗补丁生成方法，其特征在于：
5.根据权利要求1所述的基于扩散模型的可定制物理对抗补丁生成方法，其特征在于：
6.根据权利要求1所述的基于扩散模型的可定制物理对抗补丁生成方法，其特征在于：
7.根据权利要求1所述的基于扩散模型的可定制物理对抗补丁生成方法，其特征在于：
8.根据权利要求7所述的基于扩散模型的可定制物理对抗补丁生成方法，其特征在于：
【技术特征摘要】
1.一种基于扩散模型的可定制物理对抗补丁生成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于扩散模型的可定制物理对抗补丁生成方法，其特征在于：
3.根据权利要求1所述的基于扩散模型的可定制物理对抗补丁生成方法，其特征在于：
4.根据权利要求1所述的基于扩散模型的可定制物理对抗补丁生成方法，其特征在于：
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。