本发明专利技术公开了一种自然对抗补丁生成方法、目标检测模型的训练方法及装置，自然对抗补丁生成方法，包括：将自然图像通过预训练好的自动编码器中的编码器进行感知压缩，得到潜在空间；利用扩散模型学习潜在空间并进行训练，得到训练好的扩散模型；从高斯分布中采样一个随机噪声，并通过训练好的扩散模型将所述随机噪声映射到潜在空间中的隐变量，得到映射隐变量，随后通过预训练好的自动编码器中的解码器对映射隐变量采样得到自然对抗补丁。本发明专利技术通过生成一种具有人们熟悉的图案和内容的自然对抗补丁，用于对目标检测器或人脸识别系统进行训练，能有效提高目标检测器或人脸识别系统的检测精度以及鲁棒性。的检测精度以及鲁棒性。的检测精度以及鲁棒性。
【技术实现步骤摘要】
自然对抗补丁生成方法、目标检测模型的训练方法及装置
[0001]本专利技术属于图像处理
，具体涉及一种自然对抗补丁生成方法、目标检测模型的训练方法及装置。
技术介绍
[0002]深度神经网络已经被广泛应用于自动驾驶、人脸识别、疾病诊断等领域，并且由于不受人类主观判断和情感因素的影响，其结果往往作为关键任务后续决策的重要信息来源。尽管这些技术为人类带来了便利， 但是已有的工作研究表明，基于深度神经网络的模型容易受到对抗样本的攻击。对抗样本是指通过设计一种特殊的扰动，一般不改变模型本身，只是修改模型的输入，使得模型在推理时以高置信度做出错误的判断。对抗攻击的现象不仅存在于数字空间，还会影响基于深度神经网络的许多物理世界任务，包括已经落地使用的基于深度神经网络的AI系统，对抗样本在物理世界中造成的影响不容小视，甚至可能导致巨额财产损失和重大人员伤亡。
[0003]对抗样本对神经网络的攻击暴露出了神经网络在鲁棒性上的缺陷，也给神经网络的应用带来了威胁，在出于对深度神经网络应用可靠性和安全性的考量，研究对抗样本技术能够有效的帮助理解神经网络模型，判断网络模型的实际可用性，并且能为深度学习技术的安全可靠发展提供助力。
[0004]对抗补丁是一类特殊的对抗攻击方式，通常用于物理世界中的对抗攻击。对抗补丁不再局限于像素级扰动使人类难以察觉，而为了实现更高效的攻击，其在一个较小的、局部的、没有扰动约束的区域内生成一个特殊的补丁块。但是，由于受到光照、角度等物理因素的影响，对抗补丁需要具有良好的鲁棒性，以便在物理环境中成功攻击。
[0005]对抗补丁通常与一些目标检测场景中待测的物理对象关联起来，如将具有攻击效果的对抗补丁打印在T恤或者眼镜框上，从而导致检测器或者人脸识别系统做出错误判断，因此，如何排除对抗补丁的干扰，提高目标检测器或人脸识别系统的检测精度以及鲁棒性是亟需解决的技术问题。
技术实现思路
[0006]为解决现有技术中的不足，本专利技术提供一种自然对抗补丁生成方法、目标检测模型的训练方法及装置，通过生成一种具有人们熟悉的图案和内容的自然对抗补丁，用于对目标检测器或人脸识别系统进行训练，能有效提高目标检测器或人脸识别系统的检测精度以及鲁棒性。
[0007]为达到上述目的，本专利技术所采用的技术方案是：第一方面，提供一种自然对抗补丁生成方法，包括：将自然图像通过预训练好的自动编码器中的编码器进行感知压缩，得到潜在空间；利用扩散模型学习潜在空间并进行训练，得到训练好的扩散模型；从高斯分布中采样一个随机噪声，并通过训练好的扩散模型将所述随机噪声映射到潜在空间中的隐变量，得到映射隐变量，随后通过预训练好的自动编
码器中的解码器对映射隐变量采样得到自然对抗补丁。
[0008]进一步地，所述自动编码器的训练过程包括：将重构损失和正则项损失的加权组合作为总损失对自动编码器进行训练：（1）（2）（3）其中，和分别是自动编码器中的编码器和解码器；是自然图像数据集中一批次的第张图片，n是自然图像数据集中一个批次的图像数量；是重构损失，即源图像和重构图像之间的均方误差，公式（2）中利用散度来约束潜在空间的分布不会偏离标准正态分布，代表正态分布，和分别代表是解码器压缩得到的潜在空间的均值和方差；公式（3）中用来控制对潜在空间的约束力度。
[0009]进一步地，将自然图像通过预训练好的自动编码器中的编码器进行感知压缩，得到潜在空间，包括：通过预训练好的自动编码器中的编码器将自然图像感知压缩到底层潜在空间和顶层潜在空间，并且在感知压缩时使用KL正则项约束潜在空间；然后把顶层潜在空间上采样至与底层潜在空间具有相同维度，并将相同维度的顶层潜在空间和底层潜在空间拼接得到整体的潜在空间。
[0010]进一步地，使用以时间为条件的UNet网络作为扩散模型的主干网络，用于预测时刻加入的噪声，，其中是扩散过程的总时间步数。
[0011]进一步地，所述扩散模型的损失函数为：（4）其中，是时刻从标准高斯分布中采样得到真实的噪声，是神经网络预测时刻的噪声，是图像经过解码器得到的隐变量z后添加噪声的版本。以两个噪声的误差平方的平均数作为损失。
[0012]进一步地，还包括：将自然对抗补丁应用到目标数据集上，并输入目标检测模型中得到置信度分数和分类分数，并定义对抗检测损失：（5）其中，是添加了对抗补丁批量为B的一组图片中的第i张图片；对抗总损失为：（6）
（7）（8）其中，和分别代表不可打印损失和全变分损失，是自然对抗补丁在位置处的像素向量，是来自可打印颜色集的颜色向量；是自然对抗补丁中t通道上位置的像素标量；通过和两个物理世界损失控制生成的自然对抗补丁在物理世界的可打印性和光滑性，并使用和分别为所述不可打印损失和全变分损失的权重系数；反向传播最小化总损失函数，优化更新从高斯分布中采样的随机噪声。
[0013]第二方面，提供一种自然对抗补丁生成装置，包括：自然图像压缩模块，用于将自然图像通过预训练好的自动编码器中的编码器进行感知压缩，得到潜在空间；扩散模型训练模块，用于利用扩散模型学习潜在空间并进行训练，得到训练好的扩散模型；自然对抗补丁生成模块，用于从高斯分布中采样一个随机噪声，并通过训练好的扩散模型将所述随机噪声映射到潜在空间中的隐变量，得到映射隐变量，随后通过预训练好的自动编码器中的解码器对映射隐变量采样得到自然对抗补丁。
[0014]第三方面，提供一种目标检测模型的训练方法，包括：将通过第一方面所述的自然对抗补丁生成方法得到的自然对抗补丁添加到目标数据集中的图片上，得到训练数据集，用于对目标检测模型进行训练。
[0015]第四方面，提供一种目标检测模型的训练装置，包括：训练集构建模块，用于将通过第一方面所述的自然对抗补丁生成方法得到的自然对抗补丁添加到目标数据集中的图片上，得到训练数据集，用于对目标检测模型进行训练。
[0016]与现有技术相比，本专利技术所达到的有益效果：本专利技术通过将自然图像通过预训练好的自动编码器中的编码器进行感知压缩，得到潜在空间；利用扩散模型学习潜在空间并进行训练，得到训练好的扩散模型；从高斯分布中采样一个随机噪声，并通过训练好的扩散模型将所述随机噪声映射到潜在空间中的隐变量，得到映射隐变量，随后通过预训练好的自动编码器中的解码器对映射隐变量采样得到自然对抗补丁，将该自然对抗补丁，用于对目标检测器或人脸识别系统进行训练，能有效提高目标检测器或人脸识别系统的检测精度以及鲁棒性。
附图说明
[0017]图1是使用目标检测器识别含对抗补丁的图像的场景示意图；图2是本专利技术实施例中感知压缩自然图像到潜在空间的整体结构图；图3是本专利技术实施例中扩散模型学习自然图像的潜在空间的整体结构图；图4是本专利技术实施例中利用扩散模型在潜在空间中生成自然对抗补丁训练示意图。
具体实施方式
[0018]下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。
[0019]实施例一：一种自本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种自然对抗补丁生成方法，其特征在于，包括：将自然图像通过预训练好的自动编码器中的编码器进行感知压缩，得到潜在空间；利用扩散模型学习潜在空间并进行训练，得到训练好的扩散模型；从高斯分布中采样一个随机噪声，并通过训练好的扩散模型将所述随机噪声映射到潜在空间中的隐变量，得到映射隐变量，随后通过预训练好的自动编码器中的解码器对映射隐变量采样得到自然对抗补丁。2.根据权利要求1所述的自然对抗补丁生成方法，其特征在于，所述自动编码器的训练过程包括：将重构损失和正则项损失的加权组合作为总损失对自动编码器进行训练：（1）（2）（3）其中，和分别是自动编码器中的编码器和解码器；是自然图像数据集中一批次的第张图片，是自然图像数据集中一个批次的图像数量；是重构损失，即源图像和重构图像之间的均方误差，公式（2）中利用散度来约束潜在空间的分布不会偏离标准正态分布，代表正态分布，和分别代表是解码器压缩得到的潜在空间的均值和方差；公式（3）中用来控制对潜在空间的约束力度。3.根据权利要求1所述的自然对抗补丁生成方法，其特征在于，将自然图像通过预训练好的自动编码器中的编码器进行感知压缩，得到潜在空间，包括：通过预训练好的自动编码器中的编码器将自然图像感知压缩到底层潜在空间和顶层潜在空间，并且在感知压缩时使用KL正则项约束潜在空间；然后把顶层潜在空间上采样至与底层潜在空间具有相同维度，并将相同维度的顶层潜在空间和底层潜在空间拼接得到整体的潜在空间。4.根据权利要求1所述的自然对抗补丁生成方法，其特征在于，使用以时间为条件的UNet网络作为扩散模型的主干网络，用于预测时刻加入的噪声，，其中是扩散过程的总时刻步数。5.根据权利要求4所述的自然对抗补丁生成方法，其特征在于，所述扩散模型的损失函数为：（4）其中，是时刻从标准高斯分布中采样得到真实的噪声，是神经网络...
【专利技术属性】
技术研发人员：江栋，陈先意，顾军，颜凯，王康，许林峰，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。