本发明专利技术公开了一种基于重构数据和替代模型的对抗攻击方法，包括如下步骤：1）构建生成模型：提升生成模型的性能；2)选取替代模型；3）随机噪声与伪标签的生成与初始化；4）构建更新生成模型的损失函数：将交叉熵损失函数和信息熵损失函数相结合构建新的组合损失函数；5）构建蒸馏过程损失函数：将蒸馏损失函数和边界损失函数相结合构建B‑D组合损失函数；6)协同替代模型训练生成模型；7）协同生成模型对替代模型进行知识蒸馏训练；8)生成模型和替代模型协同迭代更新；9）对目标模型进行攻击。本发明专利技术能够有效的提升重构数据的质量，以较低的查询成本更好的提升对抗攻击的成功率，为对抗攻击、模型安全性评估等领域提供有效方案。
【技术实现步骤摘要】
本专利技术涉及对抗攻击，具体涉及一种基于重构数据和替代模型的对抗攻击方法。
技术介绍
1、深度神经网络模型在面对对抗攻击时通常是脆弱的，通过研究对抗攻击不仅能够揭示模型的性能，也为系统整体安全性分析提供新的视角。通过理解模型在面对对抗性输入时的反应，能够有助于构建更有效、具有更高安全性的系统。因此，对抗攻击已成为研究模型性能的主要手段。
2、基于替代模型的攻击方法是一种迁移攻击方法，通过学生模型（替代模型）学习黑盒目标模型的知识，进而将黑盒攻击问题转化为了已知模型结构的白盒攻击问题。papernot等首先使用黑盒模型的训练集训练学生模型，并且成功实现了对黑盒模型的攻击；truong等首次利用生成器生成合成数据来训练替代模型，降低了替代模型对于目标数据集的依赖性；wang等人提出动态代理模型搜索策略，更加深入的学习目标模型特征；kariyappa等通过估计黑盒模型的梯度来调整生成样本，实现模型窃取功能；zhang等改变了替代模型与生成模型之间的博弈，将生成器的目标设置为合成与目标训练数据分布相似的重构数据，将替代模型的目标设置为利用重构数据有效的模仿目标模型。
3、虽然上述方法达到了较好的攻击效果，但是它们的关注点都放在了模型间的博弈上，通过最大化替代模型和目标模型之间的匹配概率来达到窃取目标模型信息的功能，而忽视了生成模型本身的生成效果。因此，构建功能更加强大的生成模型是非常必要的，在对抗攻击研究、模型安全性评估和算法优化等方面具有重要的应用价值，为深度学习模型性能分析和安全系统领域研究提供了新的视角。</p>
技术实现思路
1、本专利技术提出了一种基于重构数据和替代模型的对抗攻击方法。
2、为了解决上述技术问题，本专利技术的技术方案如下：
3、一种基于重构数据和替代模型的对抗攻击方法，包括以下步骤：
4、步骤1，构建生成模型，该模型包括三个部分：
5、特征重塑部分，通过全连接层将输入噪声向量映射到高维特征空间重塑为4d张量，经过批归一化后再进行上采样，将特征图的分辨率放大1倍；
6、图像特征生成部分，由头部和尾部的pixelnorm归一化层、中间部分的2个d-r卷积模块和1个常规卷积模块组成，用来生成图像特征；
7、输出部分，经过1个常规卷积层和sigmoid激活函数后，输出重构图像；
8、步骤2，选取替代模型：
9、为待攻击的目标黑盒模型选取替代模型；
10、步骤3，随机噪声与伪标签的生成与初始化：
11、(3a) 随机生成一批噪声，其中，表示标准正态分布，且所有随机噪声均从标准正态分布中独立采样获得；
12、(3b) 将每1个随机生成的噪声zi输入生成模型，得到对应的输出重构数据xi，然后将其输入替代模型，得到输出概率，选取最大概率对应的类别作为伪标签yi，最终得到1个初始化的伪标签序列；
13、步骤4，构建更新生成模型的损失函数：
14、为平衡数据分布、提高数据多样性，构建组合损失函数来更新生成模型；
15、步骤5，构建蒸馏过程损失函数：
16、为使替代模型与目标模型的输出趋于一致，同时使两者具有更相近的决策边界，设计b-d组合损失函数；
17、步骤6，协同替代模型训练生成模型：
18、(6a) 随机选取步骤(3a)中的随机噪声zi作为生成模型的输入，得到输出的重构数据；
19、(6b) 将重构数据进行组合增强操作；
20、(6c) 将增强后的重构数据输入到替代模型中，得到模型预测结果；
21、(6d) 依据步骤(6c)预测结果与步骤(3b)获取的伪标签之间的误差值对生成模型进行训练；
22、步骤7，协同生成模型对替代模型进行知识蒸馏训练：
23、(7a) 将替代模型作为学生模型，目标模型作为教师模型进行知识蒸馏训练；
24、(7b) 将步骤(6b)中得到的组合增强数据输入目标模型中获取输出的标签或者概率信息；
25、(7c) 将(6c)中得到的预测结果与(7b)中的输出信息进行误差计算，并反向传播训练替代模型；
26、步骤8，生成模型和替代模型协同迭代更新：
27、设置训练轮次，对步骤6中的生成模型和步骤7中的替代模型进行协同迭代更新，在每一轮中不断优化生成模型以生成新的重构数据，利用该重构数据训练更新替代模型，最后，选取损失函数收敛后的最优一组参数作为生成模型和替代模型先验知识；
28、步骤9，对目标模型进行攻击：
29、根据替代模型先验知识，在训练好的替代模型上生成对抗样本，实现对目标模型的攻击。
30、所述步骤1中的特征重塑部分由1个linear线性层，1个批归一化层以及1个上采样层组成；
31、所述步骤1中的图像特征生成部分由2个d-r卷积模块、1个常规卷积模块及头部和尾部的pixelnorm归一化层组成，其中，所述的d-r卷积模块由1个残差模块、1个3*3dw卷积层、1个批归一化层和1个leakyrelu激活函数组成；所述的残差模块由2个3*3卷积层、2个批归一化层、1个relu激活函数组成；所述的常规卷积模块由1个上采样层、1个3*3卷积层、1个批归一化层和1个leakyrelu激活函数层组成；所述的头部和尾部的pixelnorm归一化方法指的是将输入特征进行逐元素归一化操作，具体可以表示为：
32、
33、其中，x表示特征向量，其分量为xi，n为特征向量的维度，是一个特别小的常数，避免出现除以0的情况；
34、所述步骤1中的输出部分由1个3*3卷积层和1个sigmoid激活函数层组成。
35、所述步骤(3a)、(3b)中的n值定义为类别数，在训练前对目标模型输入简单图像，通过分析不同输入对应的输出类别数量可推测出n的具体值。
36、所述步骤4中的组合损失函数，该损失函数的数学公式如下：
37、
38、其中，表示为调整正则化值的超参数，ce(*)表示交叉熵损失函数，s(*)为重构数据经过替代模型s后的输出预测结果,y为在目标模型中随机挑选的一个输出标签,z表示随机输入的噪声向量，k表示类别数量，h(*)表示信息熵损失，g(*)表示生成的数据。
39、所述步骤5中的b-d组合损失函数，该损失函数的数学公式如下：
40、
41、其中，t(x)表示目标模型的预测结果，s(x)表示替代模型也就是学生模型的预测结果，d(*)是衡量t(x)和s(x)之间差异的方式，在仅标签的场景中，d(*)是交叉熵损失函数，在仅概率场景中，d(*)是l2范数，1{*}表示当括号内的值不相同时，返回1；相同时返回0。
42、所述步骤(6b)中的组合增强操作是指，在全局视图中对图像进行随即裁剪操作，在局部视图中对图像进行随即裁剪并缩本文档来自技高网
...
【技术保护点】
1.一种基于重构数据和替代模型的对抗攻击方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于重构数据和替代模型的对抗攻击方法，其特征在于：
3.根据权利要求1所述的一种基于重构数据和替代模型的对抗攻击方法，其特征在于，所述步骤4中的组合损失函数，数学公式如下：，其中，表示为调整正则化值的超参数，CE(*)表示交叉熵损失函数，S(*)为重构数据经过替代模型S后的输出预测结果,Y为在目标模型中随机挑选的一个输出标签,z表示随机输入的噪声向量，k表示类别数量，H(*)表示信息熵损失，G(*)表示生成的数据。
4.根据权利要求1所述的一种基于重构数据和替代模型的对抗攻击方法，其特征在于，所述步骤5中的B-D组合损失函数，数学公式如下：，其中，T(X)表示目标模型的预测结果，S(X)表示替代模型也就是学生模型的预测结果，D(*)是衡量T(X)和S(X)之间差异的方式，在仅标签的场景中，D(*)是交叉熵损失函数，在仅概率场景中，D(*)是l2范数，1{*}表示当括号内的值不相同时，返回1；相同时返回0。
5.根据权利要求1所述的一种基于重构数据和替代模型的对抗攻击方法，其特征在于，所述步骤(6b)中的组合增强操作是指，在全局视图中对图像进行随机裁剪操作，在局部视图中对图像进行随机裁剪并缩放操作，其过程可以表述为：，其中p表示填充的大小，scale表示裁剪的比例，size表示输出的图像尺寸，crop表示裁剪操作。
...
【技术特征摘要】
1.一种基于重构数据和替代模型的对抗攻击方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于重构数据和替代模型的对抗攻击方法，其特征在于：
3.根据权利要求1所述的一种基于重构数据和替代模型的对抗攻击方法，其特征在于，所述步骤4中的组合损失函数，数学公式如下：，其中，表示为调整正则化值的超参数，ce(*)表示交叉熵损失函数，s(*)为重构数据经过替代模型s后的输出预测结果,y为在目标模型中随机挑选的一个输出标签,z表示随机输入的噪声向量，k表示类别数量，h(*)表示信息熵损失，g(*)表示生成的数据。
4.根据权利要求1所述的一种基于重构数据和替代模型的对抗攻击方法，其特征在于，所述...
【专利技术属性】
技术研发人员：卢佩，陈现洋，刘效勇，卢熙，邱斌，
申请(专利权)人：桂林理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。