一种目标分类模型对抗训练方法及系统技术方案

本发明专利技术为了解决现有对抗训练方法提升模型鲁棒性程度有限的问题，提出了一种目标分类模型对抗训练通用方法

【技术实现步骤摘要】
一种目标分类模型对抗训练方法及系统


[0001]本专利技术属于人工智能安全领域，主要涉及对深度神经网络领域的对抗样本攻击的防御的进一步研究，具体地指一种基于去中心化决策的目标分类对抗训练方法及系统
。

技术介绍

[0002]目前深度神经网络在众多应用场景中取得巨大的成功，但对于安全性要求较高的场景，其抵御针对性攻击的能力成为重点关注的问题
。
在这些场景中，神经网络不仅需要实现较高的准确度，同时需要能抵御外界攻击干扰，防止做出错误的决策或预测，造成较大的经济损失与社会影响
。
[0003]对抗样本是指经过特定的扰动后，能够使神经网络误分类的样本
。
对抗样本的存在表明了神经网络的鲁棒性问题，即神经网络在面对微小的输入变化时，可能会产生不可预期的输出变化
。
这对于安全敏感的应用场景，如自动驾驶
、
人脸识别等，是非常危险的
。
[0004]为了增强神经网络的鲁棒性，对抗训练是一种常用且高效的方法，即在训练过程中，使用对抗样本来更新模型参数，使得模型能够适应对抗样本的扰动
。
然而，现有的对抗训练方法存在一些问题，如对抗训练通常需要大量的计算资源和时间，因为每次迭代都需要生成新的对抗样本，并且需要多次梯度计算和反向传播；对抗训练容易受到梯度掩蔽和梯度对齐等问题的影响，即模型在某些方向上的梯度很小或者与真实标签一致，导致模型无法有效地学习到鲁棒特征；对抗训练可能导致灾难性过拟合现象，即模型在训练过程中突然失去泛化能力，图像分类的准确率极大降低
。
这可能是由于模型在对抗训练中过度关注了某些特定的扰动方向，而忽略了其他方向上的信息
。
[0005]为了解决这些问题，一些改进的对抗训练方法被提出，例如
2020
年
NIPS
会议上，研究者提出引入名为
GradAlign
的约束项，一定程度提升鲁棒性和泛化能力，但是其提升效果仍较为有限，模型仍然会出现训练过程中分类准确率骤降接近
0%
的情况
。

技术实现思路

[0006]为了克服上述不足，本专利技术提出了一种基于去中心化决策的目标分类模型对抗训练方法及系统，分散模型注意力的对抗训练机制有效地解决了单步对抗训练的灾难性过拟合和多步对抗训练的鲁棒性过拟合问题，并提高了模型抵御对抗样本的鲁棒性
。
[0007]本专利技术所设计的基于去中心化决策的目标分类模型对抗训练方法，包含以下步骤：步骤1，数据处理与模型初始化
。
[0008]将数据集划分为训练集和测试集，对图片进行归一化处理，即将特征值大小调整到相近的范围
。
并初始化模型参数，即在网络模型训练之前，对各个节点的权重和偏置进行初始化赋值的过程
。
同时，将对抗扰动程度初始化为
0/255。
[0009]步骤2，生成对抗样本
。
[0010]基于模型的参数与梯度，在训练图像上施加随机扰动，并将对抗扰动程度增加
2/
255
，输入模型后获得梯度，逆梯度下降方向生成扰动，并归一化为对抗扰动程度范围内，叠加扰动后的图像即为对抗样本
。
将生成的对抗样本作为模型的训练样本，进行训练
。
[0011]步骤3，模型权重分析
。
训练过程中，针对模型参数的重要性，定义模型的损失函数，针对不同重要性的参数采取对应的更新策略
。
具体而言，通过计算损失函数对参数的敏感度获得模型参数的重要性
。
然后，根据设计的损失函数，在模型训练参数更新时，限制重要参数的更新程度，同时允许重要性较低的参数完全更新
。
[0012]步骤4，训练数据分析
。
[0013]在模型最后两层之间引入了一个标准的超球面，用于度量神经网络输入样本的学习难度，以更好学习对抗样本特征
。
标准超球面是指一个单位半径的高维球面，它可以用来表示归一化后的权重向量或特征向量
。
标准超球面上的分布可以反映神经网络的相关性和泛化能力，具体来说，标准超球面上的分布越均匀，表示神经网络中的权重向量或特征向量越不相关，从而能提高了神经网络的表达能力和泛化能力
。
训练者首先对倒数第二层的特征图和
softmax
层的权重进行归一化，然后为了将超球面结合到对抗训练中，在模型损失函数中加入了一个边界项，使得损失函数与模型参数向量和输入特征向量的夹角有关，引导模型更多学习夹角更大即更难以学习的训练样本，从而提升模型的鲁棒性和泛化能力
。
[0014]循环执行步骤
2、3、4
，直到模型训练完毕或达到预设的停止条件
。
[0015]基于同样的专利技术构思，本方案还提供一种基于去中心化决策的对抗训练系统：包括数据处理与模型初始化模块，将图像数据集划分为训练集和测试集，初始化模型，并将扰动程度初始化为
0/255
；
[0016]对抗样本生成模块，在每训练阶段增加，生成对抗样本；
[0017]模型权重分析模块，根据模型参数的重要性，选择不同的参数更新策略，模型参数的重要性表示为：
[0018]其中是损失函数，是模型参数；并用新的损失函数在训练过程中限制不同重要性参数的变化幅度，具体地：
[0019][0020]其中是原始的损失函数，是一个超参数，代表上一轮更新后参数值；一个参数很重要，需要抑制它相对于上一轮参数值的更新幅度；反之，则放松它相对于上一轮参数值的更新，使其具有较大的更新幅度；
[0021]训练数据分析模块，在最后两层引入一个标准的超球面，用于度量神经网络的学习难度，使其最大化分类准确率的同时，最小化分类难度；系统循环执行对抗样本生成模块，权重分析模块和训练数据分析模块的操作，直到模型训练完毕或达到预设的停止条件
。
[0022]基于同一专利技术构思，本方案还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现基于去中心化决策的对抗训练方法
。
[0023]基于同样的专利技术构思，本方案还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现基于去中心化决策的对抗训练方法
。
[0024]本专利技术的优点在于：参数重要性分析和自适应参数更新：通过计算参数的重要性，该技术允许对每个参数采取不同的更新策略
。
这有助于平衡模型的学习过程，避免模型过度关注某些特定的参数
。
由于采用了自适应参数更新策略，可以有效降低对抗训练所需的计算资源和时间成本
。
模型不必显著增加训练轮次，从而提高了效率
。
通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种目标分类模型对抗训练方法，其特征在于，包括以下步骤：步骤1，将数据集划分为训练集和测试集，初始化目标分类模型，并将扰动程度初始化为
0/255
；步骤2，在每训练阶段增加，生成对抗样本；步骤3，根据目标分类模型参数的重要性，选择不同的参数更新策略，模型参数的重要性表示为：；其中
L
是损失函数，
ω
是模型参数；并用新的损失函数
L
′
在训练过程中限制不同重要性参数的变化幅度，具体地：；其中
L
是原始的损失函数，
λ
是一个超参数，
ω
pre
代表上一轮更新后参数值；一个参数很重要，需要抑制它相对于上一轮参数值
ω
pre
的更新幅度；反之，则放松它相对于上一轮参数值
ω
pre
的更新，使其具有较大的更新幅度；步骤4，训练数据分析时，在最后两层引入一个标准的超球面，用于度量神经网络的学习难度，使其最大化分类准确率的同时，最小化分类难度；步骤5，循环执行步骤
2、3、4
，直到模型训练完毕或达到预设的停止条件
。2.
根据权利要求1所述的目标分类模型对抗训练方法，其特征在于：步骤1中对数据集进行归一化处理，并随机初始化模型参数
。3.
根据权利要求1所述的目标分类模型对抗训练方法，其特征在于：步骤2的基于模型的参数与梯度，在训练图像上施加随机扰动，并将对抗扰动程度增加
2/255
，输入模型后获得梯度，逆梯度下降方向生成扰动，并归一化为对抗扰动程度范围内，叠加扰动后的图像即为对抗样本
。4.
根据权利要求3所述的目标分类模型对抗训练方法，其特征在于：每训练阶段，将增加
2/255
，直到达到
16/255。5.
根据权利要求3所述的目标分类模型对抗训练方法，其特征在于：采用多种对抗样本生成方法中模型输出结果有最大负面影响的样本作为对抗样本
。6.
根据权利要求5所述的目标分类模型对抗训练方法，其特征在于：采用2中对抗样本生成方法，分别为快速梯度符号法和投影梯度下降法
。7.
根据权利要求1所述的目标分类模型对抗训练方法，其特征在于：步骤4中在模型中...

【专利技术属性】
技术研发人员：王骞，曹厚泽，龚雪鸾，王云飞，
申请(专利权)人：武汉大学，
类型：发明
国别省市：