本发明专利技术公开了一种基于损失函数敏感度的深度学习样本测试方法与装置，获取图像数据集作为干净样本，构建深度学习网络；对图像数据集进行对抗攻击操作，得到对抗样本；并进行筛选，得到总样本集，划分为训练样本集与测试样本集；设定损失函数敏感度函数；建立粒子群优化模型，计算损失敏感度漂移值，进行迭代更新，选取正常样本与对抗样本两类最优漂移样本集；利用最优漂移样本集进行训练，得到损失敏感度分类器；将两类最优漂移样本集输入深度学习网络重训练，得到测试模型；将测试样本集输入测试模型迭代，寻找最优漂移噪声样本，计算最优漂移噪声样本的损失函数敏感度漂移值，利用损失敏感度分类器判别，完成样本的检测。完成样本的检测。完成样本的检测。
【技术实现步骤摘要】
一种基于损失函数敏感度的深度学习样本测试方法与装置
[0001]本专利技术属于面向深度学习样本的安全问题领域，具体涉及一种基于损失函数敏感度的深度学习样本测试方法与装置。
技术介绍
[0002]深度学习是近年来人工智能备受关注的方向之一，随着深度神经网络(DNN)已经在许多应用上取得了巨大的成功，同时海量的数据也随之而来，神经网络在图像分类任务上也取得了很好地表现，例如ImageNet数据集拥有320万张人工标注的图像。尽管亚马逊等大平台已经尽可能对大规模图像的类标进行标注，但是在标注的过程中仍然有一些错误不可避免，并且错误标签的样本容易损害在同类样本上训练的模型性能。并且深度神经网络记忆随机分配标签的海量数据的能力证明了当训练噪声样本时的过拟合的敏感性。因此，需要一种对噪声标签具有鲁棒性的DNN算法来解决潜在问题。进一步来说，样本是很容易获得但是准确标注的成本是很昂贵的，该算法能够使得拥有更多且噪声大的标签的数据集比更少更准确的标签的数据集更有益。
[0003]目前，人工智能的攻击主要分为中毒攻击和对抗攻击两种，中毒攻击主要是通过在正常样本上加上印记，形成中毒样本。再将中毒样本注入训练数据集，从而在训练阶段完成对深度学习模型嵌入后门触发器，在测试阶段输入毒药样本，则触发攻击爆发。对抗攻击主要在原始样本中添加一些人眼无法察觉的扰动，与其他攻击不同，对抗性攻击主要发生在构造对抗样本的时候，利用生成的对抗样本和正常样本一样输入机器学习模型并取得欺骗的识别结果，对抗攻击分为白盒攻击和黑盒攻击两种。
[0004]然而现有的神经网络测试的方法专注于模型的识别精度以及在恶意样本下模型的鲁棒性，此外对于样本的测试方法，也只能针对于少量样本或者特定样本的鉴别，忽略了多类型恶意样本在应用于边缘端时存在对模型进行破坏的危险。被不同类型的恶意样本在经过防御的神经网络模型中依旧有破坏效果。当神经网络被应用在现实生活中，例如自动驾驶场景中，行人或者路牌等目标受到不同天气、污染产生的样本形成的恶意样本会对自动判别模型产生攻击，从而使得模型出错带来重大风险，所以这种潜在的风险不容忽视。
技术实现思路
[0005]针对现有技术不足，本专利技术提出了一种基于损失函数敏感度的深度学习样本测试方法与装置。
[0006]为实现上述目的，本专利技术的技术方案为：1、一种基于损失函数敏感度的深度学习样本测试方法，包括以下步骤：
[0007](1)获取图像数据集作为干净样本，构建深度学习网络；
[0008](2)选取对抗攻击方法，对步骤(1)获取的图像数据集进行对抗攻击操作，得到对抗样本；并进行筛选，将筛选后的干净样本和对抗样本作为总样本集；将总样本集划分为训练样本集与测试样本集；
[0009](3)基于损失函数和训练样本集设定损失函数敏感度函数；
[0010](4)建立粒子群优化模型，计算所有样本的损失敏感度漂移值，对损失敏感度漂移值进行迭代更新，选取正常样本与对抗样本两类最优漂移样本集；利用最优漂移样本集进行训练，得到损失敏感度分类器；
[0011](5)将步骤(4)得到的两类最优漂移样本集输入步骤(1)构建的深度学习网络进行重训练，得到测试模型；将步骤(2)得到的测试样本集输入测试模型进行迭代更新，寻找出该测试样本对应的最优漂移噪声样本，计算出最优漂移噪声样本的损失函数敏感度漂移值，并将该漂移值输入到步骤(4)构建的损失敏感度分类器中进行判别，完成样本的检测。
[0012]进一步地，所述图像数据集为MNIST、CIFAR10、ImageNet、GTSRB、CASIA等典型图像数据集。
[0013]进一步地，所述深度学习网络为VGG16、AlexNet、VGG11或ResNet34等网络。
[0014]进一步地，所述对抗攻击方法为FGSM、Boundary、MIFGSM中的一种。
[0015]进一步地，所述步骤(3)具体为：
[0016]3.1)构建损失函数：将交叉熵函数设置为损失函数，公式为：
[0017][0018]其中，C表示分类结果的个数；N表示训练样本的综述，h为网络的最终输出。
[0019]3.2)构建损失敏感度函数：利用损失函数对样本求导生成的梯度函数作为目标函数，并利用二阶范数对其进行降维，其函数为：
[0020][0021]通过在训练样本集上添加不同程度的噪声生成新的噪声样本，并且将训练样本集与噪声样本同时输入到深度学习模型中生成损失函数值；利用训练样本集与噪声样本的损失函数的偏移值，作为其损失函数敏感度函数：
[0022]Ls＝Lf
noise
‑
Lf
nor
[0023]其中，Lf
noise
是添加噪声后的样本损失敏感度值，Lf
nor
是初始未添加噪声的损失敏感度值。
[0024]进一步地，所述步骤(4)具体包括以下步骤：
[0025](4.1)对输入样本添加随机噪声，进行粒子群优化模型初始化；
[0026](4.2)样本损失敏感度漂移值计算：通过步骤(3)设定的损失函数敏感度函数计算初始化后的添加随机噪声的样本的损失函数敏感度，然后与输入样本的损失函数敏感度作差，得到出不同噪声样本的损失函数敏感度的漂移值；
[0027](4.3)更新历史最优位置与全局最优位置：计算粒子群的损失函数敏感度值，比较历史最佳损失函数敏感度并更新每个粒子的历史最优位置p
best
、粒子群的全局最优位置g
best
；
[0028](4.4)更新粒子群的速度v
i
和位置x
i
；
[0029](4.5)最优漂移样本选取：对输入样本的损失函数敏感度进行不断地更新与优化，产生不同损失敏感度的噪声样本，在同一张输入样本的迭代更新中，记录下每张样本对应的最大损失函数敏感度的噪声样本，即最优漂移样本；将正常样本和对抗样本生成的不同
最优漂移样本汇总，组成正常样本与对抗样本两类最优漂移样本集。
[0030](4.6)损失敏感度分类器构建：:选取最优漂移样本区间记录下不同类样本的漂移区间，组成样本区间数据集，该数据集包括正常样本漂移区间类与对抗样本漂移区间类，利用二分类器，对上述数据集进行训练，训练出可以根据损失敏感度能分辨正常样本与对抗样本的二分类器；将该二分类器作为损失敏感度分类器。
[0031]进一步地，所述步骤(5)具体为：
[0032](5.1)将步骤(4)得到的中两类最优漂移样本集根据漂移值的大小进行排序，选取每类的前Top
‑
K张样本与标签，输入步骤(1)训练好的深度学习模型中进行重新训练，生成测试模型；
[0033](5.1)将步骤(2)中划分的测试样本集输入到测试模型中，得到预测标签；将测试样本与预测标签输入中粒子群优化模型中进行迭代更新，寻找出该测试样本对应的最优漂移噪声样本，计算出最优漂移噪声样本的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于损失函数敏感度的深度学习样本测试方法，其特征在于，包括以下步骤：(1)获取图像数据集作为干净样本，构建深度学习网络；(2)选取对抗攻击方法，对步骤(1)获取的图像数据集进行对抗攻击操作，得到对抗样本；并进行筛选，将筛选后的干净样本和对抗样本作为总样本集；将总样本集划分为训练样本集与测试样本集；(3)基于损失函数和训练样本集设定损失函数敏感度函数；(4)建立粒子群优化模型，计算所有样本的损失敏感度漂移值，对损失敏感度漂移值进行迭代更新，选取正常样本与对抗样本两类最优漂移样本集；利用最优漂移样本集进行训练，得到损失敏感度分类器；(5)将步骤(4)得到的两类最优漂移样本集输入步骤(1)构建的深度学习网络进行重训练，得到测试模型；将步骤(2)得到的测试样本集输入测试模型进行迭代更新，寻找出该测试样本对应的最优漂移噪声样本，计算出最优漂移噪声样本的损失函数敏感度漂移值，并将该漂移值输入到步骤(4)构建的损失敏感度分类器中进行判别，完成样本的检测。2.根据权利要求1所述的基于损失函数敏感度的深度学习样本测试方法，其特征在于，所述图像数据集为MNIST、CIFAR10、ImageNet、GTSRB、CASIA等典型图像数据集。3.根据权利要求1所述的基于损失函数敏感度的深度学习样本测试方法，其特征在于，所述深度学习网络为VGG16、AlexNet、VGG11或ResNet34等网络。4.根据权利要求1所述的基于损失函数敏感度的深度学习样本测试方法，其特征在于，所述对抗攻击方法为FGSM、Boundary、MIFGSM中的一种。5.根据权利要求1所述的基于损失函数敏感度的深度学习样本测试方法，其特征在于，所述步骤(3)具体为：3.1)构建损失函数：将交叉熵函数设置为损失函数，公式为：其中，C表示分类结果的个数；N表示训练样本的综述，h为网络的最终输出。3.2)构建损失敏感度函数：利用损失函数对样本求导生成的梯度函数作为目标函数，并利用二阶范数对其进行降维，其函数为：通过在训练样本集上添加不同程度的噪声生成新的噪声样本，并且将训练样本集与噪声样本同时输入到深度学习模型中生成损失函数值；利用训练样本集与噪声样本的损失函数的偏移值，作为其损失函数敏感度函数：Ls＝Lf
noise
‑
Lf
nor
其中，Lf
noise
是添加噪声后的样本损失敏感度值，Lf
nor
是初始未添加噪声的损失敏感度值。6.根据权利要求1所述的基于损失函数敏感度的深度学习样本测试方法，其特征在于，所...
【专利技术属性】
技术研发人员：陈晋音，李晓豪，金海波，郑海斌，宣琦，倪洪杰，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。