基于Bayes-Stackelberg博弈的边缘智能移动目标防御方法技术

本发明专利技术公开一种基于Bayes‑Stackelberg博弈的边缘智能移动目标防御方法，提出了一种动态防御机制，称为边缘智能的移动目标防御(EI‑MTD)。首先从云数据中心的复杂教师模型中通过差异性知识蒸馏，获得规模较小，适宜于部署在边缘节点的成员模型。然后利用Bayes‑Stackelberg博弈策略，动态调度成员模型，使攻击者无法判断执行分类任务的目标模型。该防御机制可以有效阻止攻击者选择最佳代理模型制作对抗样本，从而阻断黑盒攻击。在ILSVRC2012图像数据集上的实验表明，本发明专利技术提出的EI‑MTD可以有效地保护边缘智能免受恶意黑盒攻击。

【技术实现步骤摘要】
基于Bayes-Stackelberg博弈的边缘智能移动目标防御方法
本专利技术涉及边缘智能计算的一种安全技术，提出了基于Bayes-Stackelberg博弈的边缘智能移动目标防御方法。
技术介绍
基于深度学习的人工智能已经成功地应用于各个领域，从面部识别，自然语言处理，到计算机视觉。随着智能技术的蓬勃发展，人们的生活发生了巨大的变化，人们越来越依赖智能生活提供的便捷服务，希望随时随地享受智能服务。在过去的几年中，边缘计算的理论已经走向应用，并且已经开发了各种应用来改善我们的生活。深度学习技术和边缘计算系统的成熟以及对智能生活日益增长的需求促进了边缘智能(EI)的发展和实现。当前的EI实现基于深度学习模型，即深度神经网络(DNNs)，将其被部署到网络边缘的设备(例如监控系统的智能摄像机)，以实现诸如目标识别和异常检测的应用的实时性能。目前，边缘智能的安全性成为一个广泛关注的问题。以往的工作多集中在边缘智能的数据隐私方面，但对于对抗样本攻击关注不够。已有的工作表明，DNN极易受到对抗样本的攻击。对抗样本是添加了精心设计的微小扰动的输入图像，目的是欺骗深度神经网络。对抗样本具有一个特殊的性质，即对于特定模型生成的对抗样本，也可成功欺骗另外的模型，称为可转移性。在具有相似体系结构、低模型容量和高测试精度的模型中，对抗样本具有较高的可转移性。理论上，利用该特性，攻击者可以在不知道任何关于目标模型的信息的情况下，在本地代理模型上制造对抗样本攻击目标模型，称为黑盒攻击。实际上，攻击者可以通过重复查询目标模型找到比较接近目标模型的代理模型，从而获得更高的攻击成功率，达到白盒攻击的效果。由于包括边缘设备和边缘服务器在内的边缘节点上的计算、存储等资源的限制，模型压缩被认为是减小模型规模的有效方法。然而模型的鲁棒性与模型大小正相关。因此，边缘节点上的压缩模型更容易受到对抗样本的攻击。此外，目前提出的多数防御对抗样本的方法都需要在GPU计算资源丰富的情况下工作，不适用于边缘节点。因此，资源的有限性限制了边缘智能在敏感领域上的应用。我们将边缘智能计算面临的安全挑战总结如下：(1)如何防止攻击者找到最优代理模型，(2)如何在不损害正常样本准确率的情况下降低对抗样本的可转移性(3)如何防御边缘节点上资源有限的对抗样本。
技术实现思路
本
技术实现思路
是提出边缘智能移动目标防御方法解决上述问题。对于第一个挑战，我们将静态目标模型改为动态目标模型，随机调度分类服务。由于攻击者不知道真正为他们服务的模型，他们无法估计哪个候选代理模型接近目标模型。对于第二个挑战，我们尝试增加部署在边缘节点上的模型之间的差异。我们使用损失函数的梯度作为差异度量的基础，因为当前的攻击主要使用梯度来制造对抗的例子。对于第三个挑战，我们使用迁移学习来提取知识，从云数据中心大容量的强大教师模型到小容量的学生模型。这种方法的好处是，分类知识和鲁棒性被转移，以及模型的大小得到压缩。本专利技术将这些解决方案集成到一中防御框架中，称为具有移动目标防御的边缘智能(EI-MTD)。为此，我们通过以下步骤构建EI-MTD：(1)利用云数据中心强大的GPUs，通过对抗训练获得一个健壮的教师模型；(2)通过差异性知识蒸馏将教师模型的健壮知识转移到学生模型中，获得多样性；以及(3)使用Bayes-Stackelberg博弈策略，在准确性和安全性之间进行权衡，切换学生模型。本专利技术通过以下技术方案来实现上述目的：本专利技术提出了包含三个关键技术的EI-MTD系统:对抗训练、差异知识蒸馏和服务模型动态调度。我们使用对抗训练来获得云数据中心的强大教师模型。然后使用迁移学习从教师模型中提取鲁棒性知识，并将资源有限的小规模学生模型中。同时增加了微分正则化项，以获得提取模型的多样性，有效地抑制了对抗样本可转移性。这些学生模型，也称为移动目标环境下的成员模型，在服务动态调度方案中进一步用于调度服务用户。得益于差异性知识蒸馏得到的多样性，动态调度可以完美地迷惑攻击者找到最佳的代理模型，如图1右侧所示。本专利技术包括以下步骤：S1：针对教师模型的对抗训练。假设云数据中心已有训练数据集和教师模型Ft(θt)。采用ResNet-101具有101层的神经网络作为教师模型，利用FGSM对抗样本在云数据中心进行对抗训练，并结合的“FAST”对抗训练方法来加速这一过程。已有工作表明，对抗训练可使容量更大的网络获得更好的鲁棒性。S2：学生模型的差异性知识蒸馏。首先从教师模型Ft(θt)中获得适当蒸馏温度T下样本xi的软标签创建新的训练数据集为了获得学生模型的多样性，我们定义了一个新的带有正则化项CScoherence的损失函数L＝∑T2J/K+λ·CScoherence，同时训练所有学生模型以最小化公共损失函数L。请注意，在本专利技术中，学生模型、成员模型和目标模型是指同一个对象，在知识蒸馏中称学生模型，在动态调度中称成员模型。S3：成员模型的动态服务调度。在差异性知识蒸馏后，上述学生模型被部署到边缘节点，每个节点部署一个模型。这里边缘节点包括边缘设备和边缘服务器。指定某个边缘服务器为服务调度控制器，所有成员模型及其所在的节点都注册在调度控制器中。当用户(包括攻击者)通过边缘设备(例如，智能电话)输入图像请求分类服务时，边缘设备首先将服务请求上传到调度控制器，而不是直接在本地模型上处理。接着调度控制器通过Bayes-Stackelberg博弈选择一个边缘节点来执行分类任务。整个过程对攻击者透明，无法知道最终由哪个边缘节点提供服务。进一步，根据步骤S3中所述，模型的多样性对动态调度的有效性起着关键作用。受对抗攻击利用相对于输入的梯度作为扰动方向这一事实的启发，采用梯度对齐作为多样性度量。假设有两个成员模型和∈Ω以及攻击者选定的代理模型Fa∈U，用分别表示和的损失函数对样本x的梯度。如果和之间的夹角足够小，这意味着能使误分类的xadv也能使误分类，因此与之间的差异性与和之间的夹角有关。我们使用余弦相似度(CS)表示▽xJ1和▽xJ2的对齐程度：其中＜▽xJ1,▽xJ2＞是和的内积。若CS(▽xJ1,▽xJ2)＝-1，则▽xJ1和▽xJ2的梯度方向相反，意味着能使误分类的xadv不能使错误分类。进一步，所述步骤S2中进一步将余弦相似性应用于学生模型的训练过程，以获得具有较大差异性的成员模型集合。由于余弦相似度是用两个梯度计算的，为进一步推广到K个模型，将成对余弦相似性上的最大值定义为EI-MTD多样性度量：其中，Ja和Jb分别表示学生模型和的损失函数，θ(a)和θ(b)分别表示学生模型和的参数，是x从教师模型获得软标签。由于CScoherence是非光滑函数，无法使用梯度下降优化方法，进一步使用LogSumExp函数近似CScoherence：学生模型从云数据中心的教师模型中蒸馏而来，在蒸馏同时需要保证学生模型之间的多样性，因此在知识蒸馏过程中加入正则化项CScoherence，重新定义新的蒸馏损失函数：其本文档来自技高网...

【技术保护点】
1.一种基于Bayes-Stackelberg博弈的边缘智能移动目标防御方法，其特征在于，包括以下步骤：/nS1：针对教师模型的对抗训练：设云数据中心已有训练数据集

【技术特征摘要】
1.一种基于Bayes-Stackelberg博弈的边缘智能移动目标防御方法，其特征在于，包括以下步骤：
S1：针对教师模型的对抗训练：设云数据中心已有训练数据集和教师模型Ft(θt)；采用ResNet-101具有101层的神经网络作为教师模型，利用FGSM对抗样本在云数据中心进行对抗训练，并结合的“FAST”对抗训练方法加速这一过程；
S2：学生模型的差异性知识蒸馏：首先从教师模型Ft(θt)中获得适当蒸馏温度T下样本xi的软标签创建新的训练数据集定义一个新的带有正则化项CScoherence的损失函数L＝∑T2J/K+λ·CScoherence，同时训练所有学生模型以最小化公共损失函数L；
S3：成员模型的动态服务调度：在差异性知识蒸馏后，上述学生模型被部署到边缘节点，每个节点部署一个模型；这里边缘节点包括边缘设备和边缘服务器；指定某个边缘服务器为服务调度控制器，所有成员模型及其所在的节点都注册在调度控制器中；当用户通过边缘设备输入图像请求分类服务时，边缘设备首先将服务请求上传到调度控制器，接着调度控制器通过Bayes-Stackelberg博弈选择一个边缘节点来执行分类任务。


2.根据权利要求1所述的基于Bayes-Stackelberg博弈的边缘智能移动目标防御方法，其特征在于：根据步骤S3中所述，采用梯度对齐作为多样性度量；
设有两个成员模型Fs(1)和Fs(2)∈Ω以及攻击者选定的代理模型Fa∈U，用分别表示Fs(1)和Fs(2)的损失函数对样本x的梯度；如果和之间的夹角足够小，这意味着能使Fs(1)误分类的xadv也能使Fs(2)误分类，因此Fs(1)与Fs(2)之间的差异性与和之间的夹角有关；使用余弦相似度(CS)表示和的对齐程度：



其中是和的内积；若则和的梯度方向相反，意味着能使Fs(1)误分类的xadv不能使Fs(2)错误分类。


3.根据权利要求1所述的基于Bayes-Stackelberg博弈的边缘智能移动目标防御方法，其特征在于：所述步骤S2中进一步将余弦相似性应用于学生模型的训练过程，以获得具有较大差异性的成员模型集合；由于余弦相似度是用两个梯度计算的，为进一步推广到K个模型，将成对余弦相似性上的最大值定义为EI-MTD多样性度量：



其中，Ja和Jb分别表示学生...

【专利技术属性】
技术研发人员：钱亚冠，关晓惠，王滨，陶祥兴，周武杰，云本胜，陈晓霞，李蔚，楼琼，吴淑慧，
申请(专利权)人：浙江科技学院，浙江水利水电学院，
类型：发明
国别省市：浙江;33