物联网场景下提升多分支预测单模型鲁棒性的训练方法技术

本发明专利技术公开了一种物联网场景下提升多分支预测单模型鲁棒性的训练方法，在云终端的结构下，将训练数据分割并分配给终端，形成一个有数据多样性的环境，同时为每个终端设定不同的优化目标增强结构多样性的优势。每个终端依赖自己的训练数据和优化目标对云端下发的权重进行更新，接着云端收回各终端的权重进行聚合，最后经过多次这样的循环完成训练，存储最优的多分支预测单模型权重。本发明专利技术成功将多分支预测单模型的结构多样性和物联网场景下的数据多样性结合，使多分支预测单模型的鲁棒性进一步提高，以提高对对抗样本的分类能力，使多分支预测单模型能安全可靠的完成分类任务。

【技术实现步骤摘要】
物联网场景下提升多分支预测单模型鲁棒性的训练方法
本专利技术属于计算机领域，涉及了一种多分支预测单模型的训练方法。尤其涉及提高当前高精度但难以正确分类对抗样本的单身网络模型鲁棒性提升方法，其中使用了联邦学习思想，在适合物联网的场景下，解决了现今物联网需要安全可靠的人工智能的问题。
技术介绍
近年来，物联网是被数量不断增加，同时与深度学习的结合也更加紧密，特别是在图像处理任务上。然而，这些高精度的图像分类器在面对对抗样本是脆弱的。对抗样本是在干净图片上，有意图的添加微量扰动，这些扰动不会干扰人眼的判断，但可以愚弄深度神经网络分类器。所以，研究如何获得一个更高鲁棒性的模型是必要的。提高模型的鲁棒性是目前应对对抗样本攻击的一个重要方法，模型鲁棒性是一个用于分析模型对于微小扰动的抵抗能力的评判标准，在相同扰动下模型的判断准确率越高，鲁棒性越好。已有多分支预测单模型被提出，得益于其自身多分支及相应算是函数带来的整体多样性，多分支预测单模型得到了与组合模型相当的对抗鲁棒性，成功提高了对对抗样本的防御能力。而常规的训练方法，仅仅只能有效利用到模型结构的多样性，无法将现实中物联网不断扩张带来的数据多样性体现到训练中。所以，需要去设计一个属于多分支预测单模型的训练方法，可以充分的发挥其整体多样性的效果，将数据多样性表现出来。
技术实现思路
本专利技术的目的是针对上述问题，提供了一种物联网场景下提升多分支预测单模型鲁棒性的训练方法，该专利技术将多分支预测单模型的结构多样性和物联网场景下的数据多样性结合。多分支预测单模型经过本方法的训练，鲁棒性得到了提升，对对抗样本的分类准确率大幅提高，是可行且有效的。实现本专利技术目的的具体技术方案是：步骤1：训练系统初始化首先设定训练数据的内容、训练批量(batchsize)的大小、训练所需要的终端数量，随后导入需要训练的多分支预测单模型及权重聚合函数；接着对训练数据进行预处理，包括对训练样本的标准化和将训练标签转化为独热码(one-hotcode)格式；再将训练数据分割成与终端数量同份；最后将等分好的数据制成批量大小的迭代生成器；完成多分支预测单模型和数据的准备后，初始化云端控制节点，包括云端的聚合算法、测试数据以及全局权重的存储；接着循环初始化终端节点，包括节点标识、生成模型、优化目标、对应节点的训练数据生成器以及当前的轮数；步骤3：多终端统一训练在初始化完成的云终端系统中，一次云端和终端的交互为单个循环：云端控制节点将当前全局权重及当前轮数更新到终端节点的模型中，接着每个终端节点分别依靠初始化时赋予的训练数据及优化目标对当前模型进行优化，得到每个模型中独有的权重，然后每个终端节点上传各自的权重，云端控制节点进行统一收集，收集完成后，云端利用聚合算法将各权重聚合成新的全局权重并使用测试数据验证效果；最后达到设定的最大训练循环次数停止训练，输出最终模型权重。步骤1中所述将训练数据分割成与终端同份，具体为：三成数据非独立同分布分割：将数据按照同分类进行分割；七成数据独立同分布分割：将数据打乱后等分。本专利技术的有益效果本专利技术提出的是一个物联网场景下提升多分支预测单模型鲁棒性的训练方法，成功将多分支预测单模型的结构多样性和物联网场景下的数据多样性结合，使多分支预测单模型的鲁棒性进一步提高，以提高对对抗样本的分类能力，使多分支预测单模型能安全可靠的完成分类任务。实验需要证明的是经过本专利技术训练方法训练的多分支预测单模型，可以比常规训练的有更好的鲁棒性，即实验结果表现为对对抗样本有更高的识别率。实验中，使用了较为典型的7种对抗样本生成方法进行攻击，并在此基础上获得常规训练和本专利技术的训练方法得到的模型在被攻击后图像上的分类准确率。其中两种训练方法都是对多分支预测单模型进行训练。表1CIFAR-10数据集上对于对抗样本分类正确率(％)比较从表1中可以看出，CIFAR-10数据集下，相比于常规训练得到的模型，所有的分类准确率都有提高，尤其在BIM、MIM和PGD三种情况下，本专利技术的训练方法得到的模型提升幅度更是近10％。表2是记录了在SVHN数据集上的表现。和在CIFAR-10上的情况相似，7种攻击情况下都有提升，特别是BIM、MIM和PGD三种。同时在JSMA情况下也获得了较大幅度的提升。表2SVHN数据集上对于对抗样本分类正确率(％)比较证明了经本专利技术训练的模型对对抗样本有好的防御能力，具有高鲁棒性。在两种数据集上，经过本专利技术的训练方法训练的对分支预测单模型对原始干净样本的分类准确率基本与常规训练后得到的模型相近，CIFAR-10下降幅度为0.25％，而SVHN下提升了0.18％。证明了经此训练方法训练的多分支预测单模型依旧保持先进的分类能力。Table3CIFAR-10和SVHN上干净样本分类准确率(％)比较数据集常规训练本专利技术的训练CIFAR-1091.0590.8SVHN96.7796.95附图说明图1是多分支预测单模型结构；图2是本实施本专利技术的框架图；图3是本专利技术具体流程图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进一步详细说明。多分支预测单模型在结构上形如图1。在这样结构的模型中，可以利用LED损失函数在训练中使分支直接非极大预测向量尽量分类，实现此模型的整体多样性提升效果，从而提升鲁棒性、提高对对抗样本的防御能力。其中LED损失函数公式为：LED＝LBE+γ·H(P*)+μ·LDs其中LBE为交叉熵，H(P*)为香农熵，LDS为非极大预测向量的分离度量，γ、μ为超参数，代表两个部分的影响能力。常规训练中，本专利技术将全部数据输入模型训练，最终生成一种多样性情况。这个多样性情况，虽然考虑到了所有的训练数据，但是全部在一起影响，相互之间可能会造成制约，那么最终成型的多样性情况，可能并不完美。考虑到上述的情况，本专利技术在训练中引入联邦学习的思想。将训练数据拆分给各个终端，模拟一个数据多样性的环境。这样，每个终端使用不同的训练数据，可以训练出不同的模型多样性情况，再利用云端将这些终端的权重进行不断迭代的融合，最终可以获得一个更加优秀的多样性情况。同时考虑到LED损失函数中有两个超参数，本专利技术设计在每个终端的训练中，使用不同超参形成的损失函数，这样的设计同时考虑到了两点：一是两个超参的设定是一个经验性设定，那么相比于直接设定一个具体的值，设定一个区间更加有效，可以帮助模型找到更好的多样性；二是仅仅靠训练数据分割实现的数据多样性程度太低，依靠不同测超参形成不同的损失函数，提高数据多样性带来的影响。图2是实施本专利技术的框架图，本专利技术的训练方法中包含两大部分：云端和终端。终本文档来自技高网...

【技术保护点】
1.一种物联网场景下提升多分支预测单模型鲁棒性的训练方法，其特征在于，该方法包括以下具体步骤：/n步骤1：训练系统初始化/n首先设定训练数据的内容、训练批量的大小、训练所需要的终端数量，随后导入需要训练的多分支预测单模型及权重聚合函数；接着对训练数据进行预处理，包括对训练样本的标准化和将训练标签转化为独热码格式；再将训练数据分割成与终端数量同份；最后将等分好的数据制成批量大小的迭代生成器；完成多分支预测单模型和数据的准备后，初始化云端控制节点，包括云端的聚合算法、测试数据以及全局权重的存储；接着循环初始化终端节点，包括节点标识、生成模型、优化目标、对应节点的训练数据生成器以及当前的轮数；/n步骤3：多终端统一训练/n在初始化完成的云终端系统中，一次云端和终端的交互为单个循环：云端控制节点将当前全局权重及当前轮数更新到终端节点的模型中，接着每个终端节点分别依靠初始化时赋予的训练数据及优化目标对当前模型进行优化，得到每个模型中独有的权重，然后每个终端节点上传各自的权重，云端控制节点进行统一收集，收集完成后，云端利用聚合算法将各权重聚合成新的全局权重并使用测试数据验证效果；/n最后达到设定的最大训练循环次数停止训练，输出最终模型权重。/n...

【技术特征摘要】
1.一种物联网场景下提升多分支预测单模型鲁棒性的训练方法，其特征在于，该方法包括以下具体步骤：
步骤1：训练系统初始化
首先设定训练数据的内容、训练批量的大小、训练所需要的终端数量，随后导入需要训练的多分支预测单模型及权重聚合函数；接着对训练数据进行预处理，包括对训练样本的标准化和将训练标签转化为独热码格式；再将训练数据分割成与终端数量同份；最后将等分好的数据制成批量大小的迭代生成器；完成多分支预测单模型和数据的准备后，初始化云端控制节点，包括云端的聚合算法、测试数据以及全局权重的存储；接着循环初始化终端节点，包括节点标识、生成模型、优化目标、对应节点的训练数据生成器以及当前的轮数；
步骤3：多终端统一训练
在初始化完成的云终...

【专利技术属性】
技术研发人员：陈铭松，韦璠，邵明莉，何积丰，曹鹗，张健宁，夏珺，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：上海;31