基于样本差异分析的多深度神经网络参数融合系统及方法技术方案

本发明专利技术设计基于样本差异分析的多深度神经网络参数融合系统及方法，属于深度学习和神经网络领域；包括代表性样本选取模块、边缘样本特征差异系数计算模块和多边参数融合模块；所述代表性样本选取模块从边缘样本集中选取最佳边界训练数据，以此作为边缘代表性样本数据，并将其发送到边缘样本特征差异系数计算模块，边缘样本特征差异系数计算模块对边缘代表性样本数据每一维度进行差异性计算，得到边缘代表性样本数据的差异系数；基于差异系数，多边参数融合模块对深度神经网络模型参数进行参数融合；对有需要的边缘设备端神经网络模型参数进行融合调整，有效的提升边缘设备端神经网络模型的质量，进而提升边缘设备端实时决策的能力。的能力。

【技术实现步骤摘要】
基于样本差异分析的多深度神经网络参数融合系统及方法


[0001]本专利技术属于深度学习和神经网络领域，尤其涉及基于样本差异分析的多深度神经网络参数融合系统及方法。

技术介绍

[0002]随着算法、算力和大数据的发展，神经网络在计算机视觉、语音识别、自然语言处理等应用中取得了重大突破。边缘计算的发展促使计算向数据产生端迁移，形成了在边缘侧应用神经网络模型实时决策的解决方案，从而降低了延迟，减少了数据传输量。受限于边缘设备有限的的计算能力和存储能力，边缘设备端无法实时通过流式数据训练复杂的神经网络模型，需要结合边缘服务器或其他边缘设备等进行协同训练。同时，边缘侧数据来源具有较强的局部性，容易导致模型过拟合，需要更丰富的数据完成训练以满足更大范围、更多功能的任务需求。因此，为了满足边缘侧的神经网络更新需求，需要通过多边协作训练和参数融合调整边缘神经网络模型参数，提升边缘神经网络模型的决策准确率。
[0003]分布式机器学习和联邦学习是现有边缘环境中参数融合的常用技术方案。分布式机器学习指利用多个计算节点行机器学习的算法和系统，旨在提高性能、保护隐私，并可扩展至更大规模的训练数据和更大的模型。分布式机器学习系统中，训练数据被分为不相交的数据分片并发送给各个计算节点，计算节点在本地执行随机梯度下降。工作者将梯度或模型参数上传至参数服务器，参数服务器对收到的梯度或模型参数聚合(如计算加权平均等)后得到全局梯度或全局模型参数。在边缘智能环境中使用分布式机器学习范式进行实时推理和实时训练时，其中的计算节点为边缘设备，参数服务器为边缘服务器。受限于边缘环境下的计算、网络限制和隐私保护因素，催生了多种不同的基于随机梯度下降的参数融合机制。
[0004]联邦学习通过本地训练和加密传输梯度的方式协作更新模型，在保证数据不离开各计算节点使得整体模型性能逼近集中式训练的性能。从边缘设备角度出发，考虑到边缘网络环境中存在多种异构物理设备作为计算节点，在训练能力和训练时间上存在差异性，产生额外的等待时间影响整体的训练效率，可以通过训练任务的分配减少等待时间。
[0005]现有技术分布式机器学习和联邦学习的目标是利用分布式协作训练从而提高整体准确率，没有考虑到特定节点的实时决策准确率。多边缘神经网络参数融合的目标是在保证边缘实时推理的基础上，提高边缘神经网络准确率。现有技术缺少对边缘计算节点实时推理性能的考量，主要表现在缺乏对不同边缘侧样本差异性的度量导致整体准确率提高可能降低边缘推理准确率。

技术实现思路

[0006]针对现有技术的不足，本专利技术设计了基于样本差异分析的多深度神经网络参数融合系统及方法；
[0007]基于样本差异分析的多深度神经网络参数融合系统，包括代表性样本选取模块、
边缘样本特征差异系数计算模块和多边参数融合模块；所述代表性样本选取模块安装在边缘端，边缘样本特征差异系数计算模块和多边参数融合模块安装在边缘服务器端；
[0008]所述代表性样本选取模块从边缘样本集中选取最佳边界训练数据，以此作为边缘代表性样本数据，并将其发送到边缘样本特征差异系数计算模块，边缘样本特征差异系数计算模块对边缘代表性样本数据每一维度进行差异性计算，得到边缘代表性样本数据的差异系数；基于差异系数，多边参数融合模块对深度神经网络模型参数进行参数融合；
[0009]另一方面，基于样本差异分析的多深度神经网络参数融合系统及方法，通过前述基于样本差异分析的多深度神经网络参数融合系统实现；包括以下步骤：
[0010]步骤1：基于神经网络对流式数据进行实时决策，并通过流数据聚类算法实时积累边缘端样本数据；从生成的边缘端样本数据中，利用边缘代表性样本选取模块选取出边缘端代表性样本数据上传至边缘端服务器；边缘端有n个，通过边缘代表选取模块得到n个边缘端代表性样本，n为正整数；
[0011]所述边缘代表性样本选取模块是从边缘端样本集中选取靠近各分类边界并且彼此靠近的训练数据，作为边缘端代表性样本，从而降低数据被错误分类的概率；
[0012]首先根据在边缘端通过流数据聚类算法得到的聚类结果，找到各个聚成簇之间的最佳边界、各个类中距离最佳边界距离最短的数据点，即边界数据以及属于该最佳边界的数据，其中最佳边界由式1表示，边界数据需要满足式2；
[0013]W
·
X+b＝0
ꢀꢀ
(1)
[0014][0015]其中，W是权重向量，即W＝{w1，w2，...，wn}，n是属性个数；b是标量；X是为数据集合，具有类标号y
i
；
[0016]根据式2依次找出距离最佳边界距离最短的边界数据，将其存入到各个最佳边界的代表性样本集中；各个最佳边界的代表性样本选取是从每个最佳边界的边界数据开始计算；然后从当前最佳边界的数据中找出与当前数据最相邻的k个数据点；如果存在与当前数据不属于同一类的数据点，则将其存入当前最佳边界的代表性样本中；如果相邻的k个数据点与当前数据属于同一类，则该k个相邻数据将被丢弃，并从当前最佳边界的数据中选出距最佳边界距离最短的数据点存入当前最佳边界的代表性样本中；最后依次对新加入的数据点重复以上操作，直到当前最佳边界的数据全部被处理；具体如下所示：
[0017]步骤1.1：对边缘端样本数据dataset进行聚类，为dataset的数据分配所属类的label，通过SVM计算各个类之间的最佳边界i以及各最佳边界的边界数据集edge_dataset；
[0018]步骤1.2：在边界数据集edge_dataset中找出到最佳边界i距离最短的边界数据，若与当前分类不一致则直接存入当前边界的代表性样本re_dataset中，若与当前数据分类一致则该k个相邻数据将被丢弃，并从当前最佳边界的数据中选出距最佳边界距离最短的数据点存入当前最佳边界的代表性样本re_dataset中；
[0019]步骤1.3：整合所有边界的re_dataset边缘的代表性样本edgere_dataset；
[0020]步骤2：基于步骤1生成的边缘侧代表性样本，在边缘服务器端通过边缘样本特征差异系数计算模块进行样本特征差异分析，得出样本特征差异系数；
[0021]所述边缘样本特征差异系数计算模块在边缘端服务器上，首先将步骤2得到的任意两组边缘代表性样本中特征的每一维度的值分别求出平均值，然后将每一维度的平均值
分别根据公式3计算出各个维度的差异系数，计算公式如式3所示；
[0022][0023]其中X，Y代表参加计算的两组数据，分别为X和Y的均值，σ
X
，σ
Y
分别为X和Y的标准差；
[0024]所有维度都求出差异系数均值后，将所求的差异系数按降序存储至字典中，字典的主键为参与计算的边缘样本特征所对应的边缘端编号，值为计算出的差异系数；具体如下：
[0025]步骤2.1：若边缘端把代表性样本上传给了边缘服务器端，则接收边缘端上传的代表性样本并更新当前代表性样本趋势，并等待下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于样本差异分析的多深度神经网络参数融合系统，其特征在于，包括代表性样本选取模块、边缘样本特征差异系数计算模块和多边参数融合模块；所述代表性样本选取模块安装在边缘端，边缘样本特征差异系数计算模块和多边参数融合模块安装在边缘服务器端。2.根据权利要求1所述的基于样本差异分析的多深度神经网络参数融合系统，其特征在于，所述代表性样本选取模块从边缘样本集中选取最佳边界训练数据，以此作为边缘代表性样本数据，并将其发送到边缘样本特征差异系数计算模块，边缘样本特征差异系数计算模块对边缘代表性样本数据每一维度进行差异性计算，得到边缘代表性样本数据的差异系数；基于差异系数，多边参数融合模块对深度神经网络模型参数进行参数融合。3.基于样本差异分析的多深度神经网络参数融合系统及方法，通过所述权利要求1基于样本差异分析的多深度神经网络参数融合系统实现；其特征在于，包括以下步骤：步骤1：基于神经网络对流式数据进行实时决策，并通过流数据聚类算法实时积累边缘端样本数据；从生成的边缘端样本数据中，利用边缘代表性样本选取模块选取出边缘端代表性样本数据上传至边缘端服务器；边缘端有n个，通过边缘代表选取模块得到n个边缘端代表性样本，n为正整数；步骤2：基于步骤1生成的边缘侧代表性样本，在边缘服务器端通过边缘样本特征差异系数计算模块进行样本特征差异分析，得出样本特征差异系数；步骤3：根据步骤2所得的样本特征差异系数字典，利用多边参数融合模块在边缘服务器端对神经网络模型参数进行融合；步骤4：将根据步骤3得到的更新后模型参数发送至各边缘端并更新边缘端模型参数，完成参数融合。4.根据权利要求3所述的基于样本差异分析的多深度神经网络参数融合系统及方法，其特征在于，步骤1所述边缘代表性样本选取模块是从边缘端样本集中选取靠近各分类边界并且彼此靠近的训练数据，作为边缘端代表性样本，从而降低数据被错误分类的概率；首先根据在边缘端通过流数据聚类算法得到的聚类结果，找到各个聚成簇之间的最佳边界、各个类中距离最佳边界距离最短的数据点，即边界数据以及属于该最佳边界的数据，其中最佳边界由式1表示，边界数据需要满足式2；W
·
X+b＝0
ꢀꢀ
(1)其中，W是权重向量，即W＝{w1，w2，...，wn}，n是属性个数；b是标量；X是为数据集合，具有类标号y
i
；根据式2依次找出距离最佳边界距离最短的边界数据，将其存入到各个最佳边界的代表性样本集中；各个最佳边界的代表性样本选取是从每个最佳边界的边界数据开始计算；然后从当前最佳边界的数据中找出与当前数据最相邻的k个数据点；如果存在与当前数据不属于同一类的数据点，则将其存入当前最佳边界的代表性样本中；如果相邻的k个数据点与当前数据属于同一类，则该k个相邻数据将被丢弃，并从当前最佳边界的数据中选出距最佳边界距离最短的数据点存入当前最佳边界的代表性样本中；最后依次对新加入的数据点重复以上操作，直到当前最佳边界的数据全部被处理。5.根据权利要求3所述的基于样本差异分析的多深度神经网络参数融合系统及方法，
其特征在于，步骤1具体为：步骤1.1：对边缘端样本数据dataset进行聚...

【专利技术属性】
技术研发人员：那俊，张瀚铎，张斌，
申请(专利权)人：东北大学，
类型：发明
国别省市：