一种边缘计算中面向深度学习的分布式模型训练方法及相关装置制造方法及图纸

本申请提供一种边缘计算中面向深度学习的分布式模型训练方法，包括：从待分类数据的历史数据库中采集数据，构建初始数据集；所述初始数据集中的包括训练集S、测试集Q，并将训练集S的数据平均分为N个训练子集S

【技术实现步骤摘要】
一种边缘计算中面向深度学习的分布式模型训练方法及相关装置


[0001]本专利技术涉及计算机
，特别是一种边缘计算中面向深度学习的分布式模型训练方法、装置、计算机设备及和存储介质。

技术介绍

[0002]在工业场景中，面对高维度、强实时、大流量的设备和传感器数据，往往需要更加复杂的深度神经网络进行特征提取，但由于复杂网络参数较多，其训练过程会非常耗时；此外，如此大量的数据，如果都集中在云端进行处理，对云端计算资源、数据存储能力以及网络带宽等将是一个严峻的考验。
[0003]在深度学习领域，提高模型精度的常用方式有两种：其一是通过对模型结构进行优化，但随着神经网络结构设计的不断成熟，网络结构的优化越发困难；其二是增大模型或数据规模，但又会导致模型训练时间的增加。随着信息技术的发展，分布式训练的思想被应用于解决大规模数据集的训练领域，当现有分布式训练存在使用范围窄，模型参数多等技术问题，不能被广泛应用于工业边缘管控领域。

技术实现思路

[0004]本专利技术的一个目的就是提供一种边缘计算中面向深度学习的分布式模型训练方法。
[0005]本专利技术的目的是通过这样的技术方案实现的，具体步骤如下：
[0006]1)数据采集：从待分类数据的历史数据库中采集数据，构建初始数据集；
[0007]2)数据分类：所述初始数据集中的包括训练集S、测试集Q，并将训练集S的数据平均分为N个训练子集S
i
，S
i
＝(S1、S2、
…
、S<br/>N
)；
[0008]3)构建模型：采用一维卷积构建N个基于ResNet网络的训练模型，并初始化模型超参数；
[0009]4)模型训练：将N个训练子集S
i
数据分别输入N个基于ResNet网络的训练模型进行基于数据并行的分布式训练；
[0010]5)参数输出：当基于ResNet网络的训练模型的分布式训练次数达到预设阈值时，输出模型参数，得到训练结果。
[0011]进一步，所述ResNet网络包括依次连接的卷积输入层、四个残差块、池化层和全连接层，并在全连接层前设置了Dropout。
[0012]进一步，所述基于ResNet网络的训练模型的初始参数包括训练规模、epoch、Dropout概率、Loss函数、Adam优化器参数。
[0013]进一步，步骤4)中模型训练的具体步骤为：
[0014]4‑
1)将N个训练子集S
i
数据分别输入N个基于ResNet网络的训练模型进行一次单独训练；
[0015]4‑
2)将训练后的模型的参数进行融合：
[0016][0017]式中，ω是模型参数，表示执行完n个样本数据后计算得到的真实梯度，n表示总样本数量，m
k
表示第k个模型所含样本数量，表示第k个模型计算的梯度信息；
[0018]4‑
3)将融合后的参数再分配到N个基于ResNet网络的训练模型中，进行训练；
[0019]4‑
4)若当前训练次数P&lt;P
max
，则重复步骤4
‑
2)
‑
步骤4
‑
3)，若当前训练次数P≥P
max
，则转至步骤5)，其中P
max
为预设的最大迭代次数。
[0020]本专利技术的另一个目的就是提供一种边缘计算中基于深度学习的分布式模型训练装置。
[0021]本专利技术的目的是通过这样的技术方案实现的，包括：
[0022]数据采集模块：从待分类数据的历史数据库中采集数据，构建初始数据集；
[0023]数据分类模块：所述初始数据集中的包括训练集S、测试集Q，用于并将训练集S的数据平均分为N个训练子集S
i
，S
i
＝(S1、S2、
…
、S
N
)；
[0024]构建模型模块：用于采用一维卷积构建N个基于ResNet网络的训练模型，并初始化模型超参数；
[0025]模型训练模块：用于将N个训练子集S
i
数据分别输入N个基于ResNet网络的训练模型进行基于数据并行的分布式训练；
[0026]参数输出模块：用于在基于ResNet网络的训练模型的分布式训练次数达到预设阈值时，输出模型参数，得到训练结果。
[0027]本专利技术还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述一种边缘计算中面向深度学习的分布式模型训练方法。
[0028]本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述一种边缘计算中面向深度学习的分布式模型训练方法。
[0029]由于采用了上述技术方案，本专利技术具有如下的优点：
[0030]本申请将数据集分解为多个数据子集，并将多个数据子集分别输入多个ResNet网络中进行训练，每训练完成一个epoch会向管理节点同步梯度信息，梯度信息经管理节点融合后，重新回传到多个ResNet网络中进行参数更新，本申请的基于数据并行的分布式模型训练方法可以在相同模型精度下，明显提高模型训练效率。
[0031]本专利技术的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本专利技术的实践中得到教导。本专利技术的目标和其他优点可以通过下面的说明书和权利要求书来实现和获得。
附图说明
[0032]本专利技术的附图说明如下。
[0033]图1为本专利技术的方法流程图。
[0034]图2为本专利技术ResNet网络的结构示意图。
[0035]图3为本专利技术实施1中数据集样本样例图。
[0036]图4为本专利技术实施1中模型训练精度曲线图。
[0037]图5为本专利技术实施1中模型训练损失值曲线图。
[0038]图6为本专利技术实施1中模型测试分类的混淆矩阵图。
[0039]图7为本专利技术实施2中模型训练精度曲线图。
[0040]图8为本专利技术实施2中模型训练损失值曲线图。
[0041]图9为本专利技术实施2中模型测试分类的混淆矩阵图。
[0042]图10为本专利技术实施3中模型训练精度曲线图。
[0043]图11为本专利技术实施3中模型训练损失值曲线图。
[0044]图12为本专利技术实施3中模型测试分类的混淆矩阵图。
具体实施方式
[0045]下面结合附图和实施例对本专利技术作进一步说明。
[0046]实施例1：
[0047]一种手写数字体数据集分类中面向深度学习的分布式模型训练方法、装置、计算机设备及和存储介质。
[0048]一种手写数字体数据集分类中面向深度学习的分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种边缘计算中面向深度学习的分布式模型训练方法,其特征在于，具体步骤如下：1)数据采集：从待分类数据的历史数据库中采集数据，构建初始数据集；2)数据分类：所述初始数据集中的包括训练集S、测试集Q，并将训练集S的数据平均分为N个训练子集S
i
，S
i
＝(S1、S2、
…
、S
N
)；3)构建模型：采用一维卷积构建N个基于ResNet网络的训练模型，并初始化模型超参数；4)模型训练：将N个训练子集S
i
数据分别输入N个基于ResNet网络的训练模型进行基于数据并行的分布式训练，每训练完一批数据，会将各模型参数进行汇聚，得到优化后的参数，并将新参数下发给各网络继续训练；5)参数输出：当基于ResNet网络的训练模型的分布式训练次数达到预设阈值时，输出模型参数，得到训练结果。2.如权利要求1所述的一种边缘计算中面向深度学习的分布式模型训练方法,其特征在于，所述ResNet网络包括依次连接的卷积输入层、四个残差块、池化层和全连接层，并在全连接层前设置了Dropout。3.如权利要求1所述的一种边缘计算中面向深度学习的分布式模型训练方法,其特征在于，所述基于ResNet网络的训练模型的初始参数包括训练规模、epoch、Dropout概率、Loss函数、Adam优化器参数。4.如权利要求1所述的一种边缘计算中面向深度学习的分布式模型训练方法,其特征在于，步骤4)中模型训练的具体步骤为：4
‑
1)将N个训练子集S
i
数据分别输入N个基于ResNet网络的训练模型进行一次单独训练；4
‑
2)将训练后的模型的参数进行融合：式中，ω是模型参数，表示执行完n个样本数据后计算得到的真实梯度，n表示总样本数量，m
k
表示第k个模型所含样...

【专利技术属性】
技术研发人员：刘切，柴毅，曾建学，王浩，段海超，
申请(专利权)人：重庆大学，
类型：发明
国别省市：