一种优化的模型并行的缺陷物资预测方法技术

本发明专利技术公开了一种优化的模型并行的缺陷物资预测方法，包括，基于Spark框架搭建分布式框架；分别在分布式框架的每个从节点上训练一个机器学习模型；将训练完成的机器学习模型分别保存到对应的节点，获得缺陷物资预测模型；利用缺陷物资预测模型对缺陷物资进行预测；本发明专利技术通过模型并行的架构，实现多模型的并行训练，提高训练模型的速度，以及提高预测速度；同时通过多模型并行训练，提高了缺陷物资预测精度。度。度。

【技术实现步骤摘要】
一种优化的模型并行的缺陷物资预测方法


[0001]本专利技术涉及物资需求预测的
，尤其涉及一种优化的模型并行的缺陷物资预测方法。

技术介绍

[0002]电网系统的平稳健康运行，对人民生产生活非常重要。但是电网系统太过庞大，设备也不可能一直完好无损的运行。极端天气、突发情况以及设备老化等都可能导致电网故障。
[0003]对于电网的设备物资而言，主要有三类：日常设备物资、应急设备物资和重大灾害缺陷物资。本专利技术主要针对的是应急设备物资。当设备发生故障时，就需要在各地仓库备有以进行更换来保证电网的正常运行。但是各地仓库应该每类物资应该采购多少，才能既不缺物资，又不会过度仓储，就成了一个值得研究的问题。
[0004]但是电网系统中，不同的区域、不同的物资数据分布很不一样，如图1所示。以修文县的真实数据分布为例，本体、复合绝缘子和金具本体的分布不一样。同时可以看到，数据的分布没有很强的规律性。因此，要实现对电网层次化的缺陷物资的精准预测，不可能实现一个模型适应于所有的缺陷物资。同时考虑到电网的传感器数据是海量的，那么单机就比较难实现高效的预测，甚至不能完成预测任务。目前大数据技术虽然已经很成熟，但还是有一些不足。当前的高性能并行计算，主要分为两类：数据并行和模型并行。数据并行是将数据划分到各个从服务器上训练模型。模型并行会把模型进行划分分区，分配到不同的机器分别运行(按功能，层次)，因为参数间存在依赖关系，需要调度器。

技术实现思路

[0005]本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
[0006]鉴于上述现有存在的问题，提出了本专利技术。
[0007]因此，本专利技术提供了一种优化的模型并行的缺陷物资预测方法，能够解决现有技术的预测性能不高的问题。
[0008]为解决上述技术问题，本专利技术提供如下技术方案：包括，基于Spark框架搭建分布式框架；分别在分布式框架的每个从节点上训练一个机器学习模型；将训练完成的机器学习模型分别保存到对应的从节点，获得缺陷物资预测模型；利用所述缺陷物资预测模型对缺陷物资进行预测。
[0009]作为本专利技术所述的优化的模型并行的缺陷物资预测方法的一种优选方案，其中：所述分布式框架包括一个主节点和多个从节点。
[0010]作为本专利技术所述的优化的模型并行的缺陷物资预测方法的一种优选方案，其中：所述机器学习模型包括，线性回归模型、Lasso回归模型、岭回归模型、负反馈神经网络模
型、梯度提升树和极端梯度提升模型。
[0011]作为本专利技术所述的优化的模型并行的缺陷物资预测方法的一种优选方案，其中：训练所述机器学习模型包括，根据目标公式对优化目标进行求解，完成所述机器学习模型的训练；而后利用机器学习模型预测所述缺陷物资，分别获得预测值所述目标公式如下：
[0012][0013]其中，n
samples
为样本数，w为向量在样本各个维度的权重系数，X为样本数据，y为物资缺陷的量，α、β为正则系数，||w||1、||w||2分别为系数的一阶范数、二阶范数。
[0014]作为本专利技术所述的优化的模型并行的缺陷物资预测方法的一种优选方案，其中：所述预测值包括，
[0015]θ∈R
N
,x∈R
N
[0016]其中，为线性回归模型、Lasso回归模型、岭回归模型的缺陷物资预测值，x为输入的电网物资的特征数据，θ为权重参数向量，T为转置符号。
[0017]作为本专利技术所述的优化的模型并行的缺陷物资预测方法的一种优选方案，其中：所述预测值包括，
[0018][0019]其中，为梯度提升树和极端梯度提升模型的缺陷物资预测值，f
k
为第k棵分类回归树，K为分类回归树的数量，Γ为分类回归树的空间。
[0020]作为本专利技术所述的优化的模型并行的缺陷物资预测方法的一种优选方案，其中：所述预测值包括，
[0021][0022]其中，为负反馈神经网络模型的缺陷物资预测值，w1为第一层的参数，σ为激活函数，w2为第二层的权重参数。
[0023]作为本专利技术所述的优化的模型并行的缺陷物资预测方法的一种优选方案，其中：还包括，所述分布式框架在所述主节点上对缺陷物资的数据和气象数据进行分发，若有N个所述机器学习模型，则将机器学习模型的训练命令打包并发送到所述从节点。
[0024]作为本专利技术所述的优化的模型并行的缺陷物资预测方法的一种优选方案，其中：所述缺陷物资包括，金具本体、本体、拉线本体、混凝土电杆、瓷质绝缘子、CPU插件、架空导线、分合闸接触器、充电模块、复合绝缘子。
[0025]本专利技术的有益效果：本专利技术通过模型并行的架构，实现多模型的并行训练，提高训练模型的速度，以及提高预测速度；同时通过多模型并行训练，提高了缺陷物资预测精度。
附图说明
[0026]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用
的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
[0027]图1为本专利技术第一个实施例所述的一种优化的模型并行的缺陷物资预测方法的流程示意图；
[0028]图2为本专利技术第一个实施例所述的一种优化的模型并行的缺陷物资预测方法的分布式框架结构示意图；
[0029]图3为本专利技术第一个实施例所述的一种优化的模型并行的缺陷物资预测方法的模型并行架构示意图；
[0030]图4为本专利技术第一个实施例所述的一种优化的模型并行的缺陷物资预测方法的数据并行架构示意图；
[0031]图5为本专利技术第一个实施例所述的一种优化的模型并行的缺陷物资预测方法的分布式框架训练模型并行架构示意图；
[0032]图6为本专利技术第二个实施例所述的一种优化的模型并行的缺陷物资预测方法的平均预测时间对比示意图。
具体实施方式
[0033]为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本专利技术的具体实施方式做详细的说明，显然所描述的实施例是本专利技术的一部分实施例，而不是全部实施例。基于本专利技术中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术的保护的范围。
[0034]在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是本专利技术还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本专利技术内涵的情况下做类似推广，因此本专利技术不受下面公开的具体实施例的限制。
[0035]其次，此处所称的“一个实施例”或“实施例”是指可包含于本专利技术至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种优化的模型并行的缺陷物资预测方法，其特征在于：包括，基于Spark框架搭建分布式框架；分别在分布式框架的每个从节点上训练一个机器学习模型；将训练完成的机器学习模型分别保存到对应的从节点，获得缺陷物资预测模型；利用所述缺陷物资预测模型对缺陷物资进行预测。2.如权利要求1所述的优化的模型并行的缺陷物资预测方法，其特征在于：所述分布式框架包括一个主节点和多个从节点。3.如权利要求1所述的优化的模型并行的缺陷物资预测方法，其特征在于：所述机器学习模型包括，线性回归模型、Lasso回归模型、岭回归模型、负反馈神经网络模型、梯度提升树和极端梯度提升模型。4.如权利要求2或3所述的优化的模型并行的缺陷物资预测方法，其特征在于：训练所述机器学习模型包括，根据目标公式对优化目标进行求解，完成所述机器学习模型的训练；而后利用机器学习模型预测所述缺陷物资，分别获得预测值所述目标公式如下：其中，n
samples
为样本数，w为向量在样本各个维度的权重系数，X为样本数据，y为物资缺陷的量，α、β为正则系数，||w||1、||w||2分别为系数的一阶范数、二阶范数。5.如权利要求4所述的优化的模型并行的缺陷物资...

【专利技术属性】
技术研发人员：俞虹，代洲，程文美，唐诚旋，蒋群群，陈珏伊，张秀，徐一蝶，王钧泽，
申请(专利权)人：贵州电网有限责任公司，
类型：发明
国别省市：