基于电网采集终端的分布式机器学习模型建立方法及系统技术方案

本发明专利技术公开了一种基于电网采集终端的分布式机器学习模型建立系统包括：采集云服务端的平台参数；将所述平台参数通过粒子群算法得到初步优解；将所述初步优解作为遗传算法的初始种群进行计算，通过适应度函数实现种群优化并判断是否达到停止条件，从而得到最优结果，实现负载平衡。本发明专利技术提供的基于电网采集终端的分布式机器学习模型建立系统降低网络中的功耗，使用适应度函数测量了云网络和服务器(主机)之间的负载平衡，将负载平衡问题转换为优化问题，从而能够适用于处理资源优化。使用粒子群的结果作为遗传算法的初始种群，本发明专利技术在执行成本、负载平衡和完成时间方面都取得更加良好的效果。加良好的效果。加良好的效果。

【技术实现步骤摘要】
基于电网采集终端的分布式机器学习模型建立方法及系统


[0001]本专利技术涉及分布式机器学习模型
，具体为一种基于电网采集终端的分布式机器学习模型建立系统。

技术介绍

[0002]随着进入信息时代，需要处理的计算需求也呈现指数增长，面对海量的数据存储与计算，用户需要强大的处理器和快速的网络，建立数据中心并配备集中处理器是常用的解决方法，资源共享、各种服务的虚拟化和调度技术能够提高数据中心的效率，在虚拟化技术的帮助下，可以在一台物理机器上创建多个虚拟机，因此只需要更少的硬件并可以提高性能，云计算根据用户的需求使用虚拟化技术来提供资源，从而降低能耗，目前最流行的方法之一是使用元启发式技术。
[0003]负载平衡算法分为三类：(1)发送方启动的负载平衡算法；(2)接收方初始化的负载平衡算法；(3)对称负载平衡算法，这两种模式的组合，轮询调度算法是一种负载平衡方法，采用优化能耗的方法，所有任务都基于循环分配给辅助处理器，在每个处理器上执行独立于处理器分配的本地选择处理器，轮询调度算法通常在Web服务器中循环使用，其中WEB应用程序通常具有相同的性质，因此它们是均匀分布的。
[0004]使用基于虚拟化的网络并为云计算存储比特可以平衡负载，早期的负载平衡研究虽然从资源调度和请求管理出发，但对能源优化并没有太多的关注，目前的功耗耗损较大，负载率奖惩，成本较高，因此对于在峰值使用时具有计算能力的物理机器，可以考虑能量性能折衷。

技术实现思路

[0005]本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例，在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围；
[0006]鉴于上述存在的问题，提出了本专利技术；
[0007]因此，本专利技术解决的技术问题是：目前电网拥有约50万采集终端，利用分布式架构，建立基于没个终端行为数据的学习模型，以便于更准确的预测终端的行为；
[0008]为解决上述技术问题，本专利技术提供如下技术方案：一种基于电网采集终端的分布式机器学习模型建立系统，包括：
[0009]建立分布式架构，对电网采集终端按照地域进行划分，调度至不同的学习平台进行学习；
[0010]抽取历史终端行为数据，包含业务人员操作日志、数据上报记录、业务人员相关权，信息、运营商网络信息、用电客户档案信息，建立机器学习标签；
[0011]建立统一的学习模型，初始化终端的学习模型；
[0012]形成与每个终端对应的学习模型，以提高采集终端行为预测的准确性；
[0013]作为本专利技术所述的基于电网采集终端的分布式机器学习模型建立系统的一种优选方案，其中：所述建立分布式架构包括建设计量采集终端的分布式建模平台。
[0014]作为本专利技术所述的基于电网采集终端的分布式机器学习模型建立系统的一种优选方案，其中：所述建立分布式架构包括，建设计量采集终端的分布式建模平台。
[0015]作为本专利技术所述的基于电网采集终端的分布式机器学习模型建立系统的一种优选方案，其中：所述建设计量采集终端的分布式建模平台包括；
[0016]平台入口网关，主要处理输入的建模数据，按照设定的条件，即终端的地域分布，进行采集终端数据的路由。
[0017]作为本专利技术所述的基于电网采集终端的分布式机器学习模型建立系统的一种优选方案，其中：抽取历史终端行为数据，建立机器学习标签包括；建模计算平台，负责对采集终端数据进行清洗，对每台终端进行建模。
[0018]作为本专利技术所述的基于电网采集终端的分布式机器学习模型建立系统的一种优选方案，其中：所述建模计算平台包括：
[0019]消息总线，负责消息传递；
[0020]展示平台，向用户展示建模成果，并向建模计算平台下发用户指令；
[0021]计量采集终端行为判断平台；
[0022]所述行为判断平台包括，在若数据为未经系统标注过的非历史数据、乱码数据或是超过数据集生命周期的数据，则经平台核验后判定为异常数据集中数据；
[0023]若数据或参数在系统实际操作中需要遵循特殊要求、流程或指令，则经平台核验后判定为自定义数据集中数据。
[0024]作为本专利技术所述的基于电网采集终端的分布式机器学习模型建立系统的一种优选方案，其中：所述建立统一的学习模型包括：
[0025]数据获取，AI模型训练的第一步是对数据的获取；
[0026]数据处理，部分场景的模型悬链前，需要对数据进行不同程度、不同方案的增强；
[0027]数据评估，日常需要对已有的数据集进行定期检查、定量检查，对数据质量和标注质量有一定的回归验证。
[0028]作为本专利技术所述的基于电网采集终端的分布式机器学习模型建立系统的一种优选方案，其中：所述半标注包括：
[0029]半自动标注，利用少量数据集生成的模型进行自动标注，减少人工标注的工作量。
[0030]作为本专利技术所述的基于电网采集终端的分布式机器学习模型建立系统的一种优选方案，其中：所述数据处理包括：
[0031]基本数据集进行标注或者半标注，对异常数据集进行重新标注，对自定义数据集进行标注；
[0032]所述半自动标注包括，利用少量数据集生成的模型进行自动标注，减少人工标注的工作量；
[0033]若为基本数据集，则通过平台将数据标注为灰色；
[0034]若为异常数据集，则通过平台将数据标注为红色，加黑色下划线；
[0035]若为自定义数据集，则通过平台在数据上加圆形框标注。
[0036]作为本专利技术所述的基于电网采集终端的分布式机器学习模型建立系统的一种优
选方案，其中：所述判断平台还包括，
[0037]利用建立的模型和计量自动化主站的出入口流量，对每个终端的行为进行分析，并将标注为红色，加黑色下划线的数据推送至告警平台，进行预警；
[0038]将高风险的异常终端行为与其他安全设备进行联动，对终端流量进行阻断，保障主站的安全；
[0039]随着AI和大数据等技术的引入，告警服务会持续进行优化迭代，主要围绕，更简单的配置，更具体的对象，更精准的决策三个方面进行优化。
[0040]作为本专利技术所述的基于电网采集终端的分布式机器学习模型建立系统的一种优选方案，其中：所述建立统一的学习模型还包括：
[0041]模型中心，对选取未标注的验证数据集用模型进行识别，对模型的质量进行验证；
[0042]模型管理，针对模型的版本、状态、操作记录、详细参数等四个方面进行；
[0043]模型部署，在完成模型的训练生成模型，对模型进行一定验证后，可在所述步骤对模型进行部署上线，部署流程通常为灰度部署过渡到全量部署。
[0044]作为本专利技术所述的基于电网采集终端的分布式机器学习模型建立系统的一种优选方案，其中：所述终端对应的学习模型包括：计量采集终端行为判断本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于电网采集终端的分布式机器学习模型建立方法，其特征在于，包括：建立分布式架构，对电网采集终端按照地域进行划分，调度至不同的学习平台进行学习；抽取历史终端行为数据，包含业务人员操作日志、数据上报记录、业务人员相关权，信息、运营商网络信息、用电客户档案信息，建立机器学习标签；建立统一的学习模型，初始化终端的学习模型；形成与每个终端对应的学习模型，以提高采集终端行为预测的准确性。2.如权利要求1所述的基于电网采集终端的分布式机器学习模型建立系统，其特征在于：所述建立分布式架构包括，建设计量采集终端的分布式建模平台。3.如权利要求1或2所述的基于电网采集终端的分布式机器学习模型建立系统，其特征在于：所述建设计量采集终端的分布式建模平台包括：平台入口网关，主要处理输入的建模数据，按照设定的条件，即终端的地域分布，进行采集终端数据的路由。4.如权利要求1
‑
3任一所述的基于电网采集终端的分布式机器学习模型建立系统，其特征在于：所述抽取历史终端行为数据，建立机器学习标签包括：建模计算平台，负责对采集终端数据进行清洗，对每台终端进行建模。5.如权利要求1
‑
4任一所述的基于电网采集终端的分布式机器学习模型建立系统，其特征在于：所述建模计算平台包括：消息总线，负责消息传递；展示平台，向用户展示建模成果，并向建模计算平台下发用户指令；计量采集终端行为判断平台；所述行为判断平台包括，在若数据为未经系统标注过的非历史数据、乱码数据或是超过数据集生命周期的数据，则经平台核验后判定为异常数据集中数据；若数据或参数在系统实际操作中需要遵循特殊要求、流程或指令，则经平台核验后判定为自定义数据集中数据。6.如权利要求1
‑
5任一所述的基于电网采集终端的分布式机器学习模型建立系统，其特征在于：所述建立统一的学习模型包括：数据获取，AI模型训练的第一步是对数据的获取；数据处理，部分场景的模型悬链前，需要对数据进行不同程度、不同方案的增强；数据评估，日常需要对已有的数据集进行定期检查、定量检查，对数据质量和标注质量有一定的回归验证；模型中心，对选取未标注的验证数据集用模型进行识别，对模型的质量进行验证；模型管理，针对模...

【专利技术属性】
技术研发人员：艾渊，代盛国，赵永辉，刘兴龙，张益鸣，杨昊，杨晓华，孙立元，任建宇，茶建华，杨子阳，杨茗，李家浩，
申请(专利权)人：云南电网有限责任公司，
类型：发明
国别省市：