一种面向分布式管理的两级协同计算方法及系统技术方案

本发明专利技术公开了一种面向分布式管理的两级协同计算方法及系统，属于电力系统与计算机信息交叉技术领域。本发明专利技术方法，包括：通过总部级数据中心平台，创建上行/下行消息队列；使用省级协同计算节点监听下行消息队列，使用总部级数据中心平台监听上行行消息队列；通过总部级算法构建平台构建算法，将构建的算法封装为消息发送至下行消息队列；当省级协同计算节点监听到消息后，对封装的算法进行提取，并将提取的算法传输至省级数据中心平台，并对算法进行计算，获取计算结果，并对计算结果进行封装，发送至上行消息队列，当总部级数据中心平台监听到封装的计算结果后，对计算结果进行提取。本发明专利技术解决了远程数据无法大规模充分利用与算法一致性问题。法一致性问题。法一致性问题。

【技术实现步骤摘要】
一种面向分布式管理的两级协同计算方法及系统


[0001]本专利技术涉及电力系统与计算机信息交叉
，并且更具体地，涉及一种面向分布式管理的两级协同计算方法及系统。

技术介绍

[0002]云计算、大数据、物联网、移动互联网，以及人工智能等新技术已经在电力行业广泛应用，电力企业也逐步融入互联网时代。随着国家电网公司企业中台的建设，具体包括云平台、数据中台与业务中台，各部分由不同部门独立建设，其中，电网资源业务中台、数据中台、云平台采用分布式部署模式，即总部一套、27省级电力公司各一套；而客户服务业务中台则采用统一部署模式，集中在总部机房部署，结合信息化分级管理的现状和要求，总部建设(称为“一级部署”)的系统与省公司建设(称为“二级部署”)的系统之间需要通过基于消息队列的数据交换平台进行纵向贯通。因此，开展面向营配调业务开展大数据计算分析，面临借助消息队列技术实现两级计算任务的协同，现有基于云计算的应用场景主要面向单个云平台进行，缺乏云平台之间的协同计算机制。

技术实现思路

[0003]针对上述问题，本专利技术提出了一种面向分布式管理的两级协同计算方法，包括：
[0004]通过总部级数据中心平台，创建上行/下行消息队列；
[0005]使用省级协同计算节点监听下行消息队列，使用总部级数据中心平台监听上行行消息队列；
[0006]通过总部级算法构建平台构建算法，将构建的算法封装为消息发送至下行消息队列；
[0007]当省级协同计算节点监听到消息后，对封装的算法进行提取，并将提取的算法传输至省级数据中心平台，并对算法进行计算，获取计算结果，并对计算结果进行封装，发送至上行消息队列，当总部级数据中心平台监听到封装的计算结果后，对计算结果进行提取。
[0008]可选的，方法还包括，构建总部级数据中心平台、省级协同计算节点、总部级数据中心平台和省级数据中心平台。
[0009]可选的，省级数据中心平台及省级协同计算节点，分别包括多个，且省级数据中心平台与省级协同计算节点数目相同。
[0010]可选的，省级数据中心平台包括Spark组件。
[0011]本专利技术还提出了一种面向分布式管理的两级协同计算系统，包括：
[0012]队列创建单元，通过总部级数据中心平台，创建上行/下行消息队列；
[0013]监听单元，使用省级协同计算节点监听下行消息队列，使用总部级数据中心平台监听上行行消息队列；
[0014]封装单元，通过总部级算法构建平台构建算法，将构建的算法封装为消息发送至下行消息队列；
[0015]协同计算单元，当省级协同计算节点监听到消息后，对封装的算法进行提取，并将提取的算法传输至省级数据中心平台，并对算法进行计算，获取计算结果，并对计算结果进行封装，发送至上行消息队列，当总部级数据中心平台监听到封装的计算结果后，对计算结果进行提取。
[0016]可选的，系统还包括：初始单元，构建总部级数据中心平台、省级协同计算节点、总部级数据中心平台和省级数据中心平台。
[0017]可选的，省级数据中心平台及省级协同计算节点，分别包括多个，且省级数据中心平台与省级协同计算节点数目相同。
[0018]可选的，省级数据中心平台包括Spark组件。
[0019]本专利技术解决了远程数据无法大规模充分利用与算法一致性问题。
附图说明
[0020]图1为本专利技术方法的流程图；
[0021]图2为本专利技术方法实施例方法的原理图；
[0022]图3为本专利技术系统的结构图。
具体实施方式
[0023]现在参考附图介绍本专利技术的示例性实施方式，然而，本专利技术可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本专利技术，并且向所属
的技术人员充分传达本专利技术的范围。对于表示在附图中的示例性实施方式中的术语并不是对本专利技术的限定。在附图中，相同的单元/元件使用相同的附图标记。
[0024]除非另有说明，此处使用的术语(包括科技术语)对所属
的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。
[0025]本专利技术提出了一种面向分布式管理的两级协同计算方法，如图1所示，包括：
[0026]构建总部级数据中心平台、省级协同计算节点、总部级数据中心平台和省级数据中心平台；
[0027]通过总部级数据中心平台，创建上行/下行消息队列；
[0028]使用省级协同计算节点监听下行消息队列，使用总部级数据中心平台监听上行行消息队列；
[0029]通过总部级算法构建平台构建算法，将构建的算法封装为消息发送至下行消息队列；
[0030]当省级协同计算节点监听到消息后，对封装的算法进行提取，并将提取的算法传输至省级数据中心平台，并对算法进行计算，获取计算结果，并对计算结果进行封装，发送至上行消息队列，当总部级数据中心平台监听到封装的计算结果后，对计算结果进行提取。
[0031]其中，省级数据中心平台及省级协同计算节点，分别包括多个，且省级数据中心平台与省级协同计算节点数目相同。
[0032]其中，省级数据中心平台包括Spark组件。
[0033]下面结合实施例对本专利技术进行进一步说明：
[0034]如图2所示，包括：
[0035](1)构建总部级算法构建平台，用于大数据算法的生成或上传维护；构建省级协同计算节点，用于将收到的大数据算法提交到省级数据中台，并接收计算结果；含Spark组件省级数据中台，用于执行接收的Spark大数据算法，并将结果返回；基于消息队列的数据交换组件，包括消息队列服务端、总部级消息队列客户端、省级消息队列客户端。各系统组件的数据交互关系如图1所示，其地址信息如表1所示。
[0036](2)通过消息队列服务端创建“总部
‑
数据交换平台”上行队列、“总部
‑
数据交换平台”下行队列，同时为每家接入的省级单位创建“省公司
‑
数据交换平台”上行队列1个、“省公司
‑
数据交换平台”下行队列1个，详细信息如表2所示。
[0037](3)通过总部级消息队列客户端监听“数据交换平台
‑
总部”上行消息队列，确保有消息到达上行消息队列时监听程序能够及时处理；各省级节点消息队列客户端监听“数据交换平台
‑
省公司”下行消息队列，确保有消息到达下行消息队列时监听程序能够及时处理。
[0038](4)总部算法构建平台构建算法，将该算法描述封装成消息后发送至“总部
‑
数据交换平台”下行消息队列，消息内容如表3第1条记录所示，涉及消息头、消息体两部分，具体包括令牌、消息编号、消息来源、发送目标、时间戳，以及经过zip压缩并Base64编码后的算法描述等内容；
...

【技术保护点】

【技术特征摘要】
1.一种面向分布式管理的两级协同计算方法，所述方法包括：通过总部级数据中心平台，创建上行/下行消息队列；使用省级协同计算节点监听下行消息队列，使用总部级数据中心平台监听上行行消息队列；通过总部级算法构建平台构建算法，将构建的算法封装为消息发送至下行消息队列；当省级协同计算节点监听到消息后，对封装的算法进行提取，并将提取的算法传输至省级数据中心平台，并对算法进行计算，获取计算结果，并对计算结果进行封装，发送至上行消息队列，当总部级数据中心平台监听到封装的计算结果后，对计算结果进行提取。2.根据权利要求1所述的方法，所述方法还包括，构建总部级数据中心平台、省级协同计算节点、总部级数据中心平台和省级数据中心平台。3.根据权利要求1所述的方法，所述省级数据中心平台及省级协同计算节点，分别包括多个，且省级数据中心平台与省级协同计算节点数目相同。4.根据权利要求1所述的方法，所述省级数据中心平台包括Spark组件。5.一种面向分布式管理的两级协同计算...

【专利技术属性】
技术研发人员：刘鹏，吕广宪，陆一鸣，王国庆，杜建，岑维聪，
申请(专利权)人：国家电网有限公司国网福建省电力有限公司厦门供电公司，
类型：发明
国别省市：