一种配电网云平台数据融合方法及配电网云平台技术

一种配电网云平台数据融合方法及配电网云平台，方法包括以下步骤：步骤1，将配电网数据接入配电网云平台，按照统一数据规范进行标准化格式存储，存储在分布式关系型数据库、分布式非关系型数据库和分布式文件系统中；步骤2，筛选出已接收的配电网数据中不符合要求的数据，进行数据清洗；步骤3，对步骤2已数据清洗的配电网数据进行不一致数据转换和数据粒度转换；步骤4，将步骤3中已数据转换的配电网数据构建为映射表，进行数据融合；步骤5，利用融合后的数据构建数据模型，形成数据中台，供后续系统及服务调用。本发明专利技术能够提高融合效率和正确性，使得融合结果能够支撑上层相关数据分析应用的准确性，最终提升配网运行大数据的应用效率。用效率。用效率。

【技术实现步骤摘要】
一种配电网云平台数据融合方法及配电网云平台


[0001]本专利技术属于配电网自动化
，更具体地，涉及一种配电网云平台数据融合方法及配电网云平台。

技术介绍

[0002]随着全国大电网的互连，信息的复杂性和层次性问题越发突出，对不同来源信息的处理显得非常重要。
[0003]一方面，配电网系统电气设备种类繁多、结构各异，其在线状态监测项目各有不同。由于不同电气设备在线监测的项目不同，会采用不同形式的传感器，因此采用两个或两个以上传感器进行在线测量的方式将得到更广泛的应用，而对多个传感器采集数据的处理将涉及到信息融合的问题。随着智能配电站、配电自动化的推广，面对日益增大的采集数据，信息融合及校核技术是提高准确率、提升效率的关键。
[0004]另一方面，配电系统涉及到的异构信息来源众多，包括配电管理系统(DMS)、PMS、营销系统(CM)、计量与负荷管理系统(MS)、工作管理系统(WMS)、CIS以及配电SCADA系统等，由于没有统一、严格的配电网模型描述标准，系统间的设备信息及字段格式都不同，可能存在同一个设备在不同的系统中命名、编号等信息都不同或者信息类型及数量不一致的情况。
[0005]由于各系统间的信息不一致，且信息存储的方式存在区别，不便进行统一处理，因此在进行配电网数据融合时，无法实现各设备、各系统间配电网数据的有效融合，融合效率不高，融合后的结果也不尽如人意，难以保证完整性、一致性和正确性，无法为后续系统或服务提供有力的数据支撑。

技术实现思路

[0006]为解决现有技术中存在的不足，本专利技术的目的在于，提供一种配电网云平台数据融合方法，其用于对配电自动化系统中的配电网模型数据进行数据融合，本方法通过对各系统间的数据进行清洗、转换，融合后构建统一的数据模型，提高融合效率和正确性，使得融合结果能够支撑上层相关数据分析应用的准确性，最终提升配网运行大数据的应用效率。
[0007]本专利技术采用如下的技术方案。一种配电网云平台数据融合方法，包括以下步骤：
[0008]步骤1，将配电网数据接入配电网云平台，按照统一数据规范进行标准化格式存储，存储在分布式关系型数据库、分布式非关系型数据库和分布式文件系统中；
[0009]步骤2，筛选出步骤1已接收的配电网数据中不符合要求的数据，进行数据清洗；
[0010]步骤3，对步骤2已数据清洗的配电网数据进行不一致数据转换和数据粒度转换；
[0011]步骤4，将步骤3中已数据转换的配电网数据构建为映射表，进行数据融合；
[0012]步骤5，利用融合后的数据构建数据模型，形成数据中台，供后续系统及服务调用。
[0013]优选地，步骤1中，对于配电网数据中的实时数据，使用基于Kafka分布式消息队列
的数据通道接入配电网云平台，在数据抽取过程中，通过定义消息描述信息的方式设置数据抽取的主题，生产者向主题写入数据，消费者从主题读取数据，通过Hadoop的并行加载机制统一线上和离线的消息处理让数据存入Hadoop集群。
[0014]优选地，步骤1中，对于配电网数据中的结构化数据，通过Sqoop工具，分割成多个数据集并创建Hadoop任务来并行处理每个区域，写入配电网云平台的分布式关系型数据库。
[0015]优选地，在导入开始之前，使用JDBC来检查需要导入的表，检索出表中所有的列以及列的SQL数据类型，这些SQL类型被映射到Java数据类型，在MapReduce应用中将使用这些对应的Java类型来保存字段的值。
[0016]优选地，数据导入过程中，Sqoop启动MapReduce作业使用JDBC连接方式从一个数据库表中读取内容，JDBC的ResultSet接口提供一个用户从检查结果中检索记录的游标，并将ResultSet中每一行数据来填充Sqoop创建的类，在生成反序列化代码和配置抽取数据源之后，Sqoop将作业发送到MapReduce集群，Map任务将执行查询并将ResultSet中的数据反序列化到生成类的实例，这些数据被持久化写到分布式文件系统中。
[0017]优选地，步骤2中，对于缺失应有信息的不完整数据，应进行过滤并反馈至原输入系统，填补缺失内容，补全后再写入数据库；
[0018]对于错误数据，通过写SQL语句的方式找出，并在修正之后抽取；
[0019]对于重复数据，将记录的所有字段导出，人工剔除重复部分。
[0020]优选地，步骤3中，将不同系统中的相同类型的数据统一；将不同系统中信息类别不同的设备信息统一，使同一类设备的信息类别一致。
[0021]优选地，步骤3中包括将不同系统中的同一设备的名称统一，具体包括：
[0022]步骤3.1，对不同系统设备的命名进行语义拆分；
[0023]步骤3.2，在设备名称拆分的基础上，对拆分出的词语做分析匹配；
[0024]步骤3.3，完成对各设备名称匹配，形成一组匹配列表；
[0025]步骤3.4，从列表中选择最合适的名称或另设一个最合适的名称作为当前设备名称，以使不同系统中同一设备的名称相统一。
[0026]本专利技术还提供了一种使用所述配电网云平台数据融合方法的配电网云平台，包括：
[0027]数据抽取模块，用于将配电网数据接入配电网云平台，按照统一数据规范进行标准化格式存储；
[0028]数据清洗模块，用于筛选出数据抽取模块已接收的配电网数据中不符合要求的数据，进行数据清洗；
[0029]数据转换模块，用于对数据清洗模块已数据清洗的配电网数据进行不一致数据转换和数据粒度转换；
[0030]数据融合模块，用于将数据转换模块已数据转换的配电网数据构建为映射表，进行数据融合；
[0031]数据建模模块，用于利用融合后的数据构建数据模型，形成数据中台，供后续系统及服务调用。
[0032]本专利技术的有益效果在于，与现有技术相比，本专利技术提供一种配电网云平台数据融
合方法，对各类系统数据提供不同的数据抽取和数据清洗方式，进行数据转换和融合后构建统一的数据模型，形成数据中台，供后续系统或服务调用。本专利技术能够提高融合效率和正确性，使得融合结果能够支撑上层相关数据分析应用的准确性，最终提升配网运行大数据的应用效率。
附图说明
[0033]图1为配电网数据融合流程图。
具体实施方式
[0034]下面结合附图对本申请作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本申请的保护范围。
[0035]如图1所示，本专利技术提供了一种配电网云平台数据融合方法，提取出不同业务系统对应的设备信息，进行清洗和转换后，使用统一的语义和格式定义转换后的数据，进行数据融合后构建统一的数据模型，形成数据中台，供后续系统或服务调用。本方法包含但不限于海量原型数据抽取、数据清洗、数据转换、数据融合、构建数据模型这五步
[0036]如图1所示，本专利技术提供了一种配电网云平台数据融合方法，包括以下步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种配电网云平台数据融合方法，其特征在于，包括以下步骤：步骤1，将配电网数据接入配电网云平台，按照统一数据规范进行标准化格式存储，存储在分布式关系型数据库、分布式非关系型数据库和分布式文件系统中；步骤2，筛选出步骤1已接收的配电网数据中不符合要求的数据，进行数据清洗；步骤3，对步骤2已数据清洗的配电网数据进行不一致数据转换和数据粒度转换；步骤4，将步骤3中已数据转换的配电网数据构建为映射表，进行数据融合；步骤5，利用融合后的数据构建数据模型，形成数据中台，供后续系统及服务调用。2.根据权利要求1所述的配电网云平台数据融合方法，其特征在于：步骤1中，对于配电网数据中的实时数据，使用基于Kafka分布式消息队列的数据通道接入配电网云平台，在数据抽取过程中，通过定义消息描述信息的方式设置数据抽取的主题，生产者向主题写入数据，消费者从主题读取数据，通过Hadoop的并行加载机制统一线上和离线的消息处理让数据存入Hadoop集群。3.根据权利要求1或2所述的配电网云平台数据融合方法，其特征在于：步骤1中，对于配电网数据中的结构化数据，通过Sqoop工具，分割成多个数据集并创建Hadoop任务来并行处理每个区域，写入配电网云平台的分布式关系型数据库。4.根据权利要求3所述的配电网云平台数据融合方法，其特征在于：在导入开始之前，使用JDBC来检查需要导入的表，检索出表中所有的列以及列的SQL数据类型，这些SQL类型被映射到Java数据类型，在MapReduce应用中将使用这些对应的Java类型来保存字段的值。5.根据权利要求4所述的配电网云平台数据融合方法，其特征在于：数据导入过程中，Sqoop启动MapReduce作业使用JDBC连接方式从一个数据库表中读取内容，JDBC的ResultSet接口提供一个用户从检查结果中检索记录的游标，并将ResultSet中每一行数据来填充Sqoop创建的类，在...

【专利技术属性】
技术研发人员：刘洋，李立生，孙勇，张世栋，张林利，刘合金，王峰，苏国强，李帅，张鹏平，由新红，黄敏，
申请(专利权)人：国家电网有限公司，
类型：发明
国别省市：