多源异构电力负荷数据融合方法、装置、设备和存储介质制造方法及图纸

本申请涉及一种多源异构电力负荷数据融合方法、装置、设备和存储介质。该方法包括：获取电力负荷数据的多源异构文本，对所述异构文本进行格式归一化处理；对所述异构文本提取关键字符构建知识字典，通过多源对象名分类得到所述异构文本的对象数据库；采用MapReduce编程模型并行处理技术将所述知识字典和所述对象名匹配，再将所述对象名和对象数据匹配；对Reduce处理后的多源匹配结果进行纵向参数融合与横向参数融合。通过对多源异构电网负荷大数据的多层次处理，提供了从融合到评估的一整套电力大数据融合策略及评估，数据融合的实用性强、效率高。效率高。效率高。

【技术实现步骤摘要】
多源异构电力负荷数据融合方法、装置、设备和存储介质


[0001]本申请涉及大数据领域，特别是涉及一种多源异构电力负荷数据融合方法、装置、设备和存储介质。

技术介绍

[0002]电力负荷数据具有规模数量级大、种类繁多和变化速度快等特性，是典型的大数据。目前，根据专业需求不同，各部门通常都建立了独自的模型参数库并且各自独立进行维护，因缺乏协同管理机制，很难保证其一致性，具体体现为不同专业的参数以不同类型、不同编码与命名规则的文件形式存储，彼此之间难以互相辨识及共享参数信息。
[0003]公开号为CN107402976A的专利文献公开了一种基于多元异构模型的电网多源数据融合方法及系统，建立包括各源系统数据统一模型，通过模型遍历比对，计算模型间匹配度，实现了90％以上的数据自动集成融合，但该方法及系统并未提出针对电力负荷大数据的相关方法，针对性弱；公开号为CN103617557A的专利文献针对电网运行参数提出一种多源异构电网运行参数分析系统，但对于海量参数处理未引入相关的大数据处理技术，数据处理效率有待提升。因此，如何提高负荷数据融合的针对性和处理技术需要进一步的技术创新。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种多源异构电力负荷数据融合方法、装置、设备和存储介质。
[0005]第一方面，本专利技术实施例提供了一种多源异构电力负荷数据融合方法，包括以下步骤：
[0006]获取电力负荷数据的多源异构文本，对所述异构文本进行格式归一化处理；
[0007]对所述异构文本提取关键字符构建知识字典，通过多源对象名分类得到所述异构文本的对象数据库；
[0008]采用MapReduce编程模型并行处理技术将所述知识字典和所述对象名匹配，再将所述对象名和对象数据匹配；
[0009]对Reduce处理后的多源匹配结果进行纵向参数融合与横向参数融合。
[0010]进一步的，在对所述异构文本进行融合后，还包括融合数据的评估，所述融合数据的评估包括：
[0011]通过与所述知识字典和所述对象数据库的数据实时校验，完成参数的在线修正；
[0012]对融合后数据与融合前数据进行比对，剔除融合过程中产生的错值、异常值；
[0013]对同一对象数据保证其唯一性，剔除融合过程中重复数据产生的冗余；
[0014]评估时间有效性与空间有效性，使得融合数据的实时和全面。
[0015]进一步的，所述对所述异构文本提取关键字符构建知识字典，通过多源对象名分类得到所述异构文本的对象数据库，包括：
[0016]从电力系统的Web Service接口中获得包括Excel文件、DAT文件、CIM文件的多源异构文本格式；
[0017]将归一化后的所述异构文本通过关键字符提取、名称筛选去重得到所述知识字典；
[0018]将归一化的所述异构文本通过多对象名分类、对应数值整理得到所述对象数据库。
[0019]进一步的，所述对Reduce处理后的多源匹配结果进行纵向参数融合与横向参数融合，包括：
[0020]消除同一部门专业在不同级别的参数差异，通过引入差异度函数完成纵向参数融合：
[0021]通过同一级别调度中不同专业部门之间的参数融合完成横向参数融合。
[0022]另一方面，本专利技术实施例还提供了一种多源异构电力负荷数据融合系统，包括：
[0023]负荷数据预处理模块，用于获取电力负荷数据的多源异构文本，对所述异构文本进行格式归一化处理；
[0024]数据分类模块，用于对所述异构文本提取关键字符构建知识字典，通过多源对象名分类得到所述异构文本的对象数据库；
[0025]数据匹配模块，用于采用MapReduce编程模型并行处理技术将所述知识字典和所述对象名匹配，再将所述对象名和对象数据匹配；
[0026]参数融合模块，用于对Reduce处理后的多源匹配结果进行纵向参数融合与横向参数融合。
[0027]进一步的，还包括融合评估模块，所述融合评估模块用于：
[0028]通过与所述知识字典和所述对象数据库的数据实时校验，完成参数的在线修正；
[0029]对融合后数据与融合前数据进行比对，剔除融合过程中产生的错值、异常值；
[0030]对同一对象数据保证其唯一性，剔除融合过程中重复数据产生的冗余；
[0031]评估时间有效性与空间有效性，使得融合数据的实时和全面。
[0032]进一步的，所述数据分类模块包括文本归一单元，所述文本归一单元用于：
[0033]从电力系统的Web Service接口中获得包括Excel文件、DAT文件、CIM文件的多源异构文本格式；
[0034]将归一化后的所述异构文本通过关键字符提取、名称筛选去重得到所述知识字典；
[0035]将归一化的所述异构文本通过多对象名分类、对应数值整理得到所述对象数据库。
[0036]进一步的，所述参数融合模块包括分类融合单元，所述分类融合单元用于：
[0037]消除同一部门专业在不同级别的参数差异，通过引入差异度函数完成纵向参数融合：
[0038]通过同一级别调度中不同专业部门之间的参数融合完成横向参数融合。
[0039]本专利技术实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0040]获取电力负荷数据的多源异构文本，对所述异构文本进行格式归一化处理；
[0041]对所述异构文本提取关键字符构建知识字典，通过多源对象名分类得到所述异构文本的对象数据库；
[0042]采用MapReduce编程模型并行处理技术将所述知识字典和所述对象名匹配，再将所述对象名和对象数据匹配；
[0043]对Reduce处理后的多源匹配结果进行纵向参数融合与横向参数融合。
[0044]本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0045]获取电力负荷数据的多源异构文本，对所述异构文本进行格式归一化处理；
[0046]对所述异构文本提取关键字符构建知识字典，通过多源对象名分类得到所述异构文本的对象数据库；
[0047]采用MapReduce编程模型并行处理技术将所述知识字典和所述对象名匹配，再将所述对象名和对象数据匹配；
[0048]对Reduce处理后的多源匹配结果进行纵向参数融合与横向参数融合。
[0049]上述多源异构电力负荷数据融合方法、装置、设备和存储介质，包括了负荷电力数据的融合策略和对应的数据融合质量评估方法。所述融合策略中的对象数据库与知识字典实现对多源负荷数据对象名与对象值的结构分离，MapReduce并行处理技术用于提高匹配效率，纵向参数融合与横向参数融合用于对Reduce处理后的结果进行融合；所述评估方法对数据融合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多源异构电力负荷数据融合方法，其特征在于，包括以下步骤：获取电力负荷数据的多源异构文本，对所述异构文本进行格式归一化处理；对所述异构文本提取关键字符构建知识字典，通过多源对象名分类得到所述异构文本的对象数据库；采用MapReduce编程模型并行处理技术将所述知识字典和所述对象名匹配，再将所述对象名和对象数据匹配；对Reduce处理后的多源匹配结果进行纵向参数融合与横向参数融合。2.根据权利要求1所述的方法，其特征在于，在对所述异构文本进行融合后，还包括融合数据的评估，所述融合数据的评估包括：通过与所述知识字典和所述对象数据库的数据实时校验，完成参数的在线修正；对融合后数据与融合前数据进行比对，剔除融合过程中产生的错值、异常值；对同一对象数据保证其唯一性，剔除融合过程中重复数据产生的冗余；评估时间有效性与空间有效性，使得融合数据的实时和全面。3.根据权利要求2所述的方法，其特征在于，所述对所述异构文本提取关键字符构建知识字典，通过多源对象名分类得到所述异构文本的对象数据库，包括：从电力系统的Web Service接口中获得包括Excel文件、DAT文件、CIM文件的多源异构文本格式；将归一化后的所述异构文本通过关键字符提取、名称筛选去重得到所述知识字典；将归一化的所述异构文本通过多对象名分类、对应数值整理得到所述对象数据库。4.根据权利要求2所述的方法，其特征在于，所述对Reduce处理后的多源匹配结果进行纵向参数融合与横向参数融合，包括：消除同一部门专业在不同级别的参数差异，通过引入差异度函数完成纵向参数融合：通过同一级别调度中不同专业部门之间的参数融合完成横向参数融合。5.一种多源异构电力负荷数据融合系统，其特征在于，包括：负荷数据预处理模块，用于获取电力负荷数据的多源异构文本，对所述异构文本进行格式归一化处理；数据分类模块，用于对所述异构文本提取关键字符...

【专利技术属性】
技术研发人员：夏刚，胡勇胜，陈金鑫，邓盛名，邓鹏程，李贤名，周乐，王翔，余斌，李华喜，罗红祥，丁旭，康志远，马腾飞，谭曜堃，刘茗溪，黄孔，
申请(专利权)人：五凌电力有限公司，
类型：发明
国别省市：