基于多源异构的电力大数据自动化标签实现方法、系统技术方案

本发明专利技术提供一种基于多源异构的电力大数据自动化标签实现方法，首先将各个电力参与方作为节点构成分布式计算机模型，获取各个节点的存储数据和信息数据，并按照主题类别将归类后的存储数据和信息数据存储在元信息数据库中，再对元信息数据库中的数据进行预处理以形成规范化数据，而后调用预设的自动化标签生成规则或自动化标签生成模型以在本地创建计算容器，并通过MapReduce并行框架基于计算容器共同执行标签规则或算法以为规范化数据生成对应的标签，如此，实现多源异构电力大数据的标签技术，面向设备标签和用户标签，为电力监控和智能分析提供业务化和智能化的标签服务和应用展示。和应用展示。和应用展示。

【技术实现步骤摘要】
基于多源异构的电力大数据自动化标签实现方法、系统


[0001]本专利技术涉及信息化管理
，更为具体地，涉及一种基于多源异构的电力大数据自动化标签实现方法、系统。

技术介绍

[0002]随着电力需求的迅速增长，电网规模日益扩大，电力业务系统的结构和管理模式也随之日益复杂。在电力设备急速增长的背景环境下，传统的中心化电力数据的管理和分析模式已无法满足多源数据管理中针对高并行、高可靠性、高容错性的应用需求，对于多系统跨部门的协同场景下，尚存在数据口径不统一、治理标准不一致、分析方法不兼容等问题。不同机构、不同厂站之间的设备和对应的用户数据无法统一汇聚到平台上进行管理和分析，无法实现系统间的互联互通，多源异构数据的管理和分析尚存在效率低和数据隐私安全等问题。
[0003]因此，亟需一种方法或系统来实现多源跨机构的电力设备和用户数据的管理。

技术实现思路

[0004]鉴于上述问题，本专利技术的目的是提供一种基于多源异构的电力大数据自动化标签实现方法、系统，以解决传统的中心化电力数据的管理和分析模式无法满足多源数据管理中针对高并行、高可靠性、高容错性的应用需求，对于多系统跨部门的协同场景下，尚存在数据口径不统一、治理标准不一致、分析方法不兼容的问题。
[0005]本专利技术提供的一种基于多源异构的电力大数据自动化标签实现方法，其中，包括：
[0006]将各个电力参与方作为节点构成分布式计算机模型；
[0007]获取所述分布式计算机模型中各个节点的存储数据和信息数据，并按照主题类别进行归类，再将按照所述主题类别归类后的存储数据和信息数据存储在元信息数据库中；
[0008]基于算法库对所述元信息数据库中的数据进行预处理以形成规范化数据；
[0009]调用预设的自动化标签生成规则或自动化标签生成模型以在本地创建计算容器，并通过MapReduce并行框架基于所述计算容器共同执行所述标签规则或算法以为所述规范化数据生成对应的标签。
[0010]优选地，所述电力参与方至少包括场站系统、业务系统、生产系统。
[0011]优选地，获取各个节点的存储数据和信息数据，并按照主题类别将归类后的存储数据和信息数据存储在元信息数据库中的过程，包括：
[0012]采集关于各个节点的本地数据，并将所述本地数据存储至预先构建的本地数据库中以形成存储数据；
[0013]使各个节点向所述分布式计算机模型的服务调度模块进行节点注册，获取关于各个节点的物理位置及节点网址以取得信息数据；
[0014]针对所述存储数据和所述信息数据建立主题；
[0015]按照数据规格对所述存储数据和所述信息数据进行主题所属划分以形成规格数
据，并将所述规格数据存储在与所属主题相对应的元信息数据库中。
[0016]优选地，所述数据规格至少包括：数据标准、数据结构、数据格式、数据类型、数据精度、和数据所属设备命名。
[0017]优选地，按照数据规格对所述存储数据和所述信息数据进行主题所属划分的过程包括：
[0018]各个节点通过所述服务调度模块获取预设的主题列表；
[0019]在所述主题列表中挑选主题进行订阅，并获取与所挑选的主题相关的数据规格；
[0020]按照所述数据规格对所述存储数据和所述信息数据进行主题所属划分。
[0021]优选地，在基于算法库对所述元信息数据库中的数据进行预处理以形成规范化数据之前，还包括：
[0022]通过规则引擎制定自动化标签生成规则，并建立算法模型；其中，所述算法模型包括基于预处理算法的预处理模型和基于机器学习的自动化标签生成模型；
[0023]将所述自动化标签生成规则与算法模型存储至算法库中。
[0024]优选地，基于算法库对所述元信息数据库中的数据进行预处理以形成规范化数据的过程，包括：
[0025]使各个节点根据所述元信息数据库中的数据在所述算法库中调用所述预处理模型；
[0026]判断所述预处理模型中是否存在与所述元信息数据库中的数据相对应的预处理算法；其中，
[0027]若存在与所述元信息数据库中的数据相对应的预处理算法，则基于所述预处理算法对所述元信息数据库中的数据进行预处理以形成规范化数据；若不存在与所述元信息数据库中的数据相对应的预处理算法，则在节点本地自建与所述元信息数据库中的数据相对应的本地预处理算法，并通过所述本地预处理算法对所述元信息数据库中的数据进行预处理以形成规范化数据；
[0028]其中，所述预处理算法包括：数据清洗、数据集成、数据规约。
[0029]优选地，通过MapReduce并行框架基于所述计算容器共同执行所述标签规则或算法以为所述规范化数据生成对应的标签之后，还包括：
[0030]将所述标签、根据所述标签运行或训练后形成的模型存储至标签库中；
[0031]连接所述标签库与所述元信息数据库，并建立所述标签库的外接搜索查询链接；
[0032]通过所述搜索查询链接进行标签查询以调用与所述标签对应的数据。
[0033]本专利技术还提供一种基于多源异构的电力大数据自动化标签实现系统，实现如前所述的，包括：
[0034]计算机服务单元，用于将各个电力参与方作为节点构成分布式计算机模型；
[0035]数据服务单元，用于获取所述分布式计算机模型中各个节点的存储数据和信息数据，并按照主题类别进行归类，再将按照所述主题类别归类后的存储数据和信息数据存储在元信息数据库中，且用于基于算法库对所述元信息数据库中的数据进行预处理以形成规范化数据；
[0036]标签中心单元，用于调用预设的自动化标签生成规则或自动化标签生成模型以在本地创建计算容器，并通过MapReduce并行框架基于所述计算容器共同执行所述标签规则
或算法以为所述规范化数据生成对应的标签。
[0037]优选地，所述计算机服务单元包括服务调度模块和存储模块，其中，
[0038]所述服务调度模块用于为各个节点提供服务接口，所述服务接口至少包括对各个节点进行节点注册的注册接口，使各个节点获取预设的主题列表的主题接口；所述主题接口包括主题订阅接口、主题元信息接口、主体标准接口和主题建模接口；
[0039]所述存储模块用于承载算法库，并存储规则引擎以制定自动化标签生成规则；其中，所述算法库存储有所述自动化标签生成规则与算法模型；所述算法模型包括基于预处理算法的预处理模型和基于机器学习的自动化标签生成模型。
[0040]从上面的技术方案可知，本专利技术提供的基于多源异构的电力大数据自动化标签实现方法、系统，首先将各个电力参与方作为节点构成分布式计算机模型，获取各个节点的存储数据和信息数据，并按照主题类别将归类后的存储数据和信息数据存储在元信息数据库中，再基于算法库对元信息数据库中的数据进行预处理以形成规范化数据，而后调用预设的自动化标签生成规则或自动化标签生成模型以在本地创建计算容器，并通过MapReduce并行框架基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多源异构的电力大数据自动化标签实现方法，其特征在于，包括：将各个电力参与方作为节点构成分布式计算机模型；获取所述分布式计算机模型中各个节点的存储数据和信息数据，并按照主题类别进行归类，再将按照所述主题类别归类后的存储数据和信息数据存储在元信息数据库中；基于算法库对所述元信息数据库中的数据进行预处理以形成规范化数据；调用预设的自动化标签生成规则或自动化标签生成模型以在本地创建计算容器，并通过MapReduce并行框架基于所述计算容器共同执行所述标签规则或算法以为所述规范化数据生成对应的标签。2.如权利要求1所述的基于多源异构的电力大数据自动化标签实现方法，其特征在于，所述电力参与方至少包括场站系统、业务系统、生产系统。3.如权利要求1所述的基于多源异构的电力大数据自动化标签实现方法，其特征在于，获取各个节点的存储数据和信息数据，并按照主题类别将归类后的存储数据和信息数据存储在元信息数据库中的过程，包括：采集关于各个节点的本地数据，并将所述本地数据存储至预先构建的本地数据库中以形成存储数据；使各个节点向所述分布式计算机模型的服务调度模块进行节点注册，获取关于各个节点的物理位置及节点网址以取得信息数据；针对所述存储数据和所述信息数据建立主题；按照数据规格对所述存储数据和所述信息数据进行主题所属划分以形成规格数据，并将所述规格数据存储在与所属主题相对应的元信息数据库中。4.如权利要求3所述的基于多源异构的电力大数据自动化标签实现方法，其特征在于，所述数据规格至少包括：数据标准、数据结构、数据格式、数据类型、数据精度、和数据所属设备命名。5.如权利要求4所述的基于多源异构的电力大数据自动化标签实现方法，其特征在于，按照数据规格对所述存储数据和所述信息数据进行主题所属划分的过程包括：各个节点通过所述服务调度模块获取预设的主题列表；在所述主题列表中挑选主题进行订阅，并获取与所挑选的主题相关的数据规格；按照所述数据规格对所述存储数据和所述信息数据进行主题所属划分。6.如权利要求1所述的基于多源异构的电力大数据自动化标签实现方法，其特征在于，在基于算法库对所述元信息数据库中的数据进行预处理以形成规范化数据之前，还包括：通过规则引擎制定自动化标签生成规则，并建立算法模型；其中，所述算法模型包括基于预处理算法的预处理模型和基于机器学习的自动化标签生成模型；将所述自动化标签生成规则与算法模型存储至算法库中。7.如权利要求6所述的基于多源异构的电力大数据自动化标签实现方法，其特征在于，基于算法库对所述元信息数据库中的数据进行预处理以形成规范化数...

【专利技术属性】
技术研发人员：闾海荣，许瑞坤，王维笑，孙艺新，李心达，崔维平，黄林，李科，
申请(专利权)人：国网能源研究院有限公司国网四川省电力公司，
类型：发明
国别省市：