一种电网量测数据动态归集方法、系统及存储介质技术方案

本发明专利技术公开了一种电网量测数据动态归集方法、系统及存储介质，方法包括：事件特征预定义，以便识别特定事件，其中事件特征至少包括设备运行状态、电能表标识，其中特定事件至少包括正常请求、异常请求、慢响应；流式识别驱动的事件判定；基于事件判定结果，完成一定时间周期内数据冻结、数据接入、监测；通过一致性模型及唯一标识机制对各类型数据进行对齐和汇总。本发明专利技术能够解决对电网大批量量测数据的动态接入、实时同步、常态化监测的问题。常态化监测的问题。常态化监测的问题。

【技术实现步骤摘要】
一种电网量测数据动态归集方法、系统及存储介质


[0001]本专利技术涉及电网数据处理
，尤其涉及一种电网量测数据动态归集方法、系统及存储介质。

技术介绍

[0002]随着电网技术的不断发展，国内电网结构不断趋于复杂化、多样化。同时，伴随着互联网技术的飞速普及，国内电网更加趋于智能化，各项数据更加趋于自动化。智能电网产生的数据激增，为充分发挥数据的优势，智能电网数据共享势如破竹。
[0003]智能电网数据共享的第一步是量测数据的接入。目前对于用电采集系统的数据在接入过程中存在如下问题：（1）量测数据异源异构严重，造成数据接入及监测难度加大；（2）缺少支持大批量数据下以定制事件形式的数据归集，支撑标准统一的数据归集，同时保证归集结果实时同步，以保证数据价值的最大化。
[0004]可见，一种对电网大批量量测数据的动态接入、实时同步、常态化监测的数据归集方法尤为重要。

技术实现思路

[0005]本专利技术所要解决的技术问题在于，提供一种流式识别驱动的电网量测数据动态归集方法、系统及存储介质，以定制事件形式，完成对异源异构的电网量测数据的动态接入、实时同步和常态化监测。
[0006]为解决上述技术问题，本专利技术第一方面提供了一种流式识别驱动的电网量测数据动态归集方法，所述方法包括以下步骤：步骤1：事件特征预定义。针对特定事件设定事件特征，并通过正则表达式和字符串匹配制定相应的事件匹配规则。
[0007]步骤2：流式识别驱动的事件判定。根据事件匹配规则、缓存机制和流计算模型，高效识别包含事件特征的数据流，给出相应的事件判定结果。
[0008]步骤3：相关操作。根据步骤2给出的事件判定结果，对数据进行相关操作，包括：数据冻结、数据接入和监测。
[0009]步骤4：数据对齐及汇总。对于接入的数据，通过一致性模型和唯一标识机制进行验证、对齐、汇总和同步；并通过一致性模型和唯一标识机制对数据进行常态化监测，确保数据的有效性和完整性。
[0010]进一步地，步骤1所述的事件特征预定义，包括特定事件特征预定义和事件匹配规则制定，具体为：特定事件意为数据接入过程中可能发生的事件，事件特征用于识别特定事件。根据智能电网数据共享的需求以及用电采集系统的运行模型，特定事件定义使用唯一标识符标识，至少包括正常请求、异常请求、慢响应，事件特征至少包括设备运行状态、电能表标识。
[0011]事件匹配规则采用正则表达式和字符串匹配。根据定义好的特定事件和事件特征，制定事件匹配规则，其中正常请求标识0，异常请求标识1，慢响应标识2。
[0012]进一步地，步骤2所述的流式识别驱动的事件判定，具体为：采用事件匹配规则、缓存机制和流计算模型对数据不间断进行特定事件判定，采用事件识别算法，高效给出事件判定结果，事件判定结果使用唯一标识符标识，用于决定对数据的后续操作。
[0013]所述事件识别算法，输入为数据流，输出为存放事件判定结果Set和数据相关标识符。所述事件识别算法以匹配数据流信息与事件特征定义，匹配成功则给出事件判定结果，匹配失败则加入错误列表。
[0014]所述缓存机制是基于多线程的多节点缓存和高效获取机制，采用OpenTracing机制，并采用Hash B结果来存储缓存。
[0015]进一步地，步骤3所述的相关操作，包括数据冻结、数据接入和监测，具体为：数据冻结适用于用电采集系统每15分钟冻结数据规则，并采用步骤2所述缓存机制结构进行缓存。
[0016]数据接入适用于满足接入条件的数据，采用B Tree索引算法高速接入数据。
[0017]监测表示通过一致性模型和唯一标识机制对所有进行识别的数据进行常态化监测，确保其完整并有效。
[0018]进一步地，步骤4所述的数据对齐及汇总，包括：数据汇总、归并和同步，具体为：对于步骤3进行数据接入操作的数据，通过一致性模型和唯一标识机制，对数据进行汇总、归并，其中汇总适用于所有数据，归并适用于同源同构数据，通过广播方式对数据情况进行同步。
[0019]所述的数据汇总，包括对Set的汇总和对同源同构数据的对齐和汇总。
[0020]所述的数据同步，通过广播方式，更新数据标识符，使得同步接收到常态化监测的结果。
[0021]本专利技术第二方面提供了一种流式识别驱动的电网量测数据动态归集系统，所述系统包括：特征预定义单元，用于定义特定事件的事件特征，事件特征至少包括设备运行状态、电能表标识，并通过正则表达式和字符串匹配自动生成事件匹配规则。
[0022]事件判定单元，用于识别事件。应用事件匹配规则和流计算模型实现事件识别算法，通过缓存机制高效存储并输出事件判定结果，事件匹配过程中标识符为0的事件为正常请求事件，直接给出事件判定结果，标识符为1或2的事件为异常情况，需要加入缓存队列，广播并进行2次判定。
[0023]操作单元，用于完成数据的动态接入、实时同步和常态化监测。
[0024]本专利技术第三方面提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，所述的计算机程序被处理器运行时执行第一方面的流式识别驱动的电网量测数据动态归集方法的步骤。
[0025]与现有技术相比，本专利技术具有以下有益效果：本专利技术的一种流式识别驱动的电网量测数据动态归集方法、系统及存储介质，以事件定制形式，解决异源异构严重的、大批量的电网量测数据的动态接入、实时同步、常态
化监测问题。方法包括步骤：事件特征预定义、流式识别驱动的事件判定、相关操作和数据对齐及汇总，通过以上步骤保证数据接入的高效实时安全。系统包括：特征预定义单元、事件判定单元、操作单元，实现电网量测数据接入智能化，避免数据杂乱、共享难等问题，将数据价值发挥最大。
附图说明
[0026]图1为一种流式识别驱动的电网量测数据动态归集方法步骤示意图；图2为事件识别算法流程图；图3为数据缓存机制示意图；图4为数据对齐及汇总步骤示意图；图5为一种流式识别驱动的电网量测数据动态归集系统组成图。
具体实施方式
[0027]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步的详细说明。此处所描述的具体实施例仅用于解释本专利技术技术方案，并不限于本专利技术。
[0028]本专利技术实施例拟通过普通用电采集系统数据流作为数据接入目标，详细阐述本专利技术。
[0029]本专利技术实施例第一方面提供了一种流式识别驱动的电网量测数据动态归集方法，如图1所示，包括以下步骤：步骤1：事件特征预定义。针对特定事件设定事件特征，并通过正则表达式和字符串匹配制定相应的事件匹配规则。
[0030]步骤2：流式识别驱动的事件判定。根据事件匹配规则、缓存机制和流计算模型，高效识别包含事件特征的数据流，给出相应的事件判定结果。
[0031]步骤3：相关操作。根据步骤2给出的事件判定结果，对数据进行相关操作，包括：数据冻结、数据接入和监测。
[0032]步骤4：数据对齐及汇总本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电网量测数据动态归集方法，其特征在于：包括以下步骤：步骤1：事件特征预定义；事件特征用于识别特定事件，同时通过正则表达式和字符串匹配制定事件匹配规则；步骤2：流式识别驱动的事件判定；根据事件匹配规则、缓存机制和流计算模型，及时发现包含事件特征的数据流，给出相应的事件判定结果；步骤3：相关操作；根据步骤2给出的事件判定结果，对数据进行相关操作，包括：数据冻结、数据接入和监测；步骤4：数据对齐及汇总；对于接入的数据，通过一致性模型和唯一标识机制进行验证、对齐、汇总和同步；并通过一致性模型和唯一标识机制对数据进行常态化监测，确保数据的有效性和完整性。2.根据权利要求1所述的一种电网量测数据动态归集方法，其特征在于：步骤1所述的事件特征预定义，包括特定事件特征预定义和事件匹配规则制定，具体为：特定事件意为数据接入过程中可能发生的事件，事件特征用于识别特定事件；根据智能电网数据共享的需求以及用电采集系统的运行模型，特定事件定义使用唯一标识符标识，至少包括正常请求、异常请求、慢响应，事件特征至少包括设备运行状态、电能表标识；事件匹配规则采用正则表达式和字符串匹配；根据定义好的特定事件和事件特征，制定事件匹配规则，其中正常请求标识0，异常请求标识1，慢响应标识2。3.根据权利要求1所述的一种电网量测数据动态归集方法，其特征在于：步骤2所述的流式识别驱动的事件判定，具体为：采用事件匹配规则、缓存机制和流计算模型对数据不间断进行特定事件判定，采用事件识别算法，给出事件判定结果，事件判定结果使用唯一标识符标识，用于决定对数据的后续操作；所述事件识别算法，输入为数据流，输出为存放事件判定结果Set和数据相关标识符；所述事件识别算法以匹配数据流信息与事件特征定义，匹配成功则给出事件判定结果，匹配失败则加入错误列表；所述缓存机制，基于多线程的多节点缓存和高效获取机制，采用OpenTracing机制，并采用Ha...

【专利技术属性】
技术研发人员：余腾龙，胡潇，刘显明，
申请(专利权)人：国网江西省电力有限公司信息通信分公司，
类型：发明
国别省市：