基于流计算的风电机组scada数据的实时处理方法技术

本发明专利技术公开了一种基于流计算的风电机组scada数据的实时处理方法，包括以下步骤，A）接收风机机组scada数据；B）去除重复数据；C）数据标准化处理；D）数据运行状态解析；E）保存数据；F）诊断风电机组的运行状态：根据保存数据，对风电机组的运行状态发生故障时，进行诊断。本发明专利技术的基于流计算的风电机组scada数据的实时处理方法，处理风电scada实时数据，处理性能高，可扩展性强，处理方式灵活，编码量低，为风电scada实时数据处理提供了新的方法，具有良好的应用前景。

Real time processing method of SCADA data of wind turbine based on flow calculation

The invention discloses a real-time processing method for flow calculation of wind turbine based on SCADA data, which includes the following steps: A) receiving SCADA data of fan unit; B) the removal of duplicate data; C) data standardization; D) running data analysis; data storage; E) F) running state diagnosis power: according to the stored data, the running state of wind turbine fault diagnosis. Real time processing method of the invention is based on the calculation of the flow of wind turbine SCADA data processing, real-time data processing of wind power SCADA, high performance, scalable, flexible approach, encoding for the wind power is low, SCADA also provides a new method of real-time data processing, has a good prospect.

【技术实现步骤摘要】
基于流计算的风电机组scada数据的实时处理方法
本专利技术涉及风电数据处理
，具体涉及一种基于流计算的风电机组scada数据的实时处理方法。
技术介绍
风电机组scada（SupervisoryControlAndDataAcquisition）数据采集频率较高，大多是一秒钟一次采集，而且采集点较多，一台风机会涉及1000-2000个测点，因此，一台风机一天会产生200MB数据，一个大型风场在200台风机左右，每秒一个风场会产生30万个测点数据。目前，风电机组scada数据大多由各个风机厂家的scada系统进行处理，随着精益化管理的需求，需要构建统一的scada数据处理系统，以便对整个风电场内的风电机组scada数据进行统一接入和处理，同时能够针对多个风机厂家的scada数据进行标准化处理，并将标准化后的数据在风电机组发生故障时发送给风机故障诊断算法，以便对风机故障进行诊断。传统的基于关系数据库的处理架构，由于系统可扩展性的限制，无法完成对于大规模风电场风电机组数据的统一接入与处理，是当前急需解决的问题。
技术实现思路
本专利技术的目的是克服现有的基于关系数据库的处理架构，由于系统可扩展性的限制，无法完成对于大规模风电场风电机组数据的统一接入与处理的问题。本专利技术的基于流计算的风电机组scada数据的实时处理方法，处理风电scada实时数据，处理性能高，可扩展性强，处理方式灵活，编码量低，为风电scada实时数据处理提供了新的方法，具有良好的应用前景。为了达到上述目的，本专利技术所采用的技术方案是：一种基于流计算的风电机组scada数据的实时处理方法，其特征在于：包括以下步骤，步骤（A），接收风机机组scada数据；步骤（B），去除重复数据：解析每台风机机组每秒钟scada实时数据的断面数据，并根据MD5算法对断面数据进行去重处理，将重复数据丢弃，且保证每个断面数据只被处理一次；步骤（C），数据标准化处理：对各个厂家除重复数据的scada实时数据作标准化处理，标注化处理需要经历数据映射、度量处理、阈值处理三个单元，从而构造统一的scada数据库；步骤（D），数据运行状态解析：在数据标准化处理同时，根据风机运行状态判断规则，对各个厂家除重复数据的scada实时数据进行运行状态解析，得到风机运行状态数据；步骤（E），保存数据：对步骤（D）得到的风机运行状态数据进行保存，并将标准化处理后的scada数据库内的数据保存到分布式数据仓库Hive中，并风机运行状态数据中的额风机运行数据保存到关系数据库mysql中；步骤（F），诊断风电机组的运行状态：根据保存数据，对风电机组的运行状态发生故障时，进行诊断。前述的基于流计算的风电机组scada数据的实时处理方法，其特征在于：步骤（A）接收风机机组scada数据的过程如下：（A1）风机机组的运行数据通过采集器存入分布式消息队列kafaka中；（A2）根据不同厂家的scada系统建立不同的消息主题，通过流计算引擎storm程序订阅各主题消息，从而获取scada系统的scada实时数据；（A3）将获取scada实时数据放置到复杂事件处理引擎esper中。前述的基于流计算的风电机组scada数据的实时处理方法，其特征在于：步骤（B）根据MD5算法对断面数据进行去重处理，将重复数据丢弃的过程如下：先对断面数据中每一个测点进行求MD5值，根据各个测点的MD5值，二次取MD5值，若二次取的MD5值重复，则判断为重复数据，病将重复数据丢弃。前述的基于流计算的风电机组scada数据的实时处理方法，其特征在于：步骤（C）数据标准化处理中的数据映射单元的处理过程如下：根据scada实时测点数据的映射规则，建立标准化数据，映射规则存储于配置库中，通过复杂事件处理引擎esper的epl语句，执行映射规则，将不同厂家的scada实时数据统一为标准化的测点数据。前述的基于流计算的风电机组scada数据的实时处理方法，其特征在于：所述数据映射单元的处理过程中对只有个别厂家才有的点位数据，置为空值。前述的基于流计算的风电机组scada数据的实时处理方法，其特征在于：步骤（C）数据标准化处理中的度量处理单元的处理过程如下：根据scada实时测点度量配置规则，通过复杂事件处理引擎esper的epl语句，解析度量配置规则，对不同厂家的scada实时数据同一度量单位。前述的基于流计算的风电机组scada数据的实时处理方法，其特征在于：步骤（C）数据标准化处理中的阈值处理单元的处理过程如下：根据scada实时测点阈值处理规则，对scada实时数据中会出现异常数值进行过滤或规整处理，通过复杂事件处理引擎esper的epl语句解析阈值处理规则，和已配置的scada实时测点阈值区间进行比较，将scada实时数据不在阈值区间的异常数据，处理成空值。前述的基于流计算的风电机组scada数据的实时处理方法，其特征在于：步骤（D），根据风机运行状态判断规则，对各个厂家除重复数据的scada实时数据进行运行状态解析，得到风机运行状态数据，包括以下步骤，（D1）通过复杂事件处理引擎esper的epl语句，解析风机运行状态判断规则，结合多个scada实时数据测点状态位以及测点值，判断风机运行状态；（D2）记录风机各运行状态的持续时间。前述的基于流计算的风电机组scada数据的实时处理方法，其特征在于：步骤（F），根据保存数据，对风电机组的运行状态发生故障时，进行诊断，包括以下步骤，（F1）在保存数据内检测到故障代码时，将故障代码及发生故障时标准化后的风机断面数据，传递给风机故障诊断算法；（F2）利用风机故障诊断算法分析故障代码以及风机断面数据，给出风机的故障原因；（F3）将得到的风机的故障原因，保存到关系数据库mysql中，便于查询。本专利技术的有益效果是：本专利技术的基于流计算的风电机组scada数据的实时处理方法，对风电场风机机组的scada实时数据进行处理，综合利用消息队列及复杂事件处理技术，完成数据处理工作，采用消息队列，保证不会因为数据量大，并发量高而导致堵塞，通过复杂事件处理对风机进行标准化和状态分析，复杂事件处理引擎解析数据标准化及状态判定规则，完成数据标准化和状态分析，处理效率高，规则可配置性强，适应性高，采用本专利技术进行处理风电scada实时数据，处理性能高，可扩展性强，处理方式灵活，编码量低，为风电scada实时数据处理提供了新的方法，具有良好的应用前景。附图说明图1是本专利技术的基于流计算的风电机组scada数据的实时处理方法的流程图。具体实施方式下面将结合说明书附图，对本专利技术作进一步的说明。如图1所示，本专利技术的基于流计算的风电机组scada数据的实时处理方法，包括以下步骤，步骤（A），接收风机机组scada数据，过程如下：（A1）风机机组的运行数据通过采集器存入分布式消息队列kafaka中；（A2）根据不同厂家的scada系统建立不同的消息主题，通过流计算引擎storm程序订阅各主题消息，从而获取scada系统的scada实时数据；（A3）将获取scada实时数据放置到复杂事件处理引擎esper中；步骤（B），去除重复数据：解析每台风机机组每秒钟scada实时数据的断面数据，并根据MD5算法对断面数据进行去重处理，本文档来自技高网...

【技术保护点】
基于流计算的风电机组scada数据的实时处理方法，其特征在于：包括以下步骤，步骤（A），接收风机机组scada数据；步骤（B），去除重复数据：解析每台风机机组每秒钟scada实时数据的断面数据，并根据MD5算法对断面数据进行去重处理，将重复数据丢弃，且保证每个断面数据只被处理一次；步骤（C），数据标准化处理：对各个厂家除重复数据的scada实时数据作标准化处理，标注化处理需要经历数据映射、度量处理、阈值处理三个单元，从而构造统一的scada数据库；步骤（D），数据运行状态解析：在数据标准化处理同时，根据风机运行状态判断规则，对各个厂家除重复数据的scada实时数据进行运行状态解析，得到风机运行状态数据；步骤（E），保存数据：对步骤（D）得到的风机运行状态数据进行保存，并将标准化处理后的scada数据库内的数据保存到分布式数据仓库Hive中，并风机运行状态数据中的额风机运行数据保存到关系数据库mysql中；步骤（F），诊断风电机组的运行状态：根据保存数据，对风电机组的运行状态发生故障时，进行诊断。

【技术特征摘要】
1.基于流计算的风电机组scada数据的实时处理方法，其特征在于：包括以下步骤，步骤（A），接收风机机组scada数据；步骤（B），去除重复数据：解析每台风机机组每秒钟scada实时数据的断面数据，并根据MD5算法对断面数据进行去重处理，将重复数据丢弃，且保证每个断面数据只被处理一次；步骤（C），数据标准化处理：对各个厂家除重复数据的scada实时数据作标准化处理，标注化处理需要经历数据映射、度量处理、阈值处理三个单元，从而构造统一的scada数据库；步骤（D），数据运行状态解析：在数据标准化处理同时，根据风机运行状态判断规则，对各个厂家除重复数据的scada实时数据进行运行状态解析，得到风机运行状态数据；步骤（E），保存数据：对步骤（D）得到的风机运行状态数据进行保存，并将标准化处理后的scada数据库内的数据保存到分布式数据仓库Hive中，并风机运行状态数据中的额风机运行数据保存到关系数据库mysql中；步骤（F），诊断风电机组的运行状态：根据保存数据，对风电机组的运行状态发生故障时，进行诊断。2.根据权利要求1所述的基于流计算的风电机组scada数据的实时处理方法，其特征在于：步骤（A）接收风机机组scada数据的过程如下：（A1）风机机组的运行数据通过采集器存入分布式消息队列kafaka中；（A2）根据不同厂家的scada系统建立不同的消息主题，通过流计算引擎storm程序订阅各主题消息，从而获取scada系统的scada实时数据；（A3）将获取scada实时数据放置到复杂事件处理引擎esper中。3.根据权利要求1所述的基于流计算的风电机组scada数据的实时处理方法，其特征在于：步骤（B）根据MD5算法对断面数据进行去重处理，将重复数据丢弃的过程如下：先对断面数据中每一个测点进行求MD5值，根据各个测点的MD5值，二次取MD5值，若二次取的MD5值重复，则判断为重复数据，病将重复数据丢弃。4.根据权利要求1所述的基于流计算的风电机组scada数据的实时处理方法，其特征在于：步骤（C）数据标准化处理中的数据映射单元的处理过程如下：根据scada实时测点数据的映射规则，建...

【专利技术属性】
技术研发人员：孙立华，胡牧，孟庆强，李端超，王松，黄太贵，黄少雄，王正风，程栩，
申请(专利权)人：国家电网公司，南京南瑞集团公司，南京南瑞信息通信科技有限公司，国网安徽省电力公司，
类型：发明
国别省市：北京,11