一种发电厂数据智能处理系统技术方案

本发明专利技术提供了一种发电厂数据智能处理系统，包括：运维管理模块；安全管理模块；数据采集和抽取模块；数据存储模块；通用分析和计算模块；智能计算和分析模块：基于机器学习算法，利用分布式计算资源建立和训练智能算法模型，通过多维关联数据分析之后的数据建立预测模型；边缘计算模块；微服务发布模块：用于发布和管理系统承载数据、计算任务和对外服务；数据治理模块。本发电厂数据智能处理系统，通过与大数据、物联网、云计算、人工智能等技术进行深度融合，可以实现发电厂各个系统数据的准确采集，实现各个系统数据的智能处理，提高发电设备自动化、数字化、可视化和智能化程度以及设备可靠性和可用率。

【技术实现步骤摘要】
一种发电厂数据智能处理系统
本专利技术涉及电力数据处理
，具体涉及一种发电厂数据智能处理系统。
技术介绍
随着国家能源政策的实施，节能降耗、降低运行维护成本是火电厂提高运行效益的本质要求。国内目前大多数电厂中，各种监控系统独立为政，比如热工控制系统、辅助控制系统、电气自动化系统、升压站控制系统(NCS)等等，同时用户需要面对不同的监控系统、不同的系统提供商、不同的备品备件等，使得电厂的维护工作量大大增加。由于各个控制系统相互独立，各控制系统的数据处理也是千差万别，导致全厂的数据资源无法共享，各种高级应用需要面对不同的数据处理形式，给高级应用、数据分析、故障分析带来更多的困难。现有技术中，发电厂一般也建立有自身的数据处理系统，但是现有的数据处理系统主要存在如下缺陷：1)缺乏稳定的运维管理和安全管理系统，系统的运行稳定性以及可维护性差，用户存储、计算服务以及对存储资源、计算资源的管控能力弱，容易遭受外部攻击后，容易导致数据丢失或者错乱，可追溯性能差；2)数据采集不全面，实时数据采集的准确性差，尤其是离散关系型数据采集不完全，效率低，数据采集的安全性和稳定性无法得到保障；3)数据存储架构复杂且缺乏灵活性，业务与基础设施紧耦合，应用系统受制于软硬件之间的依赖关系，同时传统数据中心运维管理复杂，资源利用率低，维护成本高；4)数据处理能力弱，不具备算法的智能学习、建模能力，无法实现指标分析、设备诊断、故障预警等功能；5)不具备数据治理体系，无法帮助电力企业规范数据流程，管理企业内部主数据，无法提升企业数据质量，保证企业在业务运营管理中得到准确、及时和完整的数据支持。随着大数据、物联网、云计算、人工智能等新兴技术的兴起，如何实现上述技术与电厂业务的深度融合，实现各个系统数据的智能处理，提高发电设备自动化、数字化、可视化和智能化程度以及设备可靠性和可用率，降低运行人员工作量及工作强度，强化安全防范水平，创新生产管理和成本管控模式，提升机组运营效益以及参与电力市场竞争能力，已经成为电力行业急需解决的技术难题。
技术实现思路
针对现有技术的不足，本专利技术提出了一种发电厂数据智能处理系统，通过与大数据、物联网、云计算、人工智能等技术进行深度融合，可以实现发电厂各个系统数据的准确采集，实现各个系统数据的智能处理，提高发电设备自动化、数字化、可视化和智能化程度以及设备可靠性和可用率。为实现上述技术方案，本专利技术提供了一种发电厂数据智能处理系统，包括：运维管理模块：用于实现对系统物理节点管理、分布式组件管理、多租户和用户管理、以及数据存储和作业管理；安全管理模块：用于物理安全、组件安全、网络安全、应用软件安全的数据管理，形成多维立体的安全支撑，保障系统稳定运行和数据安全；数据采集和抽取模块：通过基于IEC60870的规约采集软件和ETL抽取工具，实现对目标区域内异源数据进行采集；数据存储模块：基于Hadoop生态的开源组件，建立操作数据存储中心、时序数据存储中心、数据仓库以及非结构化数据存储；通用分析和计算模块：建立算法模型库，依托Storm、Spark、MapReduce的分布式计算能力，实现实时、准实时、离线计算；智能计算和分析模块：基于机器学习算法，利用分布式计算资源建立和训练智能算法模型，通过多维关联数据分析之后的数据建立预测模型；边缘计算模块：利用智能设备的计算能力，使预测模型成为大数据系统重要的计算服务节点，然后通过系统下发算法模型，智能终端能根据获取到的模型进行实时分析和诊断；微服务发布模块：用于发布和管理系统承载数据、计算任务和对外服务；数据治理模块：包括主数据的管理、元数据的管理，对各种异构数据进行统一管理，建立管理体系，为上层业务系统的应用提供支撑。优选的，所述运维管理模块是基于开源组件开发构建的统一的可视化管控模块，面向开发人员、运维人员和管理人员开放，实现数据、应用、资源统一的可视化管控，具体包括：基础设施和组件管理模块：用于Hadoop、Yarn、Zookeeper、Spark、HDFS、HBase、Hive、Storm、MapReduce组件的分布式集群的安装，实现对上述组件及其依赖的组件的安装和管理，支持组件自动化的安装部署，使用工具进行自动安装，监控大数据群集的运行状况，包括主机节点、网络节点、机架的状态和运行负载，同时监控系统各节点的软、硬件占用情况，如果被监控对象出现异常情况，监控系统就会在相关管理告警页面发出告警通知；多租户管理模块：用于实现多用户的环境下共用相同的系统或程序，并且确保各用户间数据的隔离性，使得大数据系统得到充分利用，为更多的用户提供服务，同时也保证用户的数据安全、应用程序正常运行，实现资源共享的同时，也能具备追溯能力；资源和作业管理模块：对存储资源的分配，提供可视化的存储资源分配界面、存储资源检索界面，计算资源由资源调度组件根据计算情况进行调度分配，并提供可视化的作业提交功能以及多个作业的编排功能，方便发布作业、编排流程，同时也提供作业监控界面，方便了解作业运行状态、资源使用情况，方便查看作业运行日志；日志管理模块：结合Logstash、Elasticsearch和Kibana工具，构建集中式日志管理系统，把不同组件的日志归集起来，集中存储，并提供全文检索功能；告警管理模块：具备可配置化告警管理功能，能够根据告警规则配置不同等级告警；可根据实际业务需要，配置告警通知机制、告警管理员。优选的，所述安全管理模块包括系统安全管理模块和物理安全管理模块，其中系统安全管理模块从主机层、组件层、网络层、接口API层进行管理，主机层的安全认证通过身份鉴别、访问控制、安全审计、入侵防范、恶意代码防范、资源控制来实现，组件层的安全认证通过Ranger框架来实现，网络层的安全认证通过Kerberos协议来实现，接口API层的安全认证通过用户登录和JWT认证来实现；物理安全管理模块从物理位置选择、物理访问控制、防盗窃和防破坏、防雷击和防火、防水和防潮、防静电、温湿度控制、电力供应、电磁防护进行管理。优选的，所述数据采集和抽取模块用于采集电厂生产运行以及运营管理过程中产生的结构化、半结构化以及非结构化数据，参照IEC61850、IEC61970标准，从各控制系统采集生产实时数据，通过ETL抽取工具从子系统抽取离散的历史数据，按照数据类型划分，采集的数据主要包括生产时序数据、文档型数据、以及电厂其他系统关系型数据中抽取的离散关系型数据。优选的，所述数据存储模块包括：时序数据存储模块、结构化数据存储模块、非结构化数据存储模块，其中，时序数据存储模块用于存储生产过程中产生的以时间序列为基础存储的实时数据；结构化数据存储模块用于存储电厂子系统生产或管理过程中产生的操作记录、管理日志；非结构化数据存储模块用于存储音频、图像、HTML这些无规则的，无法用二维逻辑表表述的信息，非结构化数据采用NoSQL数据库进行存储。优选的，所述通用分析和计算模块包括：实时计算模块、历史统计计算模块、状态计算模块，其中，实时计算模块是基于Stor本文档来自技高网...

【技术保护点】
1.一种发电厂数据智能处理系统，其特征在于包括：/n运维管理模块：用于实现对系统物理节点管理、分布式组件管理、多租户和用户管理、以及数据存储和作业管理；/n安全管理模块：用于物理安全、组件安全、网络安全、应用软件安全的数据管理，形成多维立体的安全支撑，保障系统稳定运行和数据安全；/n数据采集和抽取模块：通过基于IEC60870的规约采集软件和ETL抽取工具，实现对目标区域内异源数据进行采集；/n数据存储模块：基于Hadoop生态的开源组件，建立操作数据存储中心、时序数据存储中心、数据仓库以及非结构化数据存储；/n通用分析和计算模块：建立算法模型库，依托Storm、Spark、MapReduce的分布式计算能力，实现实时、准实时、离线计算。具体包括：实时计算模块、历史统计计算模块、状态计算模块，其中，实时计算模块是基于Storm分布式计算包括报警点统计、实时积分电量的实时指标；历史统计计算模块用于计算针对历史数据统计的指标；状态计算模块用于计算机组故障信息，实时报警和展示，可以保存数据发生、结束、等级信息；/n智能计算和分析模块：基于机器学习算法，利用分布式计算资源建立和训练智能算法模型，通过多维关联数据分析之后的数据建立预测模型，所述智能计算和分析模块依据实时及历史数据建立机组性能模型、热力系统模型和设备状态模型，依据监测范围与对象，建立预警模型，关联测点，进行规则定义、模型训练，模型创建完成后，通过数据训练自动获得残差初始值以及其它重要默认设定参数，并能够在任何时间方便改变这些模型参数，在系统中记录参数修改的痕迹，通过计算测点得到无法直接获得的变量，原始测点、计算测点和预测测点中的期望值、残差、残差告警都可以作为计算测点的输入值，计算测点位于工程之下，可被该工程之下的模型、规则所引用，将计算测点配置功能设置于工程管理之下，与模型配置、规则配置位于同一层级。/n边缘计算模块：利用智能设备的计算能力，使预测模型成为大数据系统重要的计算服务节点，然后通过系统下发算法模型，智能终端能根据获取到的模型进行实时分析和诊断；/n微服务发布模块：用于发布和管理系统承载数据、计算任务和对外服务；/n数据治理模块：包括主数据的管理、元数据的管理，对各种异构数据进行统一管理，建立管理体系，为上层业务系统的应用提供支撑，所述主数据管理是采用系列规则、应用和技术，协调和管理与电厂核心业务实体相关的基础数据，为电厂提供跨业务应用、使用一致且共享的高质量主数据，降低成本和复杂度；元数据管理用于描述系统中技术、业务和管理相关的概念、关系和规则，包括系统内对象和数据结构的定义、源数据到目的数据的映射、数据转换的描述、指标、人员角色、岗位职责以及管理流程。/n...

【技术特征摘要】
1.一种发电厂数据智能处理系统，其特征在于包括：
运维管理模块：用于实现对系统物理节点管理、分布式组件管理、多租户和用户管理、以及数据存储和作业管理；
安全管理模块：用于物理安全、组件安全、网络安全、应用软件安全的数据管理，形成多维立体的安全支撑，保障系统稳定运行和数据安全；
数据采集和抽取模块：通过基于IEC60870的规约采集软件和ETL抽取工具，实现对目标区域内异源数据进行采集；
数据存储模块：基于Hadoop生态的开源组件，建立操作数据存储中心、时序数据存储中心、数据仓库以及非结构化数据存储；
通用分析和计算模块：建立算法模型库，依托Storm、Spark、MapReduce的分布式计算能力，实现实时、准实时、离线计算。具体包括：实时计算模块、历史统计计算模块、状态计算模块，其中，实时计算模块是基于Storm分布式计算包括报警点统计、实时积分电量的实时指标；历史统计计算模块用于计算针对历史数据统计的指标；状态计算模块用于计算机组故障信息，实时报警和展示，可以保存数据发生、结束、等级信息；
智能计算和分析模块：基于机器学习算法，利用分布式计算资源建立和训练智能算法模型，通过多维关联数据分析之后的数据建立预测模型，所述智能计算和分析模块依据实时及历史数据建立机组性能模型、热力系统模型和设备状态模型，依据监测范围与对象，建立预警模型，关联测点，进行规则定义、模型训练，模型创建完成后，通过数据训练自动获得残差初始值以及其它重要默认设定参数，并能够在任何时间方便改变这些模型参数，在系统中记录参数修改的痕迹，通过计算测点得到无法直接获得的变量，原始测点、计算测点和预测测点中的期望值、残差、残差告警都可以作为计算测点的输入值，计算测点位于工程之下，可被该工程之下的模型、规则所引用，将计算测点配置功能设置于工程管理之下，与模型配置、规则配置位于同一层级。
边缘计算模块：利用智能设备的计算能力，使预测模型成为大数据系统重要的计算服务节点，然后通过系统下发算法模型，智能终端能根据获取到的模型进行实时分析和诊断；
微服务发布模块：用于发布和管理系统承载数据、计算任务和对外服务；
数据治理模块：包括主数据的管理、元数据的管理，对各种异构数据进行统一管理，建立管理体系，为上层业务系统的应用提供支撑，所述主数据管理是采用系列规则、应用和技术，协调和管理与电厂核心业务实体相关的基础数据，为电厂提供跨业务应用、使用一致且共享的高质量主数据，降低成本和复杂度；元数据管理用于描述系统中技术、业务和管理相关的概念、关系和规则，包括系统内对象和数据结构的定义、源数据到目的数据的映射、数据转换的描述、指标、人员角色、岗位职责以及管理流程。


2.如权利要求1所述的发电厂数据智能处理系统，其特征在于，所述运维管理模块是基于开源组件开发构建的统一的可视化管控模块，面向开发人员、运维人员和管理人员开放，实现数据、应用、资源统一的可视化管控，具体包括：
基础设施和组件管理模块：用于Hadoop、Yarn、Zookeeper、Spark、HDFS、HBase、Hive、Storm、MapReduce组件的分布式集群的安装，实现对上述组件及其依赖的组件的安装和管理，支持组件自动化的安装部署，使用工具进行自动安装，监控大数据群集的运行状况，包括主机节点、网络节点、机架的状态和运行负载，同时监控系统各节点的软、硬件占用情况，如果被监控对象出现异常情况，监控系统就会在相关管理告警页面发出告警通知；
多租户管理模块：用于实现多用户的环境下共用相同的系统或程序，并且确保各用户间数据的隔离性，使得大数据系统得到充分利用，为更多的用户提供服务，同时也保证用户的数据安全、应用程序正常运行，实现资源共享的同时，也能具备追溯能力；
资源和作业管理模块：对存储资源的分配，提供可视化的存储资源分配界面、存储资源检索界...

【专利技术属性】
技术研发人员：刘自愿，林平，谢鹏，唐亮，
申请(专利权)人：华电福新广州能源有限公司，
类型：发明
国别省市：广东;44