一种电网实时数据中心与大数据平台融合方法技术

本发明专利技术公开了一种电网实时数据中心与大数据平台融合方法，建立电网实时数据中心与大数据平台融合整体架构：数据采集层、存储层、网关层、数据处理层、应用层，本发明专利技术实现了实时数据中心与大数据平台的有效融合，可利用实时数据中心和大数据平台的功能和技术相辅相成，优势互补，提升历史/准实时数据存储、处理加工效率的同时，保证了原有实时数据中心业务应用的连续性。

【技术实现步骤摘要】

本专利技术涉及电网信息化领域，特别是涉及。
技术介绍
十二五期间，电网企业(如国家电网公司和南方电网公司)建成了实时数据中心，实现了对电力生产运行过程中各业务应用生成的历史/准实时数据的按需存储、整合、共享交换和计算加工，接入了用电信息采集、SCADA、电能量、输变电在线监测等业务系统历史/准实时数据，支撑了大量业务应用的历史/准实时数据访问服务。随着大数据技术的发展，历史/准实时数据结合大数据相关的技术将发挥更大的价值，通过在实时数据中心引入大数据平台，可以优化数据整合、数据存储、数据计算、数据分析、数据服务能力，支撑业务应用建设。但是，大数据平台的引入，并非直接替代实时数据中心承担历史/准实时数据的存储、整合、分析和计算，大数据平台和实时数据中心在处理历史/准实时数据上是相辅相成的。实时数据中心与大数据平台的有机融合，将使历史/准实时数据发挥更大作用。具体表现在:(I)时序数据使用模式根深蒂固，现有业务应用已基于此模式实现应用集成及应用开发，融合需考虑使用模式及业务应用的连续性。通过测点访问时序数据的模式在行业内有标准的CIS、0PC等标准，在电网企业层面也发布了 UAPI访问规范，基于测点的数据访问已成为时序数据写入和访问的标准模式。同时现有实时数据中心已经支撑电网企业统推应用和部分省(市)公司自建应用的应用集成和数据访问，如果调整时序数据使用模式，势必导致大量统推和自建应用需改造，影响业务应用的连续性。(2)大数据平台对于分钟级以下时序数据处理能力有限，而实时数据中心底层实时数据库专门为时序数据量身订做，可存储处理毫秒级甚至微秒级时序数据。现有统一车辆数据、供电电压数据等采集频率均达到秒级，随着精益化生产管理需求，越来越多的生产运营实时数据要求精度更高，频度更大，仅通过大数据平台难于处理高频海量时序数据存储、处理和分析需求。(3)保护投资，充分利旧。根据电网企业十二五规划要求，实时数据中心是四大数据中心之一，重点存储历史/准实时数据。十二五期间，通过实时数据中心的建设，充分验证了其作为历史/准实时数据存储处理的可行性。大数据平台在行业外应用效果明显，但是在电网时序数据存储处理上国内外并无先例，其可行性有待进一步验证研究。同时通过实时数据中心和大数据平台融合的尝试，保护投资的同时也充分利旧。综上，实时数据中心与大数据平台融合时宜作为大数据平台的一部分存在，通过大数据平台优秀的数据挖掘分析计算组件，支撑实时数据中心深化应用;通过实时数据中心时序数据快速存储处理特性，存储智能电网生产运行时序数据。两者相辅相成、相得益彰。
技术实现思路
针对现有技术中存在的问题，本专利技术提供了一种实现基于数据库网关的实时数据中心与大数据平台融合，实现大数据平台支撑时序数据的存储应用，保证原有时序业务应用的使用连续性的电网实时数据中心与大数据平台融合方法。本专利技术的目的通过以下技术方案实现。—种电网实时数据中心与大数据平台融合方法，建立电网实时数据中心与大数据平台融合整体架构:数据采集层、存储层、网关层、数据处理层、应用层，所述的数据采集层基于大数据领域通用的组件Kafka实现，所述的数据采集层用于电网业务中各类时序数据采集和缓存，并传递至存储层;所述的存储层是实时数据中心的核心，采用基于实时数据库和关系数据库双引擎的存储方式，所述的实时数据库存储电网生产运行过程中各业务系统产生的时间序列量测数据，所述的关系数据库存储支撑实时数据中心正常运行的关系型数据;所述的网关层基于JDBC接口和FDW技术实现实时数据中心与Spark大数据技术的融合；所述的数据处理层利用Spark内存计算框架和Storm流式计算框架实现海量数据的历史分析和实时分析，并对外提供统一的数据访问接口；所述的应用层用于实现数据挖掘、数据可视化，与现有基于实时数据中心的各类业务应用共同支撑智能电网稳定运行。通过实时数据中心内部实时数据库的中间件实时数据库网关实现从SQL到实时数据中心数据访问的回调及JDBC技术，从而实现实时数据中心与大数据平台的融合。所述的实时数据库网关中实现了SQL到实时数据中心UAPI接口调用的映射，在Spark层执行相应的SQL时，对应执行实时数据中心的UAPI回调，从而实现时序数据的访问。相比于现有技术，本专利技术的优点在于:实现了实时数据中心与大数据平台的有效融合，可利用实时数据中心和大数据平台的功能和技术相辅相成，优势互补，提升历史/准实时数据存储、处理加工效率的同时，保证了原有实时数据中心业务应用的连续性。【附图说明】图1是实时数据中心与大数据平台融合总体架构图。图2是实时数据中心与大数据平台融合原理示意图。图3是实时数据库网关原理示意图。图4是基于实时数据中心与大数据平台融合的业务流程示意图。【具体实施方式】下面结合说明书附图和具体的实施例，对本专利技术作详细描述。图1为实时数据中心与大数据平台融合总体架构图。实时数据中心与大数据平台融合主要通过图中网关层实时数据库网关实现。整体架构可分五层:数据采集层、存储层、网关层、数据处理层、应用层。其中，数据采集层充分考虑电网时序数据业务特点基于大数据领域通用的组件Kafka实现，主要用于电网业务中各类时序数据采集和缓存，并传递至存储层;存储层是实时数据中心的核心，采用基于实时数据库和关系数据库双引擎的存储方式，实时数据库存储电网生产运行过程中各业务系统产生的时间序列量测数据，关系数据库存储支撑实时数据中心正常运行的关系型数据，完全满足并适用于电网各类业务应用中量测对象及量测值(时序数据)的存储；网关层基于JDBC接口和row技术实现实时数据中心与Spark大数据技术的有机融合，不仅能够满足电网企业现有时序数据访问的规范要求，而且能够提供以SQL接口的形式直接访问实时数据中心中的时序数据。数据处理层，利用Spark内存计算框架和Storm当前第1页1 2 本文档来自技高网...

【技术保护点】
一种电网实时数据中心与大数据平台融合方法，其特征在于建立电网实时数据中心与大数据平台融合整体架构：数据采集层、存储层、网关层、数据处理层、应用层，所述的数据采集层基于大数据领域通用的组件Kafka实现，所述的数据采集层用于电网业务中各类时序数据采集和缓存，并传递至存储层；所述的存储层是实时数据中心的核心，采用基于实时数据库和关系数据库双引擎的存储方式，所述的实时数据库存储电网生产运行过程中各业务系统产生的时间序列量测数据，所述的关系数据库存储支撑实时数据中心正常运行的关系型数据；所述的网关层基于JDBC接口和FDW技术实现实时数据中心与Spark大数据技术的融合；所述的数据处理层利用Spark内存计算框架和Storm流式计算框架实现海量数据的历史分析和实时分析，并对外提供统一的数据访问接口；所述的应用层用于实现数据挖掘、数据可视化，与现有基于实时数据中心的各类业务应用共同支撑智能电网稳定运行。

【技术特征摘要】

【专利技术属性】
技术研发人员：李贤慧，季胜鹏，李京波，徐朋，吴佳，苏丹，
申请(专利权)人：江苏瑞中数据股份有限公司，
类型：发明
国别省市：江苏;32