一种基于Spark的能源互联网信息平台及其应用制造技术

本发明专利技术公开了一种基于Spark的能源互联网信息平台及其应用，包括：Spark Streaming模块，用于完成数据的接收，并快速对其检测、过滤和解析；内存并行计算模块，与Spark Streaming模块连接，用于利用Spark的内存计算技术，完成各项常用分析算法；分布式文件模块，与内存并行计算模块连接，用于实时大数据计算分析，完成调度算法、动态预测、安全分析；利用大数据分析电力或其他能源的购买量、预测能源消费、管理能源用户、提高能源效率、降低能源成本；应用模块，与内存并行计算模块连接，用于为客户端提供能源共享及分享服务。本发明专利技术保证实时大数据高效处理；完成能源互联网中实时大数据高效分析。

【技术实现步骤摘要】

本专利技术属于互联网
，尤其涉及一种基于Spark的能源互联网信息平台及其应用。
技术介绍
目前，“能源互联网”(EnergyInternet)是以电力系统为核心，以互联网及其它前沿信息技术为基础，以分布式可再生能源为主要一次能源，与天然气网络、交通网络等其它系统深入结合而形成的新的能源利用体系。作为电工、能源、信息、交通、环境等学科交叉的产物，能源互联网体系的建设涉及众多行业和
的发展与变革。能源互联网将实现广域范围内的能源动态平衡，涉及到海量分布式设备接入、多能源网络协调及电气化交通与电网联合规划与调度等众多技术问题，而这些问题的高效、准确解决方案部分依赖于前沿信息技术的支持，实时大数据分析技术是其中的关键技术之一。能源互联网将连接海量分布式设备(分布式发电设备、储能设备、智能电器及电动机车等)、大规模用户及融合各种能源网络，对能源互联网的全景实时监控，将生成大规模的能源数据、负荷数据、状态数据及其他各种数据，由于电力系统实时动态平衡特点，对数据分析时效性具有很高的要求，从而形成能源互联网中的实时大数据。信息平台根据收集到的实时大数据，完成能源调度、安全分析、质量监测等工作，保证能源互联网高效运行。由于分布式能源随天气变化实时改变、电能光速传播、多能源互补协调等特性，能源互联网对数据分析的时效性要求很高，需要具有实时或准实时特性。当前，实时大数据分析技术内涵包括流式计算和内存计算两方面，分别应对不同类型的数据处理业务。其中，流式计算是随着实时到达的数据，进行处理，适合于在线检测、监测等；而内存计算是利用现代计算的大内存特性，将数据存储在内存中进行处理，适合机器学习、数据挖掘、暂态及稳态分析等。Spar是继Hadoop之后的高效大数据分析框架，被称为Hadoop2.0，是类HadoopMapReduce的通用并行体系，其融合了多种计算模式，涵盖流式计算和内存计算等，并提供了SQL和机器学习算法库的支持。Spark已经广泛应用在互联网领域，比如腾讯、京东及雅虎等公司建设基于Spark的实时大数据平台。能源互联网作为比较新的技术，其解决方案主要针对小规模系统，而庞大的系统面临很多挑战，目前缺乏对能源互联网中实时大数据的进行高效分析的方法。
技术实现思路
本专利技术的目的在于提供一种基于Spark的能源互联网信息平台及其应用，旨在解决目前缺乏对能源互联网中实时大数据的进行高效分析的方法的问题。本专利技术是这样实现的，一种基于Spark的能源互联网信息平台的信息处理方法，所述基于Spark的能源互联网信息平台的信息处理方法包括：完成数据的接收，并快速对其检测、过滤和解析；利用Spark的内存计算技术，完成各项常用分析算法，同时对实时性要求高的计算结果推送给应用层或客户端；实时大数据计算分析，负责完成调度算法、动态预测、安全分析；利用大数据分析电力或其他能源的购买量、预测能源消费、管理能源用户、提高能源效率、降低能源成本；为客户端提供方便快捷的能源共享及分享服务；通过实时能源监控掌握用电情况、使用清洁能源比例、调节用电，参与需求侧响应；通过清洁能源发电情况实时了解分布式能源的运行情况，并实现能源分享；通过能源市场自主购买电力，优先购买清洁能源，实现电力在线对等交易。进一步，所述常用分析算法包括分层最优能源调度、发电及负荷预测、各种数据分析。进一步，所述能源共享及分享服务包括三项核心功能：实时能源监控、清洁能源发电情况和能源市场。本专利技术的另一目的在于提供一种所述基于Spark的能源互联网信息平台的信息处理方法的能源互联网信息平台，所述能源互联网信息平台包括：SparkStreaming模块，用于完成数据的接收，并快速对其检测、过滤和解析；内存并行计算模块，与SparkStreaming模块连接，用于利用Spark的内存计算技术，完成各项常用分析算法，同时对实时性要求高的计算结果推送给应用层或客户端；分布式文件模块，与内存并行计算模块连接，用于实时大数据计算分析，负责完成调度算法、动态预测、安全分析；利用大数据分析电力或其他能源的购买量、预测能源消费、管理能源用户、提高能源效率、降低能源成本；应用模块，与内存并行计算模块连接，用于为客户端提供方便快捷的能源共享及分享服务；通过实时能源监控掌握用电情况、使用清洁能源比例、调节用电，参与需求侧响应；通过清洁能源发电情况实时了解分布式能源的运行情况，并实现能源分享；通过能源市场自主购买电力，优先购买清洁能源，实现电力在线对等交易。进一步，所述SparkStreaming模块包括：检测模块、过滤模块、解析模块。进一步，所述内存并行计算模块包括：分层调度模块、实时预测模块、安全分析模块、交易平台模块、数据推送模块。进一步，所述应用模块为Web、移动终端或其他。本专利技术的另一目的在于提供一种应用所述基于Spark的能源互联网信息平台的信息处理方法的实时交易信息匹配系统。本专利技术的另一目的在于提供一种应用所述基于Spark的能源互联网信息平台的信息处理方法的在线电能质量监测系统。本专利技术的另一目的在于提供一种应用所述基于Spark的能源互联网信息平台的信息处理方法的K-means聚类系统。本专利技术提供的基于Spark的能源互联网信息平台及其应用，基于Spark框架搭建能源互联网实时大数据信息平台，保证实时大数据的高效处理；能源互联网中的部分关键业务可以利用Spark技术实现，实时能源交易信息匹配、在线电能质量监测及监测数据聚类分析等。本专利技术针对支撑能源互联网的前沿信息技术展开，结合主流的融合实时大数据计算框架的Spark平台，完成能源互联网中实时大数据的高效分析。附图说明图1是本专利技术实施例提供的基于Spark的能源互联网信息平台结构示意图；图中：1、SparkStreaming模块；2、内存并行计算模块；3、分布式文件模块；4、应用模块。图2是本专利技术实施例提供的交易数据自动匹配示意图。图3是本专利技术实施例提供的在线电能质量实时监控示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术从能源互联网面临的实时大数据快速分析需求为出发点，在分析能源互联网大数据特点及前沿信息技术基础上，提出了结合内存计算和流式计算的实时大数据平台，并以实时交易信息匹配、在线电能质量监测和快速数据机器学习聚类算法为例，得到了基于Spark平台的实现算例，为能源互联网信息平台的规划，实现和运行提供参考。下面结合附图对本专利技术的应用原理作详细的描述。如图1所示，本专利技术实施例提供的基于Spark的能源互联网信息平台包括：SparkStreaming模块1、内存并行计算模块2、分布式文件模块3、应用模块4。SparkStreaming模块1，用于完成数据的接收，并快速对其检测、过滤和解析。内存并行计算模块2，与SparkStreaming模块1连接，用于利用Spark的内存计算技术，完成各项常用分析算法，包括分层最优能源调度、发电及负荷预测、各种数据分析等，同时对实时性要求高的计算结果推送给应用层或客户端。分布式文件模块3，与内存并行计算模块2连接，用于实时大数据计算分析，负责本文档来自技高网...

【技术保护点】
一种基于Spark的能源互联网信息平台的信息处理方法，其特征在于，所述基于Spark的能源互联网信息平台的信息处理方法从能源互联网面临的实时大数据快速分析需求出发，在分析能源互联网大数据特点及前沿信息技术基础上，提出结合内存计算和流式计算的实时大数据平台；以实时交易信息匹配、在线电能质量监测和快速数据机器学习聚类算法，得到基于Spark平台，为能源互联网信息平台的规划，实现和运行提供参考；所述基于Spark的能源互联网信息平台的信息处理方法包括：完成数据的接收，并快速对其检测、过滤和解析；利用Spark的内存计算技术，完成各项常用分析算法，同时对实时性要求高的计算结果推送给应用层或客户端；实时大数据计算分析，负责完成调度算法、动态预测、安全分析；利用大数据分析电力或其他能源的购买量、预测能源消费、管理能源用户、提高能源效率、降低能源成本；为客户端提供方便快捷的能源共享及分享服务；通过实时能源监控掌握用电情况、使用清洁能源比例、调节用电，参与需求侧响应；通过清洁能源发电情况实时了解分布式能源的运行情况，并实现能源分享；通过能源市场自主购买电力，优先购买清洁能源，实现电力在线对等交易。

【技术特征摘要】
1.一种基于Spark的能源互联网信息平台的信息处理方法，其特征在于，所述基于Spark的能源互联网信息平台的信息处理方法从能源互联网面临的实时大数据快速分析需求出发，在分析能源互联网大数据特点及前沿信息技术基础上，提出结合内存计算和流式计算的实时大数据平台；以实时交易信息匹配、在线电能质量监测和快速数据机器学习聚类算法，得到基于Spark平台，为能源互联网信息平台的规划，实现和运行提供参考；所述基于Spark的能源互联网信息平台的信息处理方法包括：完成数据的接收，并快速对其检测、过滤和解析；利用Spark的内存计算技术，完成各项常用分析算法，同时对实时性要求高的计算结果推送给应用层或客户端；实时大数据计算分析，负责完成调度算法、动态预测、安全分析；利用大数据分析电力或其他能源的购买量、预测能源消费、管理能源用户、提高能源效率、降低能源成本；为客户端提供方便快捷的能源共享及分享服务；通过实时能源监控掌握用电情况、使用清洁能源比例、调节用电，参与需求侧响应；通过清洁能源发电情况实时了解分布式能源的运行情况，并实现能源分享；通过能源市场自主购买电力，优先购买清洁能源，实现电力在线对等交易。2.如权利要求1所述的基于Spark的能源互联网信息平台的信息处理方法，其特征在于，所述常用分析算法包括分层最优能源调度、发电及负荷预测、各种数据分析。3.如权利要求1所述的基于Spark的能源互联网信息平台的信息处理方法，其特征在于，所述能源共享及分享服务包括三项核心功能：实时能源监控、清洁能源发电情况和能源市场。4.一种如权利要求1所述基于Spark的能源互联网信息平台的信息处理方法的能源互联网信息平台，其特征在于，所述...

【专利技术属性】
技术研发人员：王桂兰，周国亮，
申请(专利权)人：华北电力大学保定，
类型：发明
国别省市：河北;13