基于云平台的用电大数据处理系统及其处理方法技术方案

本发明专利技术公开了一种基于云平台的用电大数据处理系统及其处理方法，该系统包括：采集模块，实时采集配电变压器和用户的用电数据；预处理模块，对用电数据进行特征提取预处理，提取出用户的用电行为特点；分类模块，根据预先设定的特征规则对预处理后的用电数据进行分类；数据库，用于接收并存储分类模块分类后的用电数据，同时支持云平台的调用；转换模块，将数据库中的用电数据转换成数字格式的大数据包；分割模块，与转换模块连接，将大数据包分割为多个数据块。本发明专利技术通过对配电变压器和用户的用电数据的采集和分析，实现用电监控、推行阶梯定价、负荷管理、线损分析，及时、完整、准确地为有关系统提供基础数据。地为有关系统提供基础数据。地为有关系统提供基础数据。

【技术实现步骤摘要】
基于云平台的用电大数据处理系统及其处理方法


[0001]本专利技术涉及一种大数据处理系统及其方法，特别是涉及一种基于云平台的用电大数据处理系统及其处理方法。

技术介绍

[0002]大数据是一个体量特别大、数据类别特别多的数据集，包括结构化数据、非结构化数据、半结构化数据等，来自传感器、购买交易记录、网络日志等的大量数据通常就是万亿或EB的大小，比如电力方面的数据就特别大，无法用传统数据库工具对其内容进行抓取、管理、处理，使用不方便。

技术实现思路

[0003]针对上述情况，为了克服现有技术的缺陷，本专利技术提供一种基于云平台的用电大数据处理系统及其处理方法。
[0004]本专利技术是通过下述技术方案来解决上述技术问题的：一种基于云平台的用电大数据处理系统，其特征在于，其包括：
[0005]采集模块，实时采集用户的用电数据；
[0006]预处理模块，与采集模块连接，对用电数据进行特征提取等预处理，提取出用户的用电行为特点；
[0007]分类模块，与预处理模块连接，根据预先设定的特征规则对预处理后的用电数据进行分类；
[0008]数据库，与分类模块、云平台连接，用于接收并存储分类模块分类后的用电数据，同时支持云平台的调用；
[0009]转换模块，与数据库连接，将数据库中的用电数据转换成数字格式的大数据包；
[0010]分割模块，与转换模块连接，将大数据包分割为多个数据块，每个数据块对应于一个计算任务；
[0011]分配模块，与分割模块连接，将数据块分配给对应的节点处理模块进行处理；
[0012]节点处理模块，与分配模块连接，对数据块进行处理和计算；
[0013]模型建立模块，与节点处理模块连接，生成模型信息发送给节点处理模块，节点处理模块根据模型信息进行处理；
[0014]监控模块，与节点处理模块、分配模块连接，监控各个节点处理模块的处理情况，将处理情况反馈给分配模块，分配模块根据处理情况实时将数据块进行具体分配；
[0015]汇总分析模块，与节点处理模块连接，将各个节点处理模块处理后结果进行汇总并分析；
[0016]网络传输模块，与汇总分析模块连接，用于根据建设体系的制度，对汇总并分析后的用电数据进行保密安全网络传输；
[0017]存储模块，与网络传输模块连接，存储汇总分析模块汇总并分析后的用电数据；
[0018]云平台，与存储模块、网络传输模块连接，为用户提供技术服务。
[0019]优选地，所述模型建立模块形成标准统一的结构化特征数据形式，正确建立用户用电行为的多维度特征参数集，并提取出电力用户的典型用电模式。
[0020]优选地，所述采集模块采用若干传感器网络节点，所述传感器网络节点通过传感器采集配电变压器和用户的用电数据，使用方便。
[0021]优选地，所述用电数据包括配电变压器位置及其电量、用电户号、用电户名、结算户号、用电位置、工业高峰用电量、工业低峰用电量、民用高峰用电量、民用低峰用电量。
[0022]优选地，所述模型建立模块与一个模型显示模块连接，用于显示模型建立模块发送的模型信息，通过模型显示模块将模型信息进行显示，方便进行查看。
[0023]优选地，所述模型显示模块采用液晶显示屏，结构简单，方便显示。
[0024]优选地，所述模型建立模块采用分布式计算模型(比如Mapreduce模型)，开发简单，无需处理线程或提供精细的同步逻辑，通用性强，无需修改程序即可在任意规模机器上运行，具备自动运行和分发功能。
[0025]优选地，所述数据库、存储模块都可以采用分布式存储服务器，在出现故障或者需要更换升级的时候，即插即用，维护成本几乎零，简单高效，方便扩展和存储；云平台可以采用云服务器，提高响应速度和稳定性，能够充分利用资源。
[0026]优选地，所述分类模块可以采用SVM分类器、基于贝叶斯网络算法的分类器、基于BP神经网络算法的分类器，方便实现精确分类。
[0027]优选地，所述存储模块与一个提醒模块连接，用于设定信息处理提醒命令，并通过手机短信、网络的形式将信息提醒(比如电费信息、用电量等)发送到用户。
[0028]本专利技术还提供一种基于云平台的用电大数据处理系统的处理方法，其特征在于，包括以下步骤：
[0029]步骤一，通过采集模块实时采集配电变压器和用户的用电数据；
[0030]步骤二，通过预处理模块对用电数据进行特征提取等预处理，提取出用户的用电行为特点；
[0031]步骤三，通过分类模块并根据预先设定的特征规则对预处理后的用电数据进行分类，比如工业用电、居民用电进行分类等；
[0032]步骤四，通过数据库接收并存储分类模块分类后的用电数据，同时支持云平台的调用；
[0033]步骤五，通过转换模块将数据库中的用电数据转换成数字格式的大数据包，减少了存储器的占用空间，提高了后续数据处理的速度，而且拓展了数据处理的宽度；
[0034]步骤六，通过分割模块将大数据包分割为多个数据块，每个数据块对应于一个计算任务；
[0035]步骤七，通过分配模块将数据块分配给对应的节点处理模块进行处理，即调度节点处理模块来处理相应的数据块；通过模型建立模块生成模型信息发送给节点处理模块，节点处理模块根据模型信息进行处理；模型建立模块形成标准统一的结构化特征数据形式，正确建立用户用电行为的多维度特征参数集，并提取出电力用户的典型用电模式；
[0036]步骤八，通过节点处理模块对数据块进行处理和计算；
[0037]步骤九，通过监控模块监控各个节点处理模块的处理情况，将处理情况反馈给分
配模块，分配模块根据处理情况实时将数据块进行具体分配，保证各个节点处理模块能及时完成数据块的处理，提高处理速度；监控模块可以将处理情况分为繁忙状态和空闲状态；
[0038]步骤十，通过汇总分析模块将各个节点处理模块处理后结果进行汇总并分析；
[0039]步骤十一，通过网络传输模块对汇总并分析后的用电数据进行保密安全网络传输，提高安全性；
[0040]步骤十二，通过存储模块存储汇总分析模块汇总并分析后的用电数据；
[0041]步骤十三，通过云平台为用户提供技术服务。
[0042]本专利技术的积极进步效果在于：本专利技术采用分布式计算模型(比如Mapreduce)，开发简单，无需处理线程或提供精细的同步逻辑，通用性强，无需修改程序即可在任意规模机器上运行，具备自动运行和分发功能。本专利技术可以实现对所有电力用户和关口的全面覆盖，实现计量装置在线监测和用户负荷、电量、电压等重要信息的实时采集，及时、完整、准确地为有关系统提供基础数据，为企业经营管理各环节的分析、决策提供支撑，为实现智能双向互动服务提供信息基础。本专利技术通过对配电变压器和用户的用电数据的采集和分析，实现用电监控、推行阶梯定价、负荷管理、线损分析，最终达到自动抄表、错峰用电、用电检查(防窃电)、负荷预测和节约用电成本等本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于云平台的用电大数据处理系统，其特征在于，其包括：采集模块，实时采集用户的用电数据；预处理模块，与采集模块连接，对用电数据进行特征提取预处理，提取出用户的用电行为特点；分类模块，与预处理模块连接，根据预先设定的特征规则对预处理后的用电数据进行分类；数据库，与分类模块、云平台连接，用于接收并存储分类模块分类后的用电数据，同时支持云平台的调用；转换模块，与数据库连接，将数据库中的用电数据转换成数字格式的大数据包；分割模块，与转换模块连接，将大数据包分割为多个数据块，每个数据块对应于一个计算任务；分配模块，与分割模块连接，将数据块分配给对应的节点处理模块进行处理；节点处理模块，与分配模块连接，对数据块进行处理和计算；模型建立模块，与节点处理模块连接，生成模型信息发送给节点处理模块，节点处理模块根据模型信息进行处理；监控模块，与节点处理模块、分配模块连接，监控各个节点处理模块的处理情况，将处理情况反馈给分配模块，分配模块根据处理情况实时将数据块进行具体分配；汇总分析模块，与节点处理模块连接，将各个节点处理模块处理后结果进行汇总并分析；网络传输模块，与汇总分析模块连接，用于根据建设体系的制度，对汇总并分析后的用电数据进行保密安全网络传输；存储模块，与网络传输模块连接，存储汇总分析模块汇总并分析后的用电数据；云平台，与存储模块、网络传输模块连接，为用户提供技术服务。2.如权利要求1所述的基于云平台的用电大数据处理系统，其特征在于，所述模型建立模块形成标准统一的结构化特征数据形式。3.如权利要求1所述的基于云平台的用电大数据处理系统，其特征在于，所述采集模块采用若干传感器网络节点，所述传感器网络节点通过传感器采集配电变压器和用户的用电数据。4.如权利要求1所述的基于云平台的用电大数据处理系统，其特征在于，所述用电数据包括配电变压器位置及其电量、用电户号、用电户名、结算户号、用电位置、工业高峰用电量、工业低峰用电量、民用高峰用电量、民用低峰用电量。5.如权利要求1所述的基于云平台的用电大数据处理系统，其特征在于，所述模型建立模块与一个模型显示模块连接，用于显示模型建立模块发送的模型信息。6.如权利要求1所述的基于云平台的...

【专利技术属性】
技术研发人员：邓玉成，肖晓滨，朱晓华，杨敏阳，
申请(专利权)人：上海科技网络通信有限公司，
类型：发明
国别省市：