一种适用于电力大数据业务需求的智能挖掘方法技术

本发明专利技术提出的是一种适用于电力大数据业务需求的智能挖掘方法。包括如下过程：步骤一：首先给出了传统数据挖掘的过程图。步骤二：参照传统数据挖掘过程图，按照对电网大数据业务需求的理解，研究电网数据挖掘过程图，便于实现电网大数据业务需求的智能挖掘过程。步骤三：设计了基于Hadoop分布式文件系统和使用MapReduce模型，可以更快地实现多个数据的并行抽取、转换和加载ETL操作流程，并明确了电力大数据的业务需求智能挖掘平台的结构框架。步骤四：使用MPApriori数据挖掘算法，从而高效地为电力大数据业务需求智能挖掘提供服务。适宜作为一种适用于电力大数据业务需求的智能挖掘方法应用。掘方法应用。掘方法应用。

【技术实现步骤摘要】
一种适用于电力大数据业务需求的智能挖掘方法


[0001]本专利技术涉及电力领域的大数据业务，特别是涉及一种适用于电力大数据业务需求的智能挖掘方法。

技术介绍

[0002]随着市场经济的不断完善发展，电力公司逐渐从生产型的企业转变为经营型企业，客户服务和市场营销成为工作中的重要部分。电力公司内部存有了大量的客户数据，如果对于客户的用电行为进行充分分析，可以提高电力企业客户服务以及市场的推广。
[0003]数据挖掘算法就是将有用的信息从大量随机和有噪声的数据中识别出来的技术，传统的数据挖掘算法具有效率低、准确性差的特点。

技术实现思路

[0004]为了解决现有电力大数据中存在的冗余数据以及各影响因素在时间上的关联性，导致决策准确性较差的问题，本专利技术提出了一种适用于电力大数据业务需求的智能挖掘方法。该方法使用高效的MPApriori分析算法，用于挖掘出各数据库数据之间的影响，为数据挖掘的准确性提供保障，解决电力大数据智能挖掘技术不足的技术问题。
[0005]本专利技术解决技术问题所采用的方案是：适用于电力大数据业务需求的智能挖掘方法，体系框架包括电网数据库、气象数据库、关联分析预处理单元、预测分析数据预处理单元、高维数据模式数据中心、高维关联性分析中心、可视化屏幕和MPApriori算法。
[0006]所述电网数据库，包括历史数据与实时数据，存有电网中各划分地域的用户用电量、用电习惯、跳闸信息、报警信息数据；所述气象数据库，实现对于极端天气下对于电网数据的影响的记录，包括冰雹、梅雨、台风对于某一地区用电信息的影响；所述关联分析预处理单元模块，把采集来的各种数据进行关联分析预处理，初步对数据进行分类；所述预测分析数据预处理单元模块，主要是为了达到重复及异常数据的清理，格式化标准功能；所述高维数据模式数据中心模块，为了进一步对数据进行分析，需要把电网大数据预处理后形成的标准数据，传输到此模块中，实现多种数据分类，方便进一步分析数据；所述高维关联性分析中心模块，利用高维数据模式数据中心的数据，进行数据的关联性分析，该步骤也是整个实现过程中最为复杂的部分；所述可视化屏幕，又称人机交互界面，是使用者与数据挖掘系统二者间的通信，用户可以使用该部分了解系统数据以及工作状态和进程；所述MPApriori算法，具备并行寻找频繁项集的功能，当查找频繁（Ｋ）－项集的中间结果传送到Reduce函数时，（K+1）－项集就可以执行Map操作，实现了数据操作的并行执
行，与此同时，提高了数据挖掘系统的运行效率。
[0007]积极效果，本专利技术设计了使用MapReduce模型和基于Hadoop分布式文件系统，可以更快地实现多个数据的并行ETL操作流程，明确了电力大数据的业务需求智能挖掘平台的结构框架。并且使用高效的MPApriori分析算法，用于挖掘出各数据库数据之间的影响，进一步为数据挖掘的准确性提供保障，从而为电力大数据的智能挖掘提供服务。解决了现有电力系统大数据的挖掘方法未能考虑海量数据处理中存在的数据冗余且各影响因素在时间上的存在关联性，这将势必导致电网企业决策系统存在精确性降低、效率慢、高误差等问题。本专利技术利用电力部门的大数据，建立了在基于Hadoop系统数据处理的基础上，改进了大数据挖掘的智能算法。适宜作为一种适用于电力大数据业务需求的智能挖掘方法应用。
附图说明
[0008]图1是传统数据挖掘系统框图；图2是电网数据挖掘过程图；图3是本专利技术平台体系框架图；图4是MPApriori算法框架图。
具体实施方式
[0009]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。尽管已经示出和描述了本专利技术的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本专利技术的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本专利技术的范围由所附权利要求及其等同物限定。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0010]据图所示，一种适用于电力大数据业务需求的智能挖掘方法，步骤一：首先给出了传统数据挖掘的过程图；步骤二：参照传统数据挖掘过程图，按照对电网大数据业务需求的理解，研究电网数据挖掘过程图，便于实现电网大数据业务需求的智能挖掘过程；步骤三：设计了基于Hadoop分布式文件系统和使用MapReduce模型，可以更快地实现多个数据的并行抽取、转换和加载ETL操作流程，并明确了电力大数据的业务需求智能挖掘平台的结构框架；步骤四：使用MPApriori数据挖掘算法，从而高效地为电力大数据业务需求智能挖掘提供服务；包括以下过程：步骤一、如图1所示，传统的数据挖掘系统；进一步的，按照传统的数据挖掘系统，理解各个名词的含义，进而顺利地构建出电网数据挖掘过程图。
[0011]可以理解的是，图1中数据（仓）库主要用来存储数据。
[0012]更进一步的，还包括清理、集成、过滤过程中的中间数据。
[0013]知识库是存储专业领域知识的库。
[0014]进一步，还包括经验和常识，用于辅助指导。
[0015]数据挖掘引擎能够利用知识库存储的数据与技术人员实现互动，是整个系统中的核心。
[0016]可以理解的是，数据挖掘引擎一般由不同功能的模块所构成，利用特定的算法进行大数据的分析。
[0017]模式评估的衡量指标是兴趣度，挖掘出使用者感兴趣的知识。
[0018]人机交互是使用者与数据挖掘系统二者间的通信，用户可以使用该部分了解系统数据以及工作状态和进程。
[0019]步骤二、如图2，电网数据挖掘过程图。
[0020]进一步，各个组成部分释义如下：业务对象的确立，是确定目标的过程，为后续数据挖掘提供指南。
[0021]数据准备是提供算法分析所需要的数据。
[0022]可以理解的是，该过程包括数据的选取、预处理及变换等步骤。
[0023]进一步，数据选取是选取合适的数据；预处理是将选择出的数据进行初步整理，去除掉干扰、噪声等；变换是将预处理后的数据，更换一种数据模式。
[0024]数据建模与数据挖掘，数据准备完成后，需要采用适当的大数据分析算法对数据进行建模分析。
[0025]结果生成与分析，将建模分析产生的结果数据导出，根据使用者的兴趣度来确认其有效性。
[0026]进一步，若生成的结果经分析后，不能满足使用者的需求，需要将结果删除，并重新进行建模分析。
[0027]应用部署，即需要采用可视化的途径将电力大数据挖掘产生的结果传递给技术人员，利于技术人员将这些结果转化成所需的业务知识，并且顺利地整合到业务信息系统中。
[0028]步骤三、如图3所示，在电力大数据业务需求智能挖掘过程中。
[0029]首先将存储在电网、气象等底层数据库中的数据进行处理。
[0030]进一步，处理流程包括清洗整理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适用于电力大数据业务需求的智能挖掘方法，其特征是：体系框架包括电网数据库、气象数据库、关联分析预处理单元、预测分析数据预处理单元、高维数据模式数据中心、高维关联性分析中心、可视化屏幕和MPApriori算法；所述电网数据库，包括历史数据与实时数据，存有电网中各划分地域的用户用电量、用电习惯、跳闸信息、报警信息数据；所述气象数据库，实现对于极端天气下对于电网数据的影响的记录，包括冰雹、梅雨、台风对于某一地区用电信息的影响；所述关联分析预处理单元模块，把采集来的各种数据进行关联分析预处理，初步对数据进行分类；所述预测分析数据预处理单元模块，主要是为了达到重复及异常数据的清理，格式化标准功能；所述高维数据模式数据中心模块，为了进一步对数据进行分析，需要把电网大数据预处理后形成的标准数据，传输到此模块中，实现多种数据分类，方便进一步分析数据；所述高维关联性分析中心模块，利用高维数据模式数据中心的数据，进行数据的关联性分析，该步骤也是整个实现过程中最为复杂的部分；所述可视化屏幕，又称人机交互界面，是使用者与数据挖掘系统二者间的通信，用户可以使用该部分了解系统数据以及工作状态和进程；所述MPApriori算法，具备并行寻找频繁项集的功能，当查找频繁（Ｋ）－项集的中间结果传送到Reduce函数时，（K+1）－项集就可以执行Map操作，实现了数据操作的并行执行，与此同时，提高了数据挖掘系统的运行效率。2.根据权利要求1所述的一种适用于电力大数据业务需求的智能挖掘方法，其特征是：所述关联分析预处理单元模块通过包含数据清洗、概化处理等，...

【专利技术属性】
技术研发人员：王丽霞，李伟，胡博，王南，王大维，左越，吴晗序，包伟川，孙守道，曾辉，高强，刘育博，齐骏，路志桐，张博，栗鹏辉，廉洪波，
申请(专利权)人：国网辽宁省电力有限公司葫芦岛供电公司国家电网有限公司，
类型：发明
国别省市：