一种用于新能源设备的数据访问管理方法、系统技术方案

本发明专利技术提供了一种用于新能源设备的数据访问管理方法、系统，其可以解决数据量随着新能源设备不断接入爆炸式增长带来的数据访问响应慢的问题，包括：采集数据访问过程的请求记录，保存得到历史请求数据；基于深度学习算法构建规则解析模型，通过历史请求数据训练规则解析模型，优化模型参数；通过训练好的的规则解析模型对新能源设备运行过程中产生的数据进行聚合操作，生成不同的聚合数据集，聚合数据集与原始数据集分区存储；通过训练好的规则解析模型对新接入的访问请求数据进行解析，若满足访问预聚合数据条件，将访问请求路由到对应的聚合数据集中取出数据返回，否则将访问请求路由到原始数据集，从原始数据集取出数据返回。返回。返回。

【技术实现步骤摘要】
一种用于新能源设备的数据访问管理方法、系统


[0001]本专利技术涉及新能源数据管理
，具体涉及一种用于新能源设备的数据访问管理方法、系统。

技术介绍

[0002]在新能源领域，通过数据传输、存储、汇聚、访问等技术体系的构建，可以实现工业设备运行数据的汇聚整合。通过对汇聚整合的数据进行分析、建模等技术手段对新能源场站、设备全生命周期运维管理起到至关重要的作用。
[0003]然而，新能源设备实时、持续生产数据的特性不可避免的会导致海量数据的产生。因此，海量数据的采集、转换、加工、存储、访问等方面涉及的技术体系在安全性、高效性等方面面临不同的挑战。尤其是数据访问效率问题是所有基于数据的业务功能都无法避免的。传统的基于设备原始数据的访问体系由于是对全量数据或者简单聚合后的数据直接进行存储、访问，其响应速度会随着数据不断爆炸式的增长最终无法适应业务发展。
[0004]新能源设备生产数据的持续性带的数据持续增长，和其它非设备数据，或者互联网数据生产速度相比，其产生的数据是不间断的，不像互联网数据那样存在峰值点。其一直是峰值生产数据，提高新能源相关的数据访问的响应速度是当前的重大需求。

技术实现思路

[0005]针对现有技术中存在的技术问题，本专利技术提供了一种用于新能源设备的数据访问管理方法、系统，其可以解决数据量随着新能源设备不断接入爆炸式增长带来的数据访问响应慢的问题，进而提升基于数据分析、数据建模等的业务功能的生产效率。
[0006]为达到上述目的，本专利技术采用的技术方案为：一种用于新能源设备的数据访问管理方法，其特征在于，包括以下：
[0007]采集数据访问过程的请求记录，保存得到历史请求数据；
[0008]基于深度学习算法构建规则解析模型，所述规则解析模型用于对历史请求数据进行分类聚合；
[0009]通过历史请求数据训练规则解析模型，优化模型参数，当规则解析模型匹配请求记录达到设定阈值，认为规则解析模型满足上线条件，得到训练好的规则解析模型；
[0010]通过训练好的的规则解析模型对新能源设备运行过程中产生的数据进行聚合操作，生成不同的聚合数据集，聚合数据集与原始数据集分区存储；
[0011]当有新的访问请求接入时，通过训练好的规则解析模型对新接入的访问请求数据进行解析，判断是否满足预聚合数据条件，所述预聚合数据条件表示通过规则解析模型解析得到的结果有对应的聚合数据集，若满足，则将访问请求路由到对应的聚合数据集，从聚合数据集中取出数据返回，若不满足则将访问请求路由到原始数据集，从原始数据集取出数据返回。
[0012]进一步的，通过日志采集中间件采集数据访问过程的请求记录，将请求记录以文
件或者数据库记录形式进行历史留存。
[0013]进一步的，对于采集到的请求记录，设置请求格式预设模板对请求记录进行过滤，保留有效请求记录。
[0014]进一步的，所述请求格式预设模板包括请求头和请求体，所述请求头包括访问认证相关的信息，所述请求体包括请求的参数。
[0015]进一步的，所述规则解析模型包括共性抽取层、特征加工层、聚类分析层，所述共性抽取层用于对历史请求数据中的共性请求参数进行抽取归类，所述特征加工层用于抽取的请求参数进行相应的特征衍生，所述聚类分析层用于基于聚类分析算法对历史请求数据中的共性特征进行聚类。
[0016]进一步的，在对请求参数中的时间参数进行特征衍生时，按照符合新能源数据特性的分区粒度，将时间参数衍生出不同的时间维度对数据进行分区。
[0017]进一步的，将新接入的访问请求的请求记录放入历史请求数据，通过新的历史请求数据更新规则解析模型。
[0018]一种用于新能源设备的数据访问管理系统，其特征在于，包括：
[0019]数据采集模块，用于采集数据访问过程的请求记录，保存得到历史请求数据；
[0020]建模模块，基于深度学习算法构建规则解析模型，所述规则解析模型用于对历史请求数据进行分类；
[0021]模型训练模块，通过历史请求数据训练规则解析模型，优化模型参数，当规则解析模型匹配请求记录达到设定阈值，认为规则解析模型满足上线条件，得到训练好的规则解析模型；
[0022]聚合数据生成模块，通过训练好的的规则解析模型对新能源设备运行过程中产生的数据进行聚合操作，生成不同的聚合数据集，聚合数据集与原始数据集分区存储；
[0023]访问路由模块，当有新的访问请求接入时，通过训练好的规则解析模型对新接入的访问请求数据进行解析，判断是否满足预聚合数据条件，所述预聚合数据条件表示通过规则解析模型解析得到的结果有对应的聚合数据集，若满足，则将访问请求路由到对应的聚合数据集，从聚合数据集中取出数据返回，若不满足则将访问请求路由到原始数据集，从原始数据集取出数据返回。
[0024]一种计算机装置，其特征在于，其包括：包括处理器、存储器以及程序；
[0025]所述程序存储在所述存储器中，所述处理器调用存储器存储的程序，以执行上述的基于用于新能源设备的数据访问管理方法。
[0026]一种计算机可读存储介质，其特征在于：所述计算机可读存储介质用于存储程序，所述程序用于执行上述的基于用于新能源设备的数据访问管理方法。
[0027]本专利技术的方法设置了基于深度学习算法构建的规则解析模型，规则解析模型通过分析请求记录中请求参数的共性信息，将数据自动进行不同维度的划分，实现对原始数据的聚合形成独立的数据访问区域，然后制定动态访问路由规则，新请求到达后根据规则解析模型判断是否与聚合数据分区相匹配，若匹配则请求命中对应的数据区域则从独立数据区域拉取数据，实现快速响应请求的目的。本专利技术的方法有效提高了请求响应速度，此外，为保证业务功能的正常使用，在路由请求无法命中预聚合数据时，专利技术加入了结合原始数据集的动态路由失败的容错机制，当请求无法命中预聚合数据或者预聚合结果集数据尚未
生成的时候通过访问原始记录的方式，满足正常的数据访问请求。
附图说明
[0028]图1为一个实施例中的一种用于新能源设备的数据访问管理方法的步骤示意图；
[0029]图2为另一个实施例中的一种用于新能源设备的数据访问管理方法的步骤示意图；
[0030]图3为实施例中的一种用于新能源设备的数据访问管理系统的构成框图；
[0031]图4为一个实施例中计算机装置的内部结构图；
[0032]图5为直接访问和基于规则解析模型的百万请求平均响应时间对比图；
[0033]图6为不同有效记录下模型命中率的示意图。
具体实施方式
[0034]为使本申请的目的、技术方案和优点更加清楚，下面将对本申请的技术方案进行详细的描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本申请所保护的范围。
[0035]如
技术介绍
中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于新能源设备的数据访问管理方法，其特征在于，包括以下：采集数据访问过程的请求记录，保存得到历史请求数据；基于深度学习算法构建规则解析模型，所述规则解析模型用于对历史请求数据进行分类聚合；通过历史请求数据训练规则解析模型，优化模型参数，当规则解析模型匹配请求记录达到设定阈值，认为规则解析模型满足上线条件，得到训练好的规则解析模型；通过训练好的的规则解析模型对新能源设备运行过程中产生的数据进行聚合操作，生成不同的聚合数据集，聚合数据集与原始数据集分区存储；当有新的访问请求接入时，通过训练好的规则解析模型对新接入的访问请求数据进行解析，判断是否满足预聚合数据条件，所述预聚合数据条件表示通过规则解析模型解析得到的结果有对应的聚合数据集，若满足，则将访问请求路由到对应的聚合数据集，从聚合数据集中取出数据返回，若不满足则将访问请求路由到原始数据集，从原始数据集取出数据返回。2.根据权利要求1所述一种用于新能源设备的数据访问管理方法，其特征在于：通过日志采集中间件采集数据访问过程的请求记录，将请求记录以文件或者数据库记录形式进行历史留存。3.根据权利要求1所述一种用于新能源设备的数据访问管理方法，其特征在于：对于采集到的请求记录，设置请求格式预设模板对请求记录进行过滤，保留有效请求记录。4.根据权利要求3所述一种用于新能源设备的数据访问管理方法，其特征在于：所述请求格式预设模板包括请求头和请求体，所述请求头包括访问认证相关的信息，所述请求体包括请求的参数。5.根据权利要求1所述一种用于新能源设备的数据访问管理方法，其特征在于：所述规则解析模型包括共性抽取层、特征加工层、聚类分析层，所述共性抽取层用于对历史请求数据中的共性请求参数进行抽取归类，所述特征加工层用于抽取的请求参数进行相应的特征衍生，所述聚类分析层用于基于聚类分析算法对历史请求数据中的共性特...

【专利技术属性】
技术研发人员：刘振杰，黄力哲，叶林，杜闯，王伟，相童巍，王鹏，曹晶，刘美岑，包紫晨，谭国宁，于淼，
申请(专利权)人：北京华能新锐控制技术有限公司，
类型：发明
国别省市：