System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术属于数据储存,具体涉及一种基于集中器的冻结数据存储空间优化与访问方法。
技术介绍
1、在电力企业生产经营过程中,集中器采集储存的冻结数据,是国家电网系统中一个重要数据。
2、数据集中器的主要作用和功能包括:
3、数据采集:数据集中器是电力系统中的智能终端设备,负责与电表、电能质量监测仪等下级设备进行通信,采集电能数据、电能质量数据、电网运行状态数据等信息,形成数据冻结记录。
4、数据存储:数据集中器具有一定的存储空间,可以将采集到的数据冻结记录按照一定的格式和规则存储在本地,供上级系统或终端用户查询和下载。
5、数据转发:数据集中器可以通过无线或有线的方式与上级系统或终端用户进行通信,实现数据冻结记录的上传和下发,以及远程控制和参数设置等功能。
6、数据处理:数据集中器可以对采集到的数据进行一定的处理,例如数据校验、数据压缩、数据加密、数据分析等,提高数据的质量和安全性,以及降低数据的传输量和存储量。
7、数据冻结是指在一定的时间间隔或事件触发的条件下,对数据集中器采集到的数据进行快照,生成一条数据冻结记录,记录数据的内容和时间等信息。
8、数据冻结的目的是为了保证数据的完整性和一致性,避免数据的丢失或篡改,以及提高数据的可用性和可查询性。
9、数据冻结的方式有两种,即定时冻结和事件冻结。定时冻结是指按照一定的时间间隔,如每15分钟、每小时、每天等,对数据进行冻结,生成数据冻结记录。事件冻结是指在发生某些特定的事件,如电表更
10、但是随着技术的发展进步,对于集中器的冻结数据的要求越来越高,冻结周期越来越小,冻结数据越来越多,在集中器储存空间有限的情况下,无法满足日益增长的冻结数据储存需求、访问速度和访问效率的精准度,也无法满足更多场景的应用。
技术实现思路
1、专利技术目的:
2、本专利技术对不同应用场景下的集中器进行分类标签,再通过神经网络优化模型将不同业务类型的冻结数据进行优化,生成优化方案,使得集中器能够根据这些方案对冻结数据进行优化,这不仅提高了数据访问的速度,也提高了数据处理的效率。
3、技术方案
4、一种基于集中器的冻结数据存储空间优化与访问方法,包括以下步骤:
5、s1、每类集中器按照预定频率收集待测区域内的电表发送的电力数据,形成冻结数据;
6、s2、依序将每类集中器获得的冻结数据发送至服务器;分析并针对冻结数据的特点,构建并训练神经网络优化模型,获得每类集中器的存储空间优化方案;
7、s3、将存储空间优化方案对应配置到各类集中器中,各集中器根据存储空间优化方案,对冻结数据进行优化。
8、根据本申请的一个方面,所述步骤s1中进一步为:
9、s11、每类集中器按照预定频率收集待测区域内的电表发送的电力数据,形成冻结数据;所述冻结数据包括唯一性序号、逻辑设备号、信息点号、主数据di、次数据di、数据类型、开始时间、成功时间、存储时间、校验信息和数据内容;
10、所述数据类型包括:不可初始化参数为1;可初始化参数为1;普通数据为3;终端类事件数据为4;采集数据为5;不可初始化事件数据为6;
11、s12、将冻结数据根据业务类型、数据来源和时间范围进行分类;
12、s13、将经过分类的冻结数据,根据不同的数据特性调整冻结数据储存结构,将冻结数据分表储存;
13、s14、删除冗余数据;所述冗余数据包括逻辑设备号、主数据di和数据类型;
14、s15、根据表名命名规则进行存储;所述表名命名规则包括逻辑设备号、信息点号、主数据di、数据类型。
15、根据本申请的一个方面,所述步骤s13进一步为:
16、s131、从冻结数据中提取主键数据特性,生成冻结数据a表;所述主键数据特性包括信息点号和校验信息;
17、s132、根据冻结数据a表中的信息点号,生成唯一性序号,结合信息点号对应的外键数据特性,构建冻结数据时间信息b表;所述外键数据特性包括开始时间、成功时间和储存时间;
18、s133、调取冻结数据时间信息b表中每个序号对应的次数据di和数据内容,重新生成唯一性序号,构建冻结数据c表。
19、根据本申请的一个方面,所述步骤s2中进一步为:
20、s21、依序将每类集中器获得的冻结数据发送至服务器,存储在云端的数据库或文件系统中;
21、s22、对存储在云端数据库或文件系统中的冻结数据进行预处理,所述预处理包括去除无效数据、去除重复数据、去除异常数据、数据校验、数据转换和数据规范化;
22、s23、对冻结数据进行分析和挖掘,具体步骤如下:
23、s231、提取目标处理数据中每条数据内容,将数据内容转换为一个向量;
24、s232、对所有的数据内容向量进行堆叠,构建数据矩阵x;
25、s233、对数据矩阵x进行多维度的特征提取,得到多个特征矩阵f1, f2, …, fn;
26、s234、采用图神经网络的编码器将每个特征矩阵fi转换为图结构的数据表示gi,其中,每个节点代表一个数据,每个边代表数据之间的相似度或关联度,每个节点和边都有一个特征向量,表示数据的特征和关系;
27、s235、通过图神经网络的解码器将每个图结构的数据表示gi转换为目标输出yi,根据不同的数据挖掘任务,yi为标签向量、聚类向量、关联矩阵、预测向量或推荐向量,用于表示数据的分类、聚类、关联、预测和推荐结果;
28、s236、采用评估函数计算每个目标输出yi与真实输出或期望输出的误差或相似度,作为图神经网络的损失函数或奖励函数,用于优化图神经网络的参数和结构;
29、s237、通过融合函数将所有的目标输出y1, y2, …, yn融合为综合输出y,根据不同的数据挖掘任务,y为标签向量、聚类向量、关联矩阵、预测向量或推荐向量,用于表示数据的综合分析和挖掘的结果;
30、s238、利用展示函数将综合的输出y转换为可视化的输出z。
31、根据本申请的一个方面,所述步骤s3中进一步为:
32、根据冻结数据优化方案,对冻结数据进行查询:
33、s31、当集中器需要查询冻结数据时,遍历冻结数据a表,若有符合查询条件的信息点号数据,则进行下一步;若无则返回查询结果;
34、s32、遍历时间信息b表,若有符合查询条件的时间等信息,则进行下一步;若无则返回查询结果;
35、s33、遍历冻结数据c表,查询符合条件的数据,将查询结果返回;
36、根据冻结数据优化方案,对冻结数据进行存储:
37、s3a、当集中器需要储存冻结数据时,遍历冻结数据a表,若无当前信息点号的数据,将信本文档来自技高网...
【技术保护点】
1.一种基于集中器的冻结数据存储空间优化与访问方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于集中器的冻结数据存储空间优化与访问方法,其特征在于,所述步骤S1中进一步为:
3.根据权利要求2所述的基于集中器的冻结数据存储空间优化与访问方法,其特征在于,所述步骤S13进一步为:
4.根据权利要求3所述的基于集中器的冻结数据存储空间优化与访问方法,其特征在于,所述步骤S2中进一步为:
5.根据权利要求4所述的基于集中器的冻结数据存储空间优化与访问方法,其特征在于,所述步骤S3中进一步为:
6.根据权利要5所述的基于集中器的冻结数据存储空间优化与访问方法,其特征在于,所述对冻结数据进行存储时需要进行数据增量操作,具体步骤如下:
7.根据权利要1所述的基于集中器的冻结数据存储空间优化与访问方法,其特征在于,步骤S1中,还包括对冻结数据进行压缩,具体步骤如下:
8.根据权利要1所述的基于集中器的冻结数据存储空间优化与访问方法,其特征在于,步骤S3之后,还包括数据重构过程:
9.根据
10.根据权利要1所述的基于集中器的冻结数据存储空间优化与访问方法,其特征在于,所述冻结数据存储空间优化与访问方法还包括以下子步骤:
...【技术特征摘要】
1.一种基于集中器的冻结数据存储空间优化与访问方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于集中器的冻结数据存储空间优化与访问方法,其特征在于,所述步骤s1中进一步为:
3.根据权利要求2所述的基于集中器的冻结数据存储空间优化与访问方法,其特征在于,所述步骤s13进一步为:
4.根据权利要求3所述的基于集中器的冻结数据存储空间优化与访问方法,其特征在于,所述步骤s2中进一步为:
5.根据权利要求4所述的基于集中器的冻结数据存储空间优化与访问方法,其特征在于,所述步骤s3中进一步为:
6.根据权利要5所述的基于集中器的冻结数据存储空间优化与访问方法,其...
【专利技术属性】
技术研发人员:梅安宁,张小秋,周阳,王津剑,李国盛,钱昱,
申请(专利权)人:南京新联电子股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。