System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及数据处理,具体涉及一种基于人工智能的自动化数据存储管理系统。
技术介绍
1、在工业自动控制系统设计的过程中,为了保证控制的自动化,可以通过对数据库中的数据进行自动存储管理;但当工业系统完整运行时,对应的机械装置会伴随着系统运行产生大量的工业相关数据,这些大量的工业相关数据会较大程度地使工业自动控制系统产生延时,从而影响对数据的自动存储管理效率,所以需要对数据进行压缩处理,降低数据量,提高自动存储管理效率。
2、现有技术通常利用游程编码算法对数值相同的工业相关数据进行合并压缩处理,但在实际过程中,工业自动控制系统的设计会针对用户的不同需求进行对应调整,会产生大量表征不同需求阶段的数据,这些数据并不完全相同;因此,传统的游程编码算法仅能实现部分相同数据的有效压缩,无法有效降低数据量,从而无法有效提高自动存储管理效率。
技术实现思路
1、本专利技术提供一种基于人工智能的自动化数据存储管理系统,以解决现有的问题:实际工业自动控制系统的设计会因对用户需求产生大量表征不同需求阶段的不同数据,传统的游程编码算法仅能实现部分相同数据的有效压缩,无法有效降低数据量。
2、本专利技术的一种基于人工智能的自动化数据存储管理系统采用如下技术方案:
3、包括以下模块:
4、待编码数据序列获取模块,用于获取待编码数据序列;
5、自适应待编码数据区间获取模块,用于在待编码数据序列中,分析不同数据区间内待编码数据的分布相似情况,对比数据区间
6、压缩信息损失程度获取模块,用于将自适应待编码数据区间划分为若干局部待检测编码区间;对比不同局部待检测编码区间之间的数据差异,结合局部待检测编码区间压缩前后的空间占比情况,得到局部待检测编码区间的压缩信息损失程度;
7、数据存储管理模块,用于根据压缩信息损失程度,对局部待检测编码区间进行分类压缩,并进行存储。
8、优选的,所述自适应待编码数据区间的获取方法为:
9、对待编码数据序列中相邻的待编码数据进行迭代合并累加,获取若干自适应待编码数据区间;对于任意一个待编码数据,所述待编码数据对应一次合并过程的数据区间,每个数据区间对应一个内部数据相似程度,每个待编码数据对应一个数据区间并入度。
10、优选的,所述内部数据相似程度的获取方法为:
11、对于任意一次合并过程的数据区间,分析数据区间内待编码数据的数据整体稳定情况,获取数据区间内数据的整体稳定程度;
12、将数据区间内相邻待编码数据的差异最大值与差异最小值的比值,作为数据区间的极端波动程度;
13、根据整体稳定程度、极端波动程度得到数据区间的内部数据相似程度;所述内部数据相似程度与所述整体稳定程度呈正相关,与所述极端波动程度呈正相关。
14、优选的,所述整体稳定程度的获取方法为:
15、获取数据区间内相邻待编码数据之间的差异均值;
16、获取数据区间内待编码数据的斜率的方差;
17、根据差异均值、方差得到数据区间的整体稳定程度;所述整体稳定程度与所述差异均值呈正相关,与所述方差呈负相关。
18、优选的,所述数据区间并入度的获取方法为:
19、获取数据区间并入待编码数据前后的内部数据相似程度差异;
20、根据内部数据相似程度差异,获取待编码数据的数据区间并入度;所述数据区间并入度与所述内部数据相似程度差异呈负相关。
21、优选的,所述压缩信息损失程度的获取方法为:
22、结合目标局部待检测编码区间压缩前后的空间占比情况,得到目标局部待检测编码区间的压缩空间节省度;
23、将任意一个局部待检测编码区间记为目标局部待检测编码区间,将目标局部待检测编码区间的下一个局部待检测编码区间记为对照局部待检测编码区间;
24、对比目标局部待检测编码区间与对照局部待检测编码区间之间数据平均差异,得到目标局部待检测编码区间的对比编码差异度;
25、根据压缩空间节省度、对比编码差异度得到目标局部待检测编码区间的压缩信息损失程度;所述压缩信息损失程度与所述压缩空间节省度呈正相关,与所述对比编码差异度呈负相关。
26、优选的,所述压缩空间节省度的获取方法为:
27、将目标局部待检测编码区间与所属自适应待编码区间之间所含待编码数量的比值,作为目标局部待检测编码区间的压缩空间节省度。
28、优选的,所述对比编码差异度的获取方法为:
29、获取目标局部待检测编码区间内待编码数据均值;
30、获取对照局部待检测编码区间内待编码数据均值;
31、将目标局部待检测编码区间与对照局部待检测编码区间之间待编码数据均值的差异,作为目标局部待检测编码区间的对比编码差异度。
32、优选的,计算压缩信息损失程度之后,还包括:
33、对每个压缩信息损失程度进行线性归一化。
34、优选的,所述分类压缩,包括的具体方法为:
35、根据压缩信息损失程度,将所有局部待检测编码区间划分为若干待调整压缩编码区间以及若干统一压缩编码区间;
36、对于任意一个待调整压缩编码区间,将待调整压缩编码区间内所有待编码数据的均值作为标记编码数据值,将待调整压缩编码区间内每个待编码数据替换为标记编码数据值,将替换数据后的待调整压缩编码区间进行压缩存储;
37、对于任意一个统一压缩编码区间,将统一压缩编码区间内所有待编码数据的众数作为统一编码数据值,将统一压缩编码区间内每个待编码数据替换为统一编码数据值,将替换数据后的统一压缩编码区间进行压缩存储。
38、本专利技术的技术方案的有益效果是:通过分析不同数据区间内待编码数据的分布相似情况,单个待编码数据对数据区间内数据分布的影响情况,将待编码数据序列划分为若干自适应待编码数据区间;其中自适应待编码数据区间用于描述机械装置不同的工作状态,使不同用户需求之间的数据区别越明显;对比不同局部待检测编码区间之间的数据差异,结合局部待检测编码区间压缩前后的空间占比情况,得到压缩信息损失程度;其中压缩信息损失程度用于描述不同编码数据段所表征的有效装置运行信息丢失情况,降低有效装置运行信息的丢失量;本专利技术通过分析待编码数据序列中表征的不同需求阶段信息,进行自适应分段,对分段后的数据进行分类压缩,提高了对数据的有效压缩量,降低了数据所含的空间容量,提高了数据存储效率。
本文档来自技高网...【技术保护点】
1.一种基于人工智能的自动化数据存储管理系统,其特征在于,该系统包括以下模块:
2.根据权利要求1所述一种基于人工智能的自动化数据存储管理系统,其特征在于,所述自适应待编码数据区间的获取方法为:
3.根据权利要求2所述一种基于人工智能的自动化数据存储管理系统,其特征在于,所述内部数据相似程度的获取方法为:
4.根据权利要求3所述一种基于人工智能的自动化数据存储管理系统,其特征在于,所述整体稳定程度的获取方法为:
5.根据权利要求2所述一种基于人工智能的自动化数据存储管理系统,其特征在于,所述数据区间并入度的获取方法为:
6.根据权利要求1所述一种基于人工智能的自动化数据存储管理系统,其特征在于,所述压缩信息损失程度的获取方法为:
7.根据权利要求6所述一种基于人工智能的自动化数据存储管理系统,其特征在于,所述压缩空间节省度的获取方法为:
8.根据权利要求6所述一种基于人工智能的自动化数据存储管理系统,其特征在于,所述对比编码差异度的获取方法为:
9.根据权利要求1所述一种基于人工智能的
10.根据权利要求1所述一种基于人工智能的自动化数据存储管理系统,其特征在于,所述分类压缩,包括的具体方法为:
...【技术特征摘要】
1.一种基于人工智能的自动化数据存储管理系统,其特征在于,该系统包括以下模块:
2.根据权利要求1所述一种基于人工智能的自动化数据存储管理系统,其特征在于,所述自适应待编码数据区间的获取方法为:
3.根据权利要求2所述一种基于人工智能的自动化数据存储管理系统,其特征在于,所述内部数据相似程度的获取方法为:
4.根据权利要求3所述一种基于人工智能的自动化数据存储管理系统,其特征在于,所述整体稳定程度的获取方法为:
5.根据权利要求2所述一种基于人工智能的自动化数据存储管理系统,其特征在于,所述数据区间并入度的获取方法为:
6.根据...
【专利技术属性】
技术研发人员:刘晓慧,董雯雪,陈少波,王军,纪仁栋,
申请(专利权)人:山东汉方自动化有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。