【技术实现步骤摘要】
本专利技术涉及数据存储，具体涉及一种数据存储优化的方法及系统。
技术介绍
1、数据存储优化是指通过采取一系列有效的策略和技术，以提高数据存储系统的性能、效率和可靠性。这一过程旨在最大程度地减少资源使用，包括存储空间、计算资源和网络带宽，同时保障对数据的快速、安全的访问。数据存储优化的目标包括提高查询速度、降低存储成本、增加系统可扩展性以及确保数据的完整性和可靠性。
2、常见的数据存储优化目标和策略包括以下情况：通过合理的数据模型设计、索引的使用、缓存技术等手段，提高数据的读写性能。这包括减小数据访问时的延迟，提高系统的响应速度。通过压缩技术、分区、去规范化等手段，最小化数据存储所需的空间，降低存储成本。这对于大规模数据集和云存储环境尤为重要。为了适应不断增长的数据量，系统应具备良好的可扩展性。分布式存储、分片、分区等技术可以帮助系统有效地处理大规模数据。
3、数据存储优化旨在建立一个高效、可靠、安全、成本合理的数据管理系统，以满足不同应用场景对数据存储的多样化需求。
4、数据存储优化时，使用数据压缩技术可以减小存储空间需求，并在一定程度上提高数据传输速度，对数据进行压缩时，若在数据压缩过程存在异常但是没有明显的表现出，那么压缩过程存在的异常将会持续存在，当出现此情况时，可能导致数据在压缩过程中损坏或丢失，影响数据的完整性，损坏的数据可能无法正确还原，导致信息丢失或数据不一致，从而影响业务决策和数据分析的准确性，其次，潜在的异常可能在系统中逐渐积累，导致系统不稳定，未处理的异常可能在一段时间后引
5、在所述
技术介绍
部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
1、本专利技术的目的是提供一种数据存储优化的方法及系统，通过引入实时监测与分析的流程，通过获取数据压缩时的多项数据信息，包括计算资源调配信息和压缩性能信息，其中，对cpu时钟频率信息和数据实时积压信息进行处理，生成cpu时钟频率异态隐蔽指数和数据积压指数，这使得系统能够实时感知数据压缩过程中的异常隐患，避免了异常长时间潜伏而不被察觉的情况，有助于及时采取措施，维护数据的完整性和系统的稳定性，通过综合分析数据压缩时的计算资源调配信息和压缩性能信息，生成了压缩隐患系数，随后，将其与预设的阈值进行比对，以判断数据压缩过程是否存在异常，这种综合分析和评估的方法提高了对数据压缩过程的全面把控，不仅关注性能信息，还考虑到计算资源的分配情况，更有助于准确评估压缩的有效性和潜在风险，以解决上述
技术介绍
中的问题。
2、为了实现上述目的，本专利技术提供如下技术方案：一种数据存储优化的方法，包括以下步骤：
3、对数据进行分析，了解数据的特性，选择适合数据特性的压缩算法，对数据进行压缩；
4、获取数据压缩时的多项数据信息，包括压缩时的计算资源调配信息和压缩性能信息，获取后，将计算资源调配信息和压缩性能信息进行处理；
5、将数据压缩时经过处理后的计算资源调配信息和压缩性能信息进行综合分析，生成压缩隐患系数，通过压缩隐患系数对数据压缩进行评估；
6、将数据压缩时生成的压缩隐患系数与预先设定的压缩隐患系数参考阈值进行比对分析，判断数据压缩时是否存在异常隐患情况；
7、当数据压缩时存在异常隐患时，将起始点对应的压缩隐患系数和后续生成的若干个压缩隐患系数建立分析集合，将分析集合内的压缩隐患系数与预先设定的压缩隐患系数参考阈值进行综合分析，生成隐患风险指数，通过隐患风险指数对数据压缩的过程进一步判断，当数据压缩时存在高风险时，停止压缩，当数据压缩时为低风险时，继续压缩。
8、优选的，对数据进行压缩时，数据压缩时的计算资源调配信息包括cpu时钟频率信息，获取到cpu时钟频率信息后，将cpu时钟频率信息进行处理后生成cpu时钟频率异态隐蔽指数；对数据进行压缩时，数据压缩时的压缩性能信息包括数据实时积压信息，获取到数据实时积压信息，将数据实时积压信息处理后生成数据积压指数。
9、优选的，cpu时钟频率异态隐蔽指数获取的逻辑如下：
10、获取数据压缩时在t时间内的实时cpu时钟频率，并将实时cpu时钟频率标定为clockcpux，x表示数据压缩时在t时间内的实时cpu时钟频率的编号，x＝1、2、3、4、……、p，p为正整数；
11、通过数据压缩时在t时间内获取的实时cpu时钟频率计算cpu时钟频率标准差和cpu时钟频率预期偏差，计算公式为：式中，clockcpu标表示cpu时钟频率标准差，clockcpu平表示数据压缩时在t时间内获取的实时cpu时钟频率的平均值，式中，clockcpu偏差表示cpu时钟频率预期偏差，clockcpu预期表示预期cpu时钟频率，clockcpux'表示数据压缩时在t时间内获取的低于预期cpu时钟频率的实时cpu时钟频率，x'表示数据压缩时在t时间内获取的低于预期cpu时钟频率的实时cpu时钟频率的编号，x'＝、2、3、4、……、p'，p'为正整数，且p'≤p；
12、计算cpu时钟频率异态隐蔽指数，计算的表达式为：clockcpu＝μ1*clockcpu标+μ2*clockcpu偏差，式中，clockcpu表示cpu时钟频率异态隐蔽指数，μ1、μ2分别为cpu时钟频率标准差clockcpu标和cpu时钟频率预期偏差clockcpu偏差的权重因子，取值均大于0。
13、优选的，数据积压指数获取的逻辑如下：
14、获取数据压缩时在t时间内的实时数据积压率，形成时间序列，并将实时数据积压率按照时间序列用函数backrate(t)；
15、通过在t时间内获取的实时数据积压率计算数据积压指数，计算的表达式为：式中，backrate表示数据积压指数，[tx，ty]表示数据压缩时已完成数据压缩的时段，[tm，tn]表示数据压缩时等待数据压缩的时段，tx<ty，tm<tn。
16、优选的，获取到数据压缩时经过处理后的cpu时钟频率异态隐蔽指数clockcpu和数据积压指数backrate后，将cpu时钟频率异态隐蔽指数clockcpu和数据积压指数backrate进行公式化分析，生成压缩隐患系数ysττ，依据的公式为：
17、
18、，式中，f1、f2分别为cpu时钟频率异态隐蔽指数clockcpu和数据积压指数backrate的预设比例系数，且f1、f2均大于0。
19、优选的，将数据压缩时生成的压缩隐患系数与预先设定的压缩隐患系数参考阈值进行比对分析，比对分析的结果如下：
20、若压缩隐患系数大于等于压缩隐患系数参考阈值，则生成异常信号，当数据压缩时生成异常信号时，进一步对数据压缩过程进行分析；
21、若压缩隐患系数小于压缩隐患系数参考阈值，则生成正常信本文档来自技高网...
【技术保护点】
1.一种数据存储优化的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种数据存储优化的方法，其特征在于，对数据进行压缩时，数据压缩时的计算资源调配信息包括CPU时钟频率信息，获取到CPU时钟频率信息后，将CPU时钟频率信息进行处理后生成CPU时钟频率异态隐蔽指数；对数据进行压缩时，数据压缩时的压缩性能信息包括数据实时积压信息，获取到数据实时积压信息，将数据实时积压信息处理后生成数据积压指数。
3.根据权利要求2所述的一种数据存储优化的方法，其特征在于，CPU时钟频率异态隐蔽指数获取的逻辑如下：
4.根据权利要求3所述的一种数据存储优化的方法，其特征在于，数据积压指数获取的逻辑如下：
5.根据权利要求4所述的一种数据存储优化的方法，其特征在于，获取到数据压缩时经过处理后的CPU时钟频率异态隐蔽指数ClockCPU和数据积压指数BackRate后，将CPU时钟频率异态隐蔽指数ClockCPU和数据积压指数BackRate进行公式化分析，生成压缩隐患系数YSττ，依据的公式为：
6.根据权利要求5所述的一种数据存储
7.根据权利要求6所述的一种数据存储优化的方法，其特征在于，当数据压缩时存在异常隐患时，将起始点对应的压缩隐患系数和后续生成的若干个压缩隐患系数建立分析集合，并将分析集合标定为F，则F＝{YSττv}＝{YSττ1、YSττ2、…、YSττs}，v＝1、2、3、4、……、s，s为正整数；
8.根据权利要求7所述的一种数据存储优化的方法，其特征在于，将分析集合内通过大于压缩隐患系数参考阈值的压缩隐患系数和压缩隐患系数参考阈值生成隐患风险指数与预先设定的隐患风险指数参考阈值进行比对分析，比对分析的结果如下：
9.一种数据存储优化的系统，其特征在于，用于实现上述权利要求1-8中任意一项所述的一种数据存储优化的方法，包括数据特性分析与压缩算法选择模块、数据信息获取与处理模块、综合分析与压缩隐患评估模块、压缩隐患比对分析模块以及风险指数生成与压缩处理模块；
...【技术特征摘要】
1.一种数据存储优化的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种数据存储优化的方法，其特征在于，对数据进行压缩时，数据压缩时的计算资源调配信息包括cpu时钟频率信息，获取到cpu时钟频率信息后，将cpu时钟频率信息进行处理后生成cpu时钟频率异态隐蔽指数；对数据进行压缩时，数据压缩时的压缩性能信息包括数据实时积压信息，获取到数据实时积压信息，将数据实时积压信息处理后生成数据积压指数。
3.根据权利要求2所述的一种数据存储优化的方法，其特征在于，cpu时钟频率异态隐蔽指数获取的逻辑如下：
4.根据权利要求3所述的一种数据存储优化的方法，其特征在于，数据积压指数获取的逻辑如下：
5.根据权利要求4所述的一种数据存储优化的方法，其特征在于，获取到数据压缩时经过处理后的cpu时钟频率异态隐蔽指数clockcpu和数据积压指数backrate后，将cpu时钟频率异态隐蔽指数clockcpu和数据积压指数backrate进行公式化分析，生成压缩隐患系数ysττ，依据的公式为：
<...【专利技术属性】
技术研发人员：潘坚，
申请(专利权)人：北京雅弘商业管理有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。