System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于云服务的大数据存储与备份管理系统技术方案_技高网

基于云服务的大数据存储与备份管理系统技术方案

技术编号:44730264 阅读:5 留言:0更新日期:2025-03-21 17:54
本发明专利技术公开了基于云服务的大数据存储与备份管理系统,涉及大数据备份管理领域,用于解决存储在参数库中采集的参数无法动态的调用于平衡系统稳定性,降低系统长期运行的云存储环境适应性的问题,通过采集预估备份时间间隔与参考值之间的偏差量、预估备份数据量与参考数据量之间的偏差量以及整体轮次时长,建立加权分析模型,得到备份间隔调整总次数,并采集影响备份间隔调整范围的参数,并整合为参数库,根据参数库内全部参数对应的网络延时效应以及数据更变频率,设定数据冷热机制,对参数库中的参数进行分类,依据冷数据参数在备份间隔内的频率特征制定一组模糊规则进行模糊推理,确定冷数据参数调用结果,优化存储资源利用率。

【技术实现步骤摘要】

本专利技术涉及大数据备份管理领域,更具体地说,本专利技术涉及基于云服务的大数据存储与备份管理系统


技术介绍

1、在基于云服务的大数据存储与备份管理系统中,备份是保障数据安全的重要手段。合理的备份间隔能够确保在数据发生不可预见的故障或异常时,系统拥有近期的备份数据,从而将数据丢失的风险降到最低,合理的备份间隔调整对于系统的稳定性、存储资源的优化利用以及数据恢复的高效性至关重要。

2、现有技术存在以下不足:

3、目前,通过动态调整备份频率,平衡系统稳定性与备份性能,然而在面对突发性数据增长或异常网络波动时,无法准确调用与备份时长间隔相关的参数代入计算,这导致存储在参数库中采集的参数无法动态的调用于平衡系统稳定性,降低系统长期运行的云存储环境适应性,增加因不合理调整导致的计算资源浪费。因此,提出基于云服务的大数据存储与备份管理系统。

4、在所述
技术介绍
部分公开的上述信息仅用于加强对本公开的背景的理解,因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现思路

1、为了克服现有技术的上述缺陷,本专利技术的实施例提供基于云服务的大数据存储与备份管理系统,通过运用不同的产品检验方式以解决上述
技术介绍
中提出的问题。

2、为实现上述目的,本专利技术提供如下技术方案,基于云服务的大数据存储与备份管理系统,包括数据采集模块、调整确定模块、参数管理模块以及数据调用模块;各模块之间信号连接;

3、数据采集模块用于采集备份特征信息以及备份轮次信息,并发送至调整确定模块;

4、调整确定模块用于获取备份特征信息以及备份轮次信息,建立加权分析模型,得到备份间隔调整总次数,并采集影响备份间隔调整范围的参数,整合为参数库发送至参数管理模块;

5、参数管理模块用于获取备份间隔调整总次数和参数库,获取参数库中全部参数,并根据参数库内全部参数对应数据,设定数据冷热机制,对参数库中的参数进行分类,并发送至数据调用模块;

6、数据调用模块用于获取参数分类结果,并依据冷数据参数在备份间隔内的频率特征,代入模糊逻辑确定冷数据参数调用结果。

7、在一个优选的实施方式中,备份特征信息包括预估备份时间间隔与参考值之间的偏差量以及预估备份数据量与参考数据量之间的偏差量;

8、通过上一轮次备份操作中记录的备份时间间隔数据,并结合当前系统存储利用率计算出预估备份时间间隔,并与预先设定的备份时间间隔参考值进行相减计算,得到预估备份时间间隔与参考值之间的偏差量;

9、基于上一轮次备份数据量、当前数据增长率以及数据变更频率,得到预估备份数据量,并与预先设定的参考备份数据量进行相减计算,得到预估备份数据量与参考数据量之间的偏差量;

10、根据实时监测数据计算出整体轮次时长。

11、在一个优选的实施方式中,获取预估备份时间间隔与参考值之间的偏差量、预估备份数据量与参考数据量之间的偏差量建立加权分析模型,生成偏差系数;

12、将偏差系数与整体轮次时长代入到自适应备份间隔调整公式,得到备份间隔调整总次数。

13、在一个优选的实施方式中,参数库中包含数据增长比率、时间偏差比率以及系统负载偏差比率;

14、备份间隔在第一次运行时是预设的固定备份间隔,后续根据参数库中对应的参数确定后续备份间隔的长度;

15、数据增长比率、时间偏差比率以及系统负载偏差比率均是在已经运行当前轮次第一次初始备份间隔后,累计第二次与第一次的数据增长比率、时间偏差比率以及系统负载偏差比率;

16、参数库内全部参数对应的网络延时效应以及数据更变频率,同时共同决定数据增长比率、时间偏差比率以及系统负载偏差比率的调整。

17、在一个优选的实施方式中,通过往返时间以及单向传输延迟,将往返时间与当前备份的数据量与当前网络带宽进行比值计算结果进行加权计算,得到网络延时效应;

18、获取单位时间内的数据变化量并与预设的多个单位时间累计的时间间隔进行比值计算,得到数据更变频率。

19、在一个优选的实施方式中,将与数据增长比率、时间偏差比率以及系统负载偏差比率对应的网络延时效应以及数据更变频率进行乘积计算,并代入到数据增长比率、时间偏差比率以及系统负载偏差比率当中,得到数据冷热评估标准;

20、将与数据增长比率、时间偏差比率以及系统负载偏差比率对应的数据冷热评估标准进行从大到小依次排序,将排序靠前的两个参数作为热数据参数,将排序靠后的一个参数作为冷数据参数。

21、在一个优选的实施方式中,冷数据参数在备份间隔内的频率特征包括冷数据参数增长频率以及冷数据参数备份间隔次数;

22、记录冷数据参数的值,以连续两次备份的冷数据参数值计算增长幅度,再将两个相邻的增长幅度进行比值计算,得到冷数据参数增长频率;

23、统计生成热数据参数的次数,得到冷数据参数备份间隔次数。

24、在一个优选的实施方式中,将冷数据参数增长频率以及冷数据参数备份间隔次数定义为输入变量,分别划分为不同的模糊集合;

25、将冷数据参数调用结果定义为输出变量,划分为模糊集合;

26、制定模糊规则,描述冷数据参数增长频率以及冷数据参数备份间隔次数对冷数据参数调用结果的影响;

27、根据模糊规则进行模糊推理,确定冷数据参数调用结果。

28、本专利技术的技术效果和优点:

29、1.本专利技术通过采集预估备份时间间隔与参考值之间的偏差量、预估备份数据量与参考数据量之间的偏差量以及整体轮次时长,建立加权分析模型,得到备份间隔调整总次数,并采集影响备份间隔调整范围的参数,并整合为参数库,根据参数库内全部参数对应的网络延时效应以及数据更变频率,设定数据冷热机制,分类出热数据参数以及冷数据参数,提高备份策略的动态适应性,优化存储资源利用率,动态调整备份间隔,平衡系统稳定性。

30、2.本专利技术通过获取热数据参数以及冷数据参数,并依据冷数据参数在备份间隔内的频率特征,得到冷数据参数增长频率以及冷数据参数备份间隔次数,制定一组模糊规则进行模糊推理,确定冷数据参数调用结果,适应大规模的数据备份环境,避免冷数据长期未备份,降低数据丢失风险。

本文档来自技高网...

【技术保护点】

1.基于云服务的大数据存储与备份管理系统,其特征在于:包括数据采集模块、调整确定模块、参数管理模块以及数据调用模块;各模块之间信号连接;

2.根据权利要求1所述的基于云服务的大数据存储与备份管理系统,其特征在于:备份特征信息包括预估备份时间间隔与参考值之间的偏差量以及预估备份数据量与参考数据量之间的偏差量;

3.根据权利要求2所述的基于云服务的大数据存储与备份管理系统,其特征在于:获取预估备份时间间隔与参考值之间的偏差量、预估备份数据量与参考数据量之间的偏差量建立加权分析模型,生成偏差系数;

4.根据权利要求3所述的基于云服务的大数据存储与备份管理系统,其特征在于:参数库中包含数据增长比率、时间偏差比率以及系统负载偏差比率;

5.根据权利要求4所述的基于云服务的大数据存储与备份管理系统,其特征在于:通过往返时间以及单向传输延迟,将往返时间与当前备份的数据量与当前网络带宽进行比值计算结果进行加权计算,得到网络延时效应;

6.根据权利要求5所述的基于云服务的大数据存储与备份管理系统,其特征在于:将与数据增长比率、时间偏差比率以及系统负载偏差比率对应的网络延时效应以及数据更变频率进行乘积计算,并代入到数据增长比率、时间偏差比率以及系统负载偏差比率当中,得到数据冷热评估标准;

7.根据权利要求6所述的基于云服务的大数据存储与备份管理系统,其特征在于:冷数据参数在备份间隔内的频率特征包括冷数据参数增长频率以及冷数据参数备份间隔次数;

8.根据权利要求7所述的基于云服务的大数据存储与备份管理系统,其特征在于:将冷数据参数增长频率以及冷数据参数备份间隔次数定义为输入变量,分别划分为不同的模糊集合;

...

【技术特征摘要】

1.基于云服务的大数据存储与备份管理系统,其特征在于:包括数据采集模块、调整确定模块、参数管理模块以及数据调用模块;各模块之间信号连接;

2.根据权利要求1所述的基于云服务的大数据存储与备份管理系统,其特征在于:备份特征信息包括预估备份时间间隔与参考值之间的偏差量以及预估备份数据量与参考数据量之间的偏差量;

3.根据权利要求2所述的基于云服务的大数据存储与备份管理系统,其特征在于:获取预估备份时间间隔与参考值之间的偏差量、预估备份数据量与参考数据量之间的偏差量建立加权分析模型,生成偏差系数;

4.根据权利要求3所述的基于云服务的大数据存储与备份管理系统,其特征在于:参数库中包含数据增长比率、时间偏差比率以及系统负载偏差比率;

5.根据权利要求4所述的基于云服务的大数据存储与备份管理系统,其...

【专利技术属性】
技术研发人员:熊思胡海娟熊荣海
申请(专利权)人:东北大学秦皇岛分校
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1