System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种备份数据负载均衡方法、系统及装置制造方法及图纸_技高网

一种备份数据负载均衡方法、系统及装置制造方法及图纸

技术编号:42750801 阅读:8 留言:0更新日期:2024-09-18 13:41
本公开提供了一种备份数据负载均衡方法、系统及装置,涉及数据备份领域,所述方法应用于备份代理端,包括:获取备份数据,对备份数据进行分片处理,得到多个分片备份数据,多个分片备份数据的大小相同;在备份代理端与各个备份存储节点的备份服务端之间建立一一对应的备份通道;确定出多个分片备份数据中每个分片备份数据的发送批次;按照发送批次,将多个分片备份数据划分为包含相同数量的分片备份数据的多个备份组,多个备份组与各个备份存储节点之间一一对应;通过各个备份通道,将各个备份组并行发送至对应的备份存储节点进行备份。本公开的方法确保了备份数据在各个备份服务节点之间均衡分布,同时实现单备份任务下的负载均衡要求。

【技术实现步骤摘要】

本公开涉及数据备份领域,具体涉及一种备份数据负载均衡方法、系统及装置


技术介绍

1、用户业务数据是核心的数字资产,业界常使用备份软件对这些核心数据进行备份保护,在生产主机出现断电或重启等异常情况发生时,需要将生产业务数据恢复到故障发生前的正常状态,这时需要通过备份软件将备份的数据恢复到生产主机。

2、相关技术是使用备份存储集群的负载均衡功能实现备份代理到多个备份服务节点的数据流并发传输。通过配置基于轮询机制的域名访问负载均衡策略,备份数据可以分发到多个备份存储节点上。然而,如果只配置了一个备份任务,单任务下只存在一条备份通道的单链,备份数据流只会串行地传输到一个备份存储节点上,无法实现备份数据的负载均衡。同时,如果配置了多个备份任务,由于每个任务的数据类型和数据量不同,备份速率会有较大差异,导致备份存储节点和备份客户端之间的数据流量波动较大,无法满足严苛的负载均衡要求。


技术实现思路

1、本公开实施例提供一种备份数据负载均衡方法、系统及装置,旨在解决上述
技术介绍
存在的问题。

2、为了解决上述技术问题,本公开是这样实现的:

3、第一方面,本公开实施例提供了一种备份数据负载均衡方法,应用于备份代理端,所述方法包括:

4、获取备份数据,对所述备份数据进行分片处理,得到多个分片备份数据,多个分片备份数据的大小相同;

5、在所述备份代理端与各个备份存储节点的备份服务端之间建立一一对应的备份通道;

6、确定出所述多个分片备份数据中每个分片备份数据的发送批次;

7、按照所述发送批次,将所述多个分片备份数据划分为包含相同数量的分片备份数据的多个备份组,多个备份组与各个备份存储节点之间一一对应;

8、通过各个备份通道,将各个备份组并行发送至对应的备份存储节点进行备份。

9、可选地,所述对所述备份数据进行分片处理,得到多个分片备份数据,包括:

10、根据所述备份数据的数据类型,设置预设分片值;

11、基于所述预设分片值,对所述备份数据进行切分操作,得到多个分片备份数据。

12、可选地,所述方法还包括:

13、获取备份数据的文件名和备份任务编号;

14、根据所述切分操作的顺序,对各个分片备份数据添加切分顺序标识、所述备份数据的文件名和备份任务编号;

15、通过各个备份通道,将各个备份组并行发送至对应的备份存储节点进行备份,包括:

16、通过各个备份通道,将各个备份组中的分片备份数据并行发送至对应的备份存储节点;

17、所述方法还包括:

18、响应于恢复任务对应的恢复请求,并将恢复任务对应的恢复请求下发至各个备份存储节点,将从各个备份存储节点获取到的待恢复数据对应的多个分片恢复数据记录到本地缓存中;

19、获取各个备份存储节点发送的待恢复数据的文件名、备份任务编号以及,所述多个分片恢复数据各自的切分顺序标识;

20、在本地缓存记录到所有分片恢复数据的情况下,根据所述待恢复数据的文件名、备份任务编号以及,所述多个分片恢复数据各自的切分顺序标识,对所述多个分片恢复数据进行拼接操作,得到所述待恢复数据的原始数据文件。

21、可选地,在所述备份代理端与各个备份存储节点的备份服务端之间建立一一对应的备份通道,包括:

22、确定各个备份存储节点的协议类型,并根据各个备份存储节点的协议类型,配置所述备份代理端的网络连接参数;

23、基于所述网络连接参数,在所述备份代理端与各个备份存储节点的备份服务端之间建立备份通道,所述备份通道是通过所述协议类型对应的网络协议进行数据传输的。

24、第二方面,本公开实施例提供了一种备份数据负载均衡方法,应用于分布式备份存储集群中的任一备份存储节点,所述分布式备份存储集群包括多个备份存储节点,所述方法包括:

25、通过备份通道接收备份代理端发送的分片备份数据,所述分片备份数据是备份代理端对备份数据进行分片处理得到的,多个分片备份数据的大小相同;所述备份通道是建立在所述备份代理端与各个备份存储节点的备份服务端之间一一对应的网络通道;

26、通过备份服务端将所述分片备份数据写入至本地硬盘中。

27、可选地,所述方法还包括:

28、通过备份服务端确定出所述分片备份数据的存储路径;

29、接收所述备份代理端发送的备份数据的文件名、备份任务编号以及所述分片备份数据的切分顺序标识;

30、将备份数据的文件名、备份任务编号、分片备份数据的存储路径,以及分片备份数据的切分顺序标识作为所述分片备份数据的元数据信息,记录到备份元数据库中。

31、可选地,所述方法还包括:

32、响应于恢复任务对应的恢复请求,从本地硬盘中读取待恢复数据对应的多个分片恢复数据;

33、通过备份服务端从所述备份元数据库中读取并解析待恢复数据对应的元数据信息,得到所述待恢复数据的文件名、备份任务编号以及,所述多个分片恢复数据各自的切分顺序标识;

34、将所述多个分片恢复数据、所述待恢复数据的文件名、备份任务编号以及,所述多个分片恢复数据各自的切分顺序标识发送至所述备份代理端。

35、第三方面,本公开实施例提供了一种备份数据负载均衡系统,所述系统包括:一个或多个备份客户端和如上任一所述的分布式备份存储集群;

36、所述备份客户端上部署有如上任一所述的备份代理端;

37、所述分布式存储集群包括分布式文件系统和多个备份存储节点,其中,任一备份存储节点中部署有备份服务端、备份元数据库和本地硬盘,在所述备份代理端与各个备份存储节点的备份服务端之间建立有一一对应的备份通道。

38、第四方面,本公开实施例提供了一种备份数据负载均衡装置,应用于备份代理端,所述装置包括:

39、分片处理模块,用于获取备份数据,对所述备份数据进行分片处理,得到多个分片备份数据,多个分片备份数据的大小相同;

40、建立模块,用于在所述备份代理端与各个备份存储节点的备份服务端之间建立一一对应的备份通道;

41、确定模块,确定出所述多个分片备份数据中每个分片备份数据的发送批次;

42、划分模块,用于按照所述发送批次,将所述多个分片备份数据划分为包含相同数量的分片备份数据的多个备份组,多个备份组与各个备份存储节点之间一一对应;

43、并行发送模块,用于通过各个备份通道,将各个备份组并行发送至对应的备份存储节点进行备份。

44、可选地,所述分片处理模块包括:

45、分片值设置子模块,用于根据所述备份数据的数据类型,设置预设分片值;

46、切分子模块,用于基于所述预设分片值,对所述备份数据进行切分操作,得到多个分片备份数据。

47、可选地,所述装置还包本文档来自技高网...

【技术保护点】

1.一种备份数据负载均衡方法,其特征在于,应用于备份代理端,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述对所述备份数据进行分片处理,得到多个分片备份数据,包括:

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,在所述备份代理端与各个备份存储节点的备份服务端之间建立一一对应的备份通道,包括:

5.一种备份数据负载均衡方法,其特征在于,应用于分布式备份存储集群中的任一备份存储节点,所述分布式备份存储集群包括多个备份存储节点,所述方法包括:

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

7.根据权利要求6所述的方法,其特征在于,所述方法还包括:

8.一种备份数据负载均衡系统,其特征在于,所述系统包括:一个或多个备份客户端和权利要求5-7任一所述的分布式备份存储集群;

9.一种备份数据负载均衡装置,其特征在于,应用于备份代理端,所述装置包括:

10.一种备份数据负载均衡装置,其特征在于,应用于分布式备份存储集群中的任一备份存储节点,所述分布式备份存储集群包括多个备份存储节点,所述装置包括:

...

【技术特征摘要】

1.一种备份数据负载均衡方法,其特征在于,应用于备份代理端,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述对所述备份数据进行分片处理,得到多个分片备份数据,包括:

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,在所述备份代理端与各个备份存储节点的备份服务端之间建立一一对应的备份通道,包括:

5.一种备份数据负载均衡方法,其特征在于,应用于分布式备份存储集群中的任一备份存储节点,所述分布式备份存储集群包括多个备份存储节点,...

【专利技术属性】
技术研发人员:李雅明
申请(专利权)人:济南浪潮数据技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1