System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据备份方法、数据备份装置和电子设备制造方法及图纸_技高网

数据备份方法、数据备份装置和电子设备制造方法及图纸

技术编号:43986457 阅读:2 留言:0更新日期:2025-01-10 20:09
本公开的实施例公开了数据备份方法、数据备份装置和电子设备。该方法的一具体实施方式包括:响应于接收到数据备份任务,根据运行负载情况,确定处理数据备份任务的并发线程的数量,以及将数据备份任务所指示的备份数据拆分为多组数据;采用并发线程分别对多组数据进行备份前处理;以及将处理后的多组数据并发存储到目标目录,以实现将备份数据写入云存储的数据备份,其中,目标目录为将云存储挂载在本地系统中所对应的目录。该实施方式与数据备份技术有关,可以实现备份数据的并行处理和存储,从而提高备份速度。同时,将云存储挂载到本地系统可以简化存储过程,使数据的写入更加高效。

【技术实现步骤摘要】

本公开的实施例涉及数据备份,具体涉及数据备份方法、数据备份装置和电子设备


技术介绍

1、数据库备份系统是保障数据安全和业务连续性的关键措施。相关技术中,数据库备份系统的备份过程通常如图1所示。首先并发读取数据文件;然后通过并发加密和压缩工具,对备份数据进行加密和压缩;最后将加密和压缩后的备份数据以流(stream)的方式上传到云存储。这样可以实现不落盘的备份过程,同时确保备份数据的安全性和可靠性。

2、然而,专利技术人发现,流式传输的备份方法通常需要在备份过程中实时生成和传输数据。因此,每个数据块在加密和压缩后必须等待前一个数据块上传完成才能继续上传。这使得备份过程变成串行化,从而影响整体的备份速度。

3、该
技术介绍
部分中所公开的以上信息仅用于增强对本专利技术构思的背景的理解,并因此,其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。


技术实现思路

1、本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。

2、本公开的一些实施例提出了数据备份方法、数据备份装置、电子设备、计算机可读介质和计算机程序产品,来解决以上
技术介绍
部分提到的技术问题中的一项或多项。

3、第一方面,本公开的一些实施例提供了一种数据备份方法,包括:响应于接收到数据备份任务,根据运行负载情况,确定处理数据备份任务的并发线程的数量,以及将数据备份任务所指示的备份数据拆分为多组数据;采用并发线程分别对多组数据进行备份前处理;以及将处理后的多组数据并发存储到目标目录,以实现将备份数据写入云存储的数据备份,其中,目标目录为将云存储挂载在本地系统中所对应的目录。

4、在一些实施例中,该方法还包括:在本地系统上创建云存储的挂载目录;根据云存储的属性信息,采用挂载工具将云存储挂载到挂载目录。

5、在一些实施例中,根据云存储的属性信息,采用挂载工具将云存储挂载到挂载目录,包括:获取访问云存储的验证信息;根据验证信息,设置挂载工具对云存储的配置数据,其中,配置数据包括云存储的属性信息;采用挂载工具,将云存储挂载到挂载目录。

6、在一些实施例中,将处理后的多组数据并发存储到目标目录,包括:将处理后的多组数据中的每组数据作为一个文件,得到多个文件,以及将多个文件并发存储到目标目录。

7、在一些实施例中,将处理后的多组数据并发存储到目标目录,包括:根据备份数据所在的数据库,调用该数据库中的备份工具程序,将处理后的多组数据并发存储到目标目录。

8、在一些实施例中,根据运行负载情况,确定处理数据备份任务的并发线程的数量,以及将数据备份任务所指示的备份数据拆分为多组数据,包括:根据设备的配置数据,确定并发数量上限;根据并发数量上限和设备当前的运行负载情况,确定处理数据备份任务的并发线程的数量;以及根据并发线程的数量,将数据备份任务所指示的备份数据拆分为多组数据,其中,并发线程中的每个线程处理一组数据。

9、第二方面,本公开的一些实施例提供了一种数据备份装置,包括:并发线程确定单元,被配置成响应于接收到数据备份任务,根据运行负载情况,确定处理数据备份任务的并发线程的数量,以及将数据备份任务所指示的备份数据拆分为多组数据;数据处理单元,被配置成采用并发线程分别对多组数据进行备份前处理;以及数据备份存储单元,被配置成将处理后的多组数据并发存储到目标目录,以实现将备份数据写入云存储的数据备份,其中,目标目录为将云存储挂载在本地系统中所对应的目录。

10、在一些实施例中,该数据备份装置还包括挂载单元,被配置成在本地系统上创建云存储的挂载目录;根据云存储的属性信息,采用挂载工具将云存储挂载到挂载目录。

11、在一些实施例中,挂载单元进一步被配置成获取访问云存储的验证信息;根据验证信息,设置挂载工具对云存储的配置数据,其中,配置数据包括云存储的属性信息;采用挂载工具,将云存储挂载到挂载目录。

12、在一些实施例中,数据备份存储单元进一步被配置成将处理后的多组数据中的每组数据作为一个文件,得到多个文件,以及将多个文件并发存储到目标目录。

13、在一些实施例中,数据备份存储单元还进一步被配置成根据备份数据所在的数据库,调用该数据库中的备份工具程序,将处理后的多组数据并发存储到目标目录。

14、在一些实施例中,并发线程确定单元进一步被配置成根据设备的配置数据,确定并发数量上限;根据并发数量上限和设备当前的运行负载情况,确定处理数据备份任务的并发线程的数量;以及根据并发线程的数量,将数据备份任务所指示的备份数据拆分为多组数据,其中,并发线程中的每个线程处理一组数据。

15、第三方面,本公开的一些实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现上述第一方面中任一实现方式所描述的数据备份方法。

16、第四方面,本公开的一些实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,计算机程序被处理器执行时实现上述第一方面中任一实现方式所描述的数据备份方法。

17、第五方面,本公开的一些实施例提供了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现上述第一方面中任一实现方式所描述的数据备份方法。

18、本公开的上述各个实施例具有如下有益效果:本公开的一些实施例的数据备份方法,可以提高数据备份速度,满足用户的使用需求。具体来说,相关备份方法将加密和压缩后的备份数据以流的方式上传到云存储。然而这种方法存在一个显著缺点,即使用流式传输方式创建独立文件,这导致无法并行处理数据块。这种串行备份方式意味着无论我们如何提高读取、加密和压缩的并行度,整体备份速度都无法提升。在处理大量数据时,由于备份速度无法跟上用户数据写入的速度,很可能会导致备份失败。这个问题的根本原因在于,流式传输的备份方法需要在备份过程中实时生成和传输数据。因此,每个数据块在加密和压缩后必须等待前一个数据块上传完成才能上传,这使得备份过程变成串行化。

19、基于此,本公开的一些实施例的数据备份方法,在接收到数据备份任务的情况下,首先可以根据自身的运行负载情况,来确定处理数据备份任务的并发线程的数量。并可以将任务所指示的备份数据拆分为多组数据。之后,可以采用并发线程分别对多组数据进行备份前处理。这样在满足自身负载能力的情况下,可以对备份数据进行并行处理,从而可以提高数据备份速度。而对于处理的多组数据,同样可以进行并行存储。这样可以进一步提升数据备份速度。另外,通过将云存储挂载到本地系统,可以简化存储过程,使数据的写入更加高效。本公开的这种方法可以大大提高备份速度,能够满足大数据量和高压力的备份需求。

本文档来自技高网...

【技术保护点】

1.一种数据备份方法,包括:

2.根据权利要求1所述的数据备份方法,其中,所述方法还包括:

3.根据权利要求2所述的数据备份方法,其中,所述根据所述云存储的属性信息,采用挂载工具将所述云存储挂载到所述挂载目录,包括:

4.根据权利要求1所述的数据备份方法,其中,所述将处理后的所述多组数据并发存储到目标目录,包括:

5.根据权利要求1所述的数据备份方法,其中,所述将处理后的所述多组数据并发存储到目标目录,包括:

6.根据权利要求1-5之一所述的数据备份方法,其中,所述根据运行负载情况,确定处理所述数据备份任务的并发线程的数量,以及将所述数据备份任务所指示的备份数据拆分为多组数据,包括:

7.一种数据备份装置,包括:

8.一种电子设备,包括:

9.一种计算机可读介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时,实现如权利要求1-6中任一所述的数据备份方法。

10.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时,实现如权利要求1-6中任一所述的数据备份方法。

...

【技术特征摘要】

1.一种数据备份方法,包括:

2.根据权利要求1所述的数据备份方法,其中,所述方法还包括:

3.根据权利要求2所述的数据备份方法,其中,所述根据所述云存储的属性信息,采用挂载工具将所述云存储挂载到所述挂载目录,包括:

4.根据权利要求1所述的数据备份方法,其中,所述将处理后的所述多组数据并发存储到目标目录,包括:

5.根据权利要求1所述的数据备份方法,其中,所述将处理后的所述多组数据并发存储到目标目录,包括:

6.根据权利要求1-5之一所述...

【专利技术属性】
技术研发人员:白亚东
申请(专利权)人:京东科技信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1