System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种提升CDP实时数据备份速度的方法技术_技高网

一种提升CDP实时数据备份速度的方法技术

技术编号:42932255 阅读:3 留言:0更新日期:2024-10-11 15:55
本发明专利技术公开了一种提升CDP实时数据备份速度的方法,包括以下操作:服务端创造出虚拟块设备,并将虚拟块设备通过iSCSI协议或者FC协议连接到客户端作为客户端的镜像磁盘;客户端通过块复制应用程序将源块设备的有效数据备份到镜像磁盘的真实数据区域;客户端的块设备过滤驱动程序实时捕获源块设备的I/O请求,并将捕获到的I/O请求加入到请求队列,实时数据同步线程将请求队列中的I/O请求合并打包为数据块,将数据块写入到镜像磁盘的合并数据区域;服务端的虚拟块设备驱动程序将虚拟块设备的合并数据区域的数据块解包为I/O请求,并对I/O请求进行处理和记录。本发明专利技术能够减少写镜像磁盘的次数,提高CDP实时数据备份速度。

【技术实现步骤摘要】

本专利技术涉及数据存储和备份,具体是一种提升cdp实时数据备份速度的方法。


技术介绍

1、传统的基于块设备的cdp(持续数据保护,continuous data protection)连续数据保护方法,服务端通过虚拟块设备驱动程序创造出与客户端的源块设备大小完全一致的虚拟块设备,通过iscsi(互联网小型计算机系统接口,internet small computer systeminterface)协议或者fc(光纤通道,fibre channel)协议将虚拟块设备提供给客户端作为镜像磁盘。客户端通过块设备过滤驱动程序将实时捕获到的源块设备的i/o请求同步或异步备份到镜像磁盘。服务端通过虚拟块设备驱动程序对i/o请求进行处理和记录,从而实现cdp连续数据保护功能。

2、传统的基于块设备的cdp连续数据保护方法在备份实时捕获到的i/o请求时,客户端会将捕获到的写i/o请求备份到镜像磁盘中。在很多应用场景下,客户端系统的写io请求一般小于等于4kib,当大量小i/o请求写入镜像磁盘时,cdp实时备份数据的传输效率会很低,尤其是采用iscsi协议连接的镜像磁盘的写入速度会明显低于客户端的源块设备的写入速度,导致存放i/o请求的缓存溢出,不能处在实时保护状态,从而降低cdp连续数据保护的rpo(recovery point objective,数据恢复点目标,主要指的是业务系统所能容忍的数据丢失量)。


技术实现思路

1、为了解决上述问题,本专利技术提出了一种提升cdp实时数据备份速度的方法。

2、为了达到上述目的,本专利技术是通过以下技术方案来实现的:

3、本专利技术是一种提升cdp实时数据备份速度的方法,包括以下操作:

4、步骤1,服务端通过虚拟块设备驱动程序创造出虚拟块设备,所述虚拟块设备包括真实数据区域、通信控制区域、合并数据区域;

5、步骤2,服务端将虚拟块设备通过iscsi协议或者fc协议连接到客户端作为客户端的镜像磁盘;

6、步骤3,客户端通过块复制应用程序将源块设备的有效数据备份到镜像磁盘的真实数据区域;

7、步骤4,客户端的块设备过滤驱动程序实时捕获源块设备的i/o请求,并将捕获到的i/o请求加入到请求队列,实时数据同步线程将请求队列中的i/o请求合并打包为数据块,将数据块写入到镜像磁盘的合并数据区域;

8、步骤5,服务端的虚拟块设备驱动程序将虚拟块设备的合并数据区域的数据块解包为i/o请求,并对i/o请求进行处理和记录。

9、本专利技术的进一步改进在于:步骤1具体包括如下操作:

10、步骤1.1,所述客户端的应用程序查询客户端的块设备信息,并将查询到的块设备信息通过rabbitmq发送给服务端;

11、步骤1.2,所述服务端的应用程序根据接收到的客户端的块设备信息,通知服务端的虚拟块设备驱动程序创造虚拟块设备;

12、步骤1.3,所述服务端的虚拟块设备驱动程序创造虚拟块设备。

13、本专利技术的进一步改进在于:步骤1.3中,在创造虚拟块设备时,在客户端的源块设备所需的存储空间的基础上,额外增加预设大小的存储空间。

14、本专利技术的进一步改进在于:步骤2具体包括如下操作:

15、步骤2.1,服务端的应用程序通过iscsi协议或者fc协议将虚拟块设备驱动程序创建出来的虚拟块设备映射为iscsi目标或者fc目标;

16、步骤2.2,客户端的应用程序通过iscsi协议或者fc协议发现、连接iscsi目标或fc目标生成镜像磁盘。

17、本专利技术的进一步改进在于:步骤3具体操作包括:客户端的块复制应用程序解析源块设备的元数据及文件系统,生成块设备的有效数据位图,并根据有效数据位图将源块设备的有效数据备份到镜像磁盘的真实数据区域。

18、本专利技术的进一步改进在于:步骤4的具体操作包括:

19、步骤4.1,客户端的块设备过滤驱动程序实时捕获源块设备的i/o请求,将捕获到的i/o请求克隆一份加入到请求队列,并将i/o请求交由操作系统继续处理;

20、步骤4.2,客户端的块设备过滤驱动程序的实时数据同步线程根据备份策略将请求队列中的i/o请求合并打包为数据块,并将数据块写入到镜像磁盘的合并数据区域,其中,数据块包含包头信息及i/o请求的信息。

21、本专利技术的进一步改进在于:步骤5的具体操作包括:服务端的虚拟块设备驱动程序截获虚拟块设备的bio,若bio位于虚拟块设备的合并数据区域,则根据bio中的包头信息,将bio解包为多个i/o请求,并将解包后的i/o请求写入到虚拟块设备的真实数据区域,进行处理和记录。

22、本专利技术的进一步改进在于:真实数据区域的大小与客户端的源块设备的大小一致。

23、本专利技术的进一步改进在于:通信控制区域的大小为2gib,用来存储控制消息。

24、本专利技术的进一步改进在于:合并数据区域的大小为10gib。

25、本专利技术的有益效果是:本专利技术的服务端创造出的虚拟块设备,新增了合并数据区域,专门用来储存i/o请求被合并打包后的数据块,能够提高cdp实时数据备份速度。本专利技术的客户端将实时捕获到的块设备的多个i/o请求合并打包为一个大的数据块,将数据块写入到镜像磁盘的合并数据区域。大的数据块的写镜像磁盘速度要显著高于小的i/o请求的写镜像磁盘速度,且显著减少写镜像磁盘的次数,从而进一步提高cdp实时数据备份速度。

本文档来自技高网...

【技术保护点】

1.一种提升CDP实时数据备份速度的方法,其特征在于:包括以下操作:

2.根据权利要求1所述的一种提升CDP实时数据备份速度的方法,其特征在于:所述步骤1具体包括如下操作:

3.根据权利要求2所述的一种提升CDP实时数据备份速度的方法,其特征在于:所述步骤1.3中,在创造虚拟块设备时,在客户端的源块设备所需的存储空间的基础上,额外增加预设大小的存储空间。

4.根据权利要求1所述的一种提升CDP实时数据备份速度的方法,其特征在于:所述步骤2具体包括如下操作:

5.根据权利要求1所述的一种提升CDP实时数据备份速度的方法,其特征在于:所述步骤3具体操作包括:客户端的块复制应用程序解析源块设备的元数据及文件系统,生成块设备的有效数据位图,并根据有效数据位图将源块设备的有效数据备份到镜像磁盘的真实数据区域。

6.根据权利要求1所述的一种提升CDP实时数据备份速度的方法,其特征在于:所述步骤4的具体操作包括:

7.根据权利要求1所述的一种提升CDP实时数据备份速度的方法,其特征在于:所述步骤5的具体操作包括:服务端的虚拟块设备驱动程序截获虚拟块设备的BIO,若BIO位于虚拟块设备的合并数据区域,则根据BIO中的包头信息,将BIO解包为多个I/O请求,并将解包后的I/O请求写入到虚拟块设备的真实数据区域,进行处理和记录。

8.根据权利要求1所述的一种提升CDP实时数据备份速度的方法,其特征在于:所述真实数据区域的大小与客户端的源块设备的大小一致。

9.根据权利要求8所述的一种提升CDP实时数据备份速度的方法,其特征在于:所述通信控制区域的大小为2GiB,用来存储控制消息。

10.根据权利要求9所述的一种提升CDP实时数据备份速度的方法,其特征在于:所述合并数据区域的大小为10GiB。

...

【技术特征摘要】

1.一种提升cdp实时数据备份速度的方法,其特征在于:包括以下操作:

2.根据权利要求1所述的一种提升cdp实时数据备份速度的方法,其特征在于:所述步骤1具体包括如下操作:

3.根据权利要求2所述的一种提升cdp实时数据备份速度的方法,其特征在于:所述步骤1.3中,在创造虚拟块设备时,在客户端的源块设备所需的存储空间的基础上,额外增加预设大小的存储空间。

4.根据权利要求1所述的一种提升cdp实时数据备份速度的方法,其特征在于:所述步骤2具体包括如下操作:

5.根据权利要求1所述的一种提升cdp实时数据备份速度的方法,其特征在于:所述步骤3具体操作包括:客户端的块复制应用程序解析源块设备的元数据及文件系统,生成块设备的有效数据位图,并根据有效数据位图将源块设备的有效数据备份到镜像磁盘的真实数据区域。

6.根据权利要求1所述的一种提升...

【专利技术属性】
技术研发人员:谢伟生叶月仙郑春一张丹杨斌杨子辰刘睿
申请(专利权)人:航天壹进制江苏信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1