System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于分布式图数据库的备份方法和装置制造方法及图纸_技高网

一种基于分布式图数据库的备份方法和装置制造方法及图纸

技术编号:44940520 阅读:2 留言:0更新日期:2025-04-12 01:17
本发明专利技术涉及数据库领域,特别是涉及一种基于分布式图数据库的备份方法和装置。主要包括:根据备份命令生成相应的事务可访问表,将事务可访问表广播至所有需要备份的图库节点;每个图库节点根据事务可访问表生成本图库节点上的顶层备份任务,通过顶层备份任务逐层衍生出每个层级的备份任务;每个图库节点异步执行最下层级的备份任务,通过最下层的备份任务获取用于备份的用户数据,将本图库节点上的用户数据进行备份。本发明专利技术可以提高计算机资源合理利用,达到完全并行备份的效果,很大程度提高了备份的效率和性能。其在恢复时亦能减少网络开销,使恢复效率大大提高。

【技术实现步骤摘要】

本专利技术涉及数据库领域,特别是涉及一种基于分布式图数据库的备份方法和装置


技术介绍

1、图数据库是非关系型数据库的一种类型,主要应用图形理论来存储实体之间的关系信息,因其能够存储以图为模型的特有的关系价值,市场对图数据库的需求日益增加,分布式图数据库应运而生,而分布式架构下数据安全尤为重要,分布式图数据库的数据备份装置也成为了必不可少的一环。

2、随着数据库系统的发展,目前备份的种类众多,但按照存储数据集、服务器状态和备份包对象等备份特征,大致可分为如下类型:完全备份、增量备份、差异备份、物理备份、逻辑备份、冷备份和热备份等。进行备份时,需要对备份路径进行校验,将图库中的元数据和用户点边数据进行抽取、数据处理和数据写入等步骤,每个步骤都需要进行多次通信或数据导出。由于图数据库存储的图关系的复杂程度,各个点边关系错综复杂,各个图数据库节点中的数据对于其他节点均有关联,如果将图数据库中数据备份统一存储或者使用导出手段,所带来的网络和计算机资源开销很大。

3、鉴于此,如何克服现有技术所存在的缺陷,解决现有图数据库备份方法资源消耗较大的现象,是本
待解决的问题。


技术实现思路

1、针对现有技术的以上缺陷或改进需求,本专利技术解决了现有图数据库备份方法资源消耗较大的问题。

2、本专利技术实施例采用如下技术方案:

3、第一方面,本专利技术提供了一种基于分布式图数据库的备份方法,具体为:根据备份命令生成相应的事务可访问表,将事务可访问表广播至所有需要备份的图库节点;每个图库节点根据事务可访问表生成本图库节点上的顶层备份任务,通过顶层备份任务逐层衍生出每个层级的备份任务;每个图库节点异步执行最下层级的备份任务,通过最下层的备份任务获取用于备份的用户数据,将本图库节点上的用户数据进行备份。

4、优选的,所述根据备份命令生成相应的事务可访问表,具体包括:当进行全量备份时,对备份命令相关的事务id进行统计,根据统计结果获取所有的可见事务号,将所有的可见事务号写入事务可访问表;当进行增量备份时,根据备份命令获取所有的可见事务号,根据前一次备份时的事务可访问表获取前次的可见事务号,将所有的可见事务号与前次的可见事务号比对获得本次的可见事务号,将本次的可见事务号写入事务可访问表。

5、优选的,所述每个图库节点根据事务可访问表生成本图库节点上的顶层备份任务,具体包括:图库节点为每个图建立备份任务,将所有图的备份任务集合作为顶层备份任务;在顶层备份任务中建立查询引擎,以便对每个图的备份任务执行状态进行查询

6、优选的,所述通过顶层备份任务逐层衍生出每个层级的备份任务,具体包括:获取顶层备份任务中的用户数据对应的图,将每个图的备份任务作为一个二层备份任务;获取每个二层备份任务中图的标签和关系,将每个图中标签和关系的备份任务作为一个三层备份任务;获取每个三层备份任务中标签或关系对应数据的日志序号,将每一批日志序号的备份任务作为一个四层备份任务;将每个层级的备份任务按照树状关系进行组织,并在每层备份任务中建立查询引擎,以便上层的备份任务对下层的备份任务进行状态查询。

7、优选的,所述通过最下层的备份任务获取用于备份的用户数据,将本图库节点上的用户数据进行备份,具体包括:获取最下层的备份任务中每个日志序号,根据日志序号获取相应的用户数据;将得到的用户数据按照指定格式进行统一编码,将编码后的二进制流写入对应的备份文件中。

8、优选的,所述根据日志序号获取相应的用户数据,还包括:每个图库节点根据日志序号,获取本图库节点上保存的用户数据中的点数据和边数据;当获取到的边数据中,需要查询终点数据的边数据达到指定数量时,将需要查询的终点数据唯一标识批量发送至其它图库节点,以获取相应的终点数据。

9、优选的,所述将得到的用户数据按照指定格式进行统一编码,具体包括:根据备份方式和每条用户数据对应的恢复操作,为每条用户数据生成相应的操作码,将操作码作为该条用户数据的头字段;将每条用户数据的键值对作为该条用户数据的数据字段;将每条用户数据的头字段和数据字段组合为该条用户数据的编码。

10、优选的,所述方法还包括:根据备份命令生成相应的元数据信息,将元数据信息广播至所有需要备份的图库节点;每个图库节点根据元数据信息生成本图库节点上的元数据备份任务,通过元数据备份任务将元数据进行备份。

11、第二方面,本专利技术提供了一种基于分布式图数据库的备份装置,具体为:包括至少一个处理器和存储器,至少一个处理器和存储器之间通过数据总线连接,存储器存储能被至少一个处理器执行的指令,指令在被处理器执行后,用于完成第一方面中的基于分布式图数据库的备份方法。

12、第三方面,本专利技术还提供了一种非易失性计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行,用于完成第一方面所述的方法。

13、第四方面,提供了一种芯片,包括:处理器和接口,用于从存储器中调用并运行存储器中存储的计算机程序,执行如第一方面提供的方法。

14、第五方面,提供了一种包含指令的计算机程序产品,当该指令在计算机或处理器上运行时,使得计算机或处理器执行如第一方面提供的方法。

15、与现有技术相比,本专利技术的有益效果在于:将整个图数据库的备份任务分为多个层级,并将备份任务下发至每个分布式图库节点,在每个图库节点上以异步方式并行执行具体的数据备份过程,将各个备份数据包分布在在各个图库节点中。通过该方式,能够提高计算机资源合理利用,达到完全并行备份的效果,很大程度提高了备份的效率和性能。其在恢复时亦能减少网络开销,使恢复效率大大提高。

本文档来自技高网...

【技术保护点】

1.一种基于分布式图数据库的备份方法,其特征在于,包括:

2.根据权利要求1所述的基于分布式图数据库的备份方法,其特征在于,所述根据备份命令生成相应的事务可访问表,具体包括:

3.根据权利要求1所述的基于分布式图数据库的备份方法,其特征在于,所述每个图库节点根据事务可访问表生成本图库节点上的顶层备份任务,具体包括:

4.根据权利要求1所述的基于分布式图数据库的备份方法,其特征在于,所述通过顶层备份任务逐层衍生出每个层级的备份任务,具体包括:

5.根据权利要求1所述的基于分布式图数据库的备份方法,其特征在于,所述通过最下层的备份任务获取用于备份的用户数据,将本图库节点上的用户数据进行备份,具体包括:

6.根据权利要求5所述的基于分布式图数据库的备份方法,其特征在于,所述根据日志序号获取相应的用户数据,还包括:

7.根据权利要求5所述的基于分布式图数据库的备份方法,其特征在于,所述将得到的用户数据按照指定格式进行统一编码,具体包括:

8.根据权利要求1所述的基于分布式图数据库的备份方法,其特征在于,所述方法还包括:

9.一种基于分布式图数据库的备份装置,其特征在于:

10.一种非易失性计算机存储介质,其特征在于,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行,用于完成如权利要求1-8任一项所述的基于分布式图数据库的备份方法。

...

【技术特征摘要】

1.一种基于分布式图数据库的备份方法,其特征在于,包括:

2.根据权利要求1所述的基于分布式图数据库的备份方法,其特征在于,所述根据备份命令生成相应的事务可访问表,具体包括:

3.根据权利要求1所述的基于分布式图数据库的备份方法,其特征在于,所述每个图库节点根据事务可访问表生成本图库节点上的顶层备份任务,具体包括:

4.根据权利要求1所述的基于分布式图数据库的备份方法,其特征在于,所述通过顶层备份任务逐层衍生出每个层级的备份任务,具体包括:

5.根据权利要求1所述的基于分布式图数据库的备份方法,其特征在于,所述通过最下层的备份任务获取用于备份的用户数据,将本图库节点上的用户数据进行备份,...

【专利技术属性】
技术研发人员:侯天浩程萍杜钟伟王开建丁先胜张睿王振宇
申请(专利权)人:四川蜀天梦图数据科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1