System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于分布式数据库的数据处理方法、装置及电子设备制造方法及图纸_技高网

基于分布式数据库的数据处理方法、装置及电子设备制造方法及图纸

技术编号:43744254 阅读:5 留言:0更新日期:2024-12-20 13:04
本发明专利技术提供了一种基于分布式数据库的数据处理方法、装置及电子设备,可以应用于数据库数据闪回技术领域。该方法包括:主执行节点将获取到的操作请求发送至子执行节点,操作请求针对目标表执行操作;子执行节点将操作执行结果发送至主执行节点,其中,操作执行结果是根据操作请求对目标表操作得到的;在操作执行结果表征执行成功的情况下,主执行节点获取与操作执行结果相对应的操作版本标识,并将操作版本标识发送至子执行节点;子执行节点根据操作版本标识和与目标表相关的操作记录信息,生成位图记录文件;根据位图记录文件和操作版本标识,对目标表中的数据进行闪回查询和闪回恢复操作。

【技术实现步骤摘要】

本专利技术涉及数据库数据闪回,具体地涉及一种基于分布式数据库的数据处理方法、装置及电子设备


技术介绍

1、闪回技术(flashback)是一种在数据库中进行异常数据恢复的高级技术,可以将数据库中的数据还原到之前的某个时间点,从而达到消除误操作、错误数据或系统故障引起的问题目的。

2、现有的针对分布式的分析型数据库实现闪回功能的方法一般依赖于分布式事务日志技术,在实现闪回功能的过程中需要记录多个版本事务日志等,因此,耗费成本较高,服务器和数据库开销较大。


技术实现思路

1、鉴于上述问题,本专利技术提供了一种基于分布式数据库的数据处理方法、装置及电子设备。

2、根据本专利技术的第一个方面,提供了一种基于分布式数据库的数据处理方法,应用于集群服务器,集群服务器包括主执行节点和子执行节点,数据处理方法包括:

3、主执行节点将获取到的操作请求发送至子执行节点,操作请求针对目标表执行操作;子执行节点将操作执行结果发送至主执行节点,其中,操作执行结果是根据操作请求对目标表操作得到的;在操作执行结果表征执行成功的情况下,主执行节点获取与操作执行结果相对应的操作版本标识,并将操作版本标识发送至子执行节点;子执行节点根据操作版本标识和与目标表相关的操作记录信息,生成位图记录文件;根据位图记录文件和操作版本标识,对目标表中的数据进行闪回查询和闪回恢复操作。

4、可选的,集群服务器包括多个子执行节点;主执行节点将获取到的操作请求发送至子执行节点,包括:p>

5、在目标表的结构表征分布式结构的情况下,主执行节点从多个子执行节点中,确定至少一个基准子执行节点和至少一个参考子执行节点;将操作请求发送至至少一个基准子执行节点。

6、可选的,子执行节点根据操作版本标识和与目标表有关的操作记录信息,生成位图记录文件,包括:

7、基准子执行节点根据与基准子执行节点上存储的目标表的操作记录信息,生成基准位图记录信息,其中,基准位图记录信息表征基于操作请求对目标表执行操作后的数据更改状态;根据基准子执行节点名称和操作版本标识,生成基准文件名称;根据基准位图记录信息和基准文件名称,生成与操作版本标识对应的基准位图记录文件。

8、可选的,子执行节点根据操作版本标识和与目标表有关的操作记录信息,生成位图记录文件,还包括:

9、参考子执行节点根据参考子执行节点名称和操作版本标识,生成参考文件名称;复制参考子执行节点上存储的与目标表对应的上一版本位图记录文件中的位图记录信息,得到参考位图记录信息;根据参考位图记录信息和参考文件名称,生成与操作版本标识对应的参考位图记录文件。

10、可选的,数据处理方法还包括:主执行节点将目标表的表名称标识、操作版本标识和操作请求时刻添加至闪回管理表中。

11、可选的,根据位图记录文件和操作版本标识,对目标表中的数据进行闪回查询和闪回恢复操作,包括:

12、主执行节点获取针对目标表的闪回查询请求,其中,闪回查询请求包括目标表属性、查询条件;在目标表属性包括闪回属性的情况下,主执行节点将第一历史操作版本标识发送至子执行节点,其中,第一历史操作版本标识是基于查询条件在闪回管理表进行匹配得到的,第一历史操作版本标识表征在历史目标时刻对目标表进行操作的标识;子执行节点将与第一历史操作版本标识对应的位图记录文件发送至主执行节点;主执行节点将与位图记录文件对应的数据查询结果发送至客户端。

13、可选的,基于查询条件在闪回管理表进行匹配,得到第一历史操作版本标识,包括:

14、在查询条件包括目标表的目标表名信息、目标数据库名信息、历史目标时刻的情况下,在闪回管理表中根据目标表名信息、目标数据库名信息、历史目标时刻信息进行匹配,得到与目标表的历史目标时刻对应的第一历史操作版本标识;在查询条件包括目标表的目标表名信息、目标数据库名信息、预设操作版本标识的情况下,在闪回管理表中根据目标表名信息、目标数据库名信息、预设操作版本标识进行匹配,得到匹配结果;在匹配结果表征匹配成功的情况下,将预设操作版本标识确定为第一历史操作版本标识。

15、可选的,根据位图记录文件和操作版本标识,对目标表中的数据进行闪回查询和闪回恢复操作,还包括:

16、主执行节点获取针对目标表的闪回恢复请求,其中,闪回恢复请求包括目标表属性、目标表名信息、目标数据库名信息、删除操作请求时刻;在目标表属性包括闪回属性的情况下,主执行节点将第二历史操作版本标识发送至子执行节点,其中,第二历史操作版本标识是基于目标表名信息、目标数据库名信息、删除操作请求时刻在闪回管理表进行匹配得到的,第二历史操作版本标识表征对目标表进行删除操作之前的最新操作的标识;子执行节点将与第二历史操作版本标识对应的位图记录文件发送至主执行节点;主执行节点根据位图记录文件对目标表进行数据恢复。

17、本专利技术的第二方面提供了一种基于分布式数据库的数据处理装置,包括:

18、第一获取模块,用于主执行节点将获取到的操作请求发送至子执行节点,操作请求针对目标表执行操作;

19、操作模块,用于子执行节点将操作执行结果发送至主执行节点,其中,操作执行结果是根据操作请求对目标表操作得到的;

20、第二获取模块,用于在操作执行结果表征执行成功的情况下,主执行节点获取与操作执行结果相对应的操作版本标识,并将操作版本标识发送至子执行节点;

21、生成模块,用于子执行节点根据操作版本标识和与目标表相关的操作记录信息,生成位图记录文件;

22、闪回模块,用于根据位图记录文件和操作版本标识,对目标表中的数据进行闪回查询和闪回恢复操作。

23、本专利技术的第三方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序,其中,当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器执行上述基于分布式数据库的数据处理方法。

24、根据本专利技术提供的基于分布式数据库的数据处理方法、装置及电子设备,通过主执行节点获取与操作执行结果相对应的操作版本标识,并将操作版本标识发送至子执行节点,子执行节点根据操作版本标识和与目标表相关的操作记录信息,生成位图记录文件;根据位图记录文件和操作版本标识,对目标表中的数据进行闪回查询和闪回恢复操作。由于使用位图记录文件来置位标记每次操作后数据的有效性,较大节省了目标表的内存空间,在不需要增加额外事务日志的前提下,结合主执行节点中的操作版本标识对分布式数据库进行闪回查询和闪回恢复操作,降低了数据库和服务器性能开销。

本文档来自技高网...

【技术保护点】

1.一种基于分布式数据库的数据处理方法,其特征在于,所述方法应用于集群服务器,所述集群服务器包括主执行节点和子执行节点,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述集群服务器包括多个所述子执行节点;

3.根据权利要求2所述的方法,其特征在于,所述子执行节点根据所述操作版本标识和与所述目标表有关的操作记录信息,生成位图记录文件,包括:

4.根据权利要求2所述的方法,其特征在于,所述子执行节点根据所述操作版本标识和与所述目标表有关的操作记录信息,生成位图记录文件,还包括:

5.根据权利要求1所述的方法,其特征在于, 所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,根据所述位图记录文件和所述操作版本标识,对所述目标表中的数据进行闪回查询和闪回恢复操作,包括:

7.根据权利要求6所述的方法,其特征在于,基于所述查询条件在所述闪回管理表进行匹配,得到所述第一历史操作版本标识,包括:

8.根据权利要求5所述的方法,其特征在于,根据所述位图记录文件和所述操作版本标识,对所述目标表中的数据进行闪回查询和闪回恢复操作,还包括:

9.一种基于分布式数据库的数据处理装置,其特征在于,所述装置包括:

10.一种电子设备,其特征在于,包括:

...

【技术特征摘要】

1.一种基于分布式数据库的数据处理方法,其特征在于,所述方法应用于集群服务器,所述集群服务器包括主执行节点和子执行节点,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述集群服务器包括多个所述子执行节点;

3.根据权利要求2所述的方法,其特征在于,所述子执行节点根据所述操作版本标识和与所述目标表有关的操作记录信息,生成位图记录文件,包括:

4.根据权利要求2所述的方法,其特征在于,所述子执行节点根据所述操作版本标识和与所述目标表有关的操作记录信息,生成位图记录文件,还包括:

5.根据权利要求1所述的方法,其特征在于, ...

【专利技术属性】
技术研发人员:崔杰
申请(专利权)人:苏州吉呗思数据技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1