System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种事务日志段文件的处理方法、存储介质与设备技术_技高网

一种事务日志段文件的处理方法、存储介质与设备技术

技术编号:42003271 阅读:10 留言:0更新日期:2024-07-12 12:25
本发明专利技术涉及数据库技术,特别是涉及一种事务日志段文件的处理方法、存储介质与设备。该事务日志段文件包括多个日志页,每个日志页包括用于存储至少部分事务日志的有效区间。并且该事务日志段文件的处理方法包括:在事务日志的写流程,在在事务日志写缓存中预分配事务日志的存储位置的过程中,获取事务日志段文件的有效存储空间,其中,有效存储空间由多个日志页的有效区间构成;根据有效存储空间,计算事务日志的位置信息;将计算结果作为在事务日志写缓存中预分配的事务日志的存储位置。本发明专利技术的事务日志段文件的处理方法,结合了有效存储空间来计算位置信息,避免了由于事务日志的存储位置变化导致的读写错误的问题,提高了读写的准确性。

【技术实现步骤摘要】

本专利技术涉及数据库技术,特别是涉及一种事务日志段文件的处理方法、存储介质与设备


技术介绍

1、在kingbasees数据库(简称kes数据库)中,事务日志其实指的是xlog日志,xlog日志中可能包含有用户数据。如果不对包含有用户数据的xlog日志进行加密,一旦非法人员获取到这些未加密的含有用户数据的xlog日志,通过简单的xlog日志回放操作即可获得用户数据,从而导致用户信息泄漏。因此,为了防止从xlog日志泄漏用户信息,需要xlog日志密钥对xlog日志进行加密,以保护用户信息。现有一些加密和解密方法,采用以page页为加/解密粒度的方式,对需要加密的xlog日志段文件进行加密。为了便于在后续的xlog日志的读流程中在页头获取page的属性信息,可不对每个page页的用于存放page的属性信息的页头进行加密。

2、然而,若采用现有的处理方法对每个page页除页头之外的区域进行加密,会进行数据对齐操作,因此对齐填充数据会占用到page页的部分存储空间,从而改变xlog日志在page页的存储位置,进而使得xlog日志在page页的实际存储位置与预分配得到的存储位置并不相同。而在现有的加密和解密方法中,会直接根据数据库中保存的xlog日志在写流程中预分配得到的存储位置对该xlog日志进行读写。在这种情况下,在预分配得到的存储位置内并不能准确获取到xlog日志的实际存储位置和xlog日志的全部数据,造成了数据写入和读取错误的问题,从而降低了数据库的整体性能。


技术实现思路

<p>1、鉴于上述问题,提出了一种克服上述问题或者至少部分地解决上述问题的事务日志段文件的处理方法、存储介质与设备。

2、本专利技术的一个目的是要提供一种事务日志段文件的处理方法,以提高写入和读取事务日志的准确性。

3、本专利技术一个进一步的目的是要保证计算事务日志的位置信息的准确性。

4、特别地,本专利技术提供了一种事务日志段文件的处理方法,事务日志段文件包括多个日志页,每个日志页包括用于存储至少部分事务日志的有效区间;并且处理方法包括:

5、在事务日志的写流程,在在事务日志写缓存中预分配事务日志的存储位置的过程中,获取事务日志段文件的有效存储空间,其中,有效存储空间由多个日志页的有效区间构成;

6、根据有效存储空间,计算事务日志的位置信息;

7、将计算结果作为在事务日志写缓存中预分配的事务日志的存储位置。

8、从而提高了写入和读取事务日志的便捷性和准确性。

9、可选地,位置信息包括第一位置信息和第二位置信息,其中,第一位置信息是与事务日志段文件的全部内容对应的连续存储区域的位置信息,第二位置信息是与有效存储空间对应的连续存储区域的位置信息,并且第一位置信息和第二位置信息之间具有空间对应关系;并且

10、根据有效存储空间,计算事务日志的位置信息的步骤包括:

11、计算事务日志的第二位置信息;

12、根据事务日志的第二位置信息和有效存储空间,计算事务日志的第一位置信息;

13、将计算事务日志的第一位置信息得到的结果作为计算结果。

14、可选地,事务日志的存储位置包括起始地址和结束地址,事务日志的第一位置信息包括事务日志在第一位置信息中的起始地址和结束地址,事务日志的第二位置信息包括事务日志在第二位置信息中的起始地址和结束地址;并且

15、根据事务日志的第二位置信息和有效存储空间,计算事务日志的第一位置信息的步骤包括:

16、根据事务日志在第二位置信息中的起始地址、有效存储空间和第一预设位置信息转换算法,计算事务日志在第一位置信息中的起始地址;以及

17、根据事务日志在第二位置信息中的起始地址、有效存储空间和第二预设位置信息转换算法,计算事务日志在第一位置信息中的起结束地址。

18、可选地,根据事务日志的第二位置信息和有效存储空间,计算事务日志的第一位置信息的步骤包括:

19、根据事务日志的第二位置信息和有效存储空间,计算在事务日志所在的事务日志段文件和/或日志页中需要保留的数据长度;

20、将数据长度与预设的长度阈值进行比对;

21、以与比对结果对应的预设计算方法,计算事务日志的第一位置信息。

22、可选地,多个日志页的有效区间包括事务日志段文件中首个日志页的第一有效区间以及事务日志段文件中非首个日志页的第二有效区间,其中,第一有效区间的长度与第二有效区间的长度不同;

23、数据长度包括在事务日志所在的事务日志段文件中需要保留的第一数据长度和/或在事务日志所在的日志页中需要保留的第二数据长度;并且

24、将数据长度与预设的长度阈值进行比对的步骤包括:

25、将第一数据长度与第一有效区间的长度进行比对;和/或

26、将第二数据长度与零进行比对。

27、可选地,计算事务日志的第二位置信息的步骤包括:

28、获取在第二位置信息中事务日志写缓存的刷写位置和事务日志的长度;

29、将刷写位置作为事务日志在第二位置信息中的起始地址;

30、将刷写位置和事务日志的长度之和作为事务日志在第二位置信息中的结束地址。

31、可选地,日志页包括页头和数据区,数据区包括用于存储事务日志的有效区间和用于存储对齐填充数据的无效区间;并且

32、在在事务日志写缓存中预分配事务日志的存储位置的步骤之前,处理方法还包括:

33、以预设加密算法将事务日志段文件中每个日志页的数据区的数据进行数据对齐处理,以将每个数据区分为有效区间和无效区间。

34、可选地,以预设加密算法将事务日志段文件中每个日志页的数据区的数据进行数据对齐处理的步骤包括:

35、根据预设加密算法和每个数据区的数据长度计算数据对齐长度;

36、将数据区的尾部的长度为数据对齐长度的区域作为无效区间,将数据区去除无效区间剩余的区域作为有效区间;以及

37、将长度为数据对齐长度的对齐填充数据放入无效区间。

38、根据本专利技术的另一个方面,还提供了一种机器可读存储介质,其上存储有机器可执行程序,机器可执行程序被处理器执行时实现上述任一种的事务日志段文件的处理方法。

39、根据本专利技术的又一个方面,还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并在处理器上运行的机器可执行程序,并且处理器执行机器可执行程序时实现上述任一种的事务日志段文件的处理方法。

40、在本专利技术的事务日志段文件的处理方法中,事务日志段文件包括多个日志页,每个日志页包括用于存储至少部分事务日志的有效区间,而有效存储空间由多个日志页的有效区间构成。本专利技术的事务日志段文件的处理方法,通过在事务日志的写流程,在在事务日志写缓存中预分配事务日志的存储位置的过程中,获取事务日志段文件的有效存储空间,根据有效本文档来自技高网...

【技术保护点】

1.一种事务日志段文件的处理方法,所述事务日志段文件包括多个日志页,每个所述日志页包括用于存储至少部分事务日志的有效区间;并且所述处理方法包括:

2.根据权利要求1所述的事务日志段文件的处理方法,其中,所述位置信息包括第一位置信息和第二位置信息,其中,所述第一位置信息是与所述事务日志段文件的全部内容对应的连续存储区域的位置信息,所述第二位置信息是与所述有效存储空间对应的连续存储区域的位置信息,并且所述第一位置信息和所述第二位置信息之间具有空间对应关系;并且

3.根据权利要求2所述的事务日志段文件的处理方法,其中,所述事务日志的存储位置包括起始地址和结束地址,所述事务日志的第一位置信息包括所述事务日志在所述第一位置信息中的起始地址和结束地址,所述事务日志的第二位置信息包括所述事务日志在所述第二位置信息中的起始地址和结束地址;并且

4.根据权利要求3所述的事务日志段文件的处理方法,其中,

5.根据权利要求4所述的事务日志段文件的处理方法,其中,所述多个日志页的有效区间包括所述事务日志段文件中首个日志页的第一有效区间以及所述事务日志段文件中非首个日志页的第二有效区间,其中,所述第一有效区间的长度与所述第二有效区间的长度不同;

6.根据权利要求3所述的事务日志段文件的处理方法,其中,

7.根据权利要求1所述的事务日志段文件的处理方法,其中,所述日志页包括页头和数据区,所述数据区包括用于存储所述事务日志的所述有效区间和用于存储对齐填充数据的无效区间;并且

8.根据权利要求7所述的事务日志段文件的处理方法,其中,

9.一种机器可读存储介质,其上存储有机器可执行程序,所述机器可执行程序被处理器执行时实现根据权利要求1至8任一项所述的事务日志段文件的处理方法。

10.一种计算机设备,包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的机器可执行程序,并且所述处理器执行所述机器可执行程序时实现根据权利要求1至8任一项所述的事务日志段文件的处理方法。

...

【技术特征摘要】

1.一种事务日志段文件的处理方法,所述事务日志段文件包括多个日志页,每个所述日志页包括用于存储至少部分事务日志的有效区间;并且所述处理方法包括:

2.根据权利要求1所述的事务日志段文件的处理方法,其中,所述位置信息包括第一位置信息和第二位置信息,其中,所述第一位置信息是与所述事务日志段文件的全部内容对应的连续存储区域的位置信息,所述第二位置信息是与所述有效存储空间对应的连续存储区域的位置信息,并且所述第一位置信息和所述第二位置信息之间具有空间对应关系;并且

3.根据权利要求2所述的事务日志段文件的处理方法,其中,所述事务日志的存储位置包括起始地址和结束地址,所述事务日志的第一位置信息包括所述事务日志在所述第一位置信息中的起始地址和结束地址,所述事务日志的第二位置信息包括所述事务日志在所述第二位置信息中的起始地址和结束地址;并且

4.根据权利要求3所述的事务日志段文件的处理方法,其中,

5.根据权利要求4所述的事务日志段文件的处理...

【专利技术属性】
技术研发人员:沈志伟
申请(专利权)人:北京人大金仓信息技术股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1