System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据存储方法、装置、电子设备及可读存储介质制造方法及图纸_技高网

数据存储方法、装置、电子设备及可读存储介质制造方法及图纸

技术编号:41696441 阅读:2 留言:0更新日期:2024-06-19 12:31
本申请提供一种数据存储方法、装置、电子设备及可读存储介质,涉及数据处理技术领域,该方法包括:在接收到数据页对应的更新日志的情况下,获取所述数据页在N个计算节点中每个计算节点对应的版本标识,以及获取所述每个计算节点对应的日志回放速率,所述数据页用于存储数据,所述更新日志为所述数据页发生修改的情况下生成的日志,N为大于1的整数;基于所述N个计算节点对应的版本标识对M个存储节点进行分组,得到每个计算节点对应的至少一个存储节点,M为大于1的整数;基于对应的日志回放速率,将所述每个计算节点对应的至少一个存储节点对于所述数据页的日志更新为所述更新日志。本申请能减少读取存储数据时延。

【技术实现步骤摘要】

本申请涉及数据处理,具体涉及一种数据存储方法、装置、电子设备及可读存储介质


技术介绍

1、数据存储是数据管理的关键技术之一,通常采用一主多从架构和日志即数据库的方式实现数据的存储。在相关技术中,通过异步复制实现一主多从架构中多个节点存储的日志数据保持一致,在节点存储的数据被读取的情况下完成日志的同步。在异步复制实现多个节点存储日志的过程中,由于在访问节点存储的数据时存在节点的日志未完成日志同步的情况,需要先完成节点的日志同步,再读取节点存储的数据,导致读取数据的时延较大。

2、可见,相关技术中存在读取存储数据时延较大的问题。


技术实现思路

1、本申请实施例提供一种数据存储方法、装置、电子设备及可读存储介质,以解决相关技术中存在读取存储数据时延较大的问题。

2、为解决上述问题,本申请是这样实现的:

3、第一方面,本申请实施例提供一种数据存储方法,包括:

4、在接收到数据页对应的更新日志的情况下,获取所述数据页在n个计算节点中每个计算节点对应的版本标识,以及获取所述每个计算节点对应的日志回放速率,所述数据页用于存储数据,所述更新日志为所述数据页发生修改的情况下生成的日志,n为大于1的整数;

5、基于所述n个计算节点对应的版本标识对m个存储节点进行分组,得到每个计算节点对应的至少一个存储节点,m为大于1的整数;

6、基于对应的日志回放速率,将所述每个计算节点对应的至少一个存储节点对于所述数据页的日志更新为所述更新日志。

7、第二方面,本申请实施例还提供一种数据存储装置,包括:

8、第一获取模块,用于在接收到数据页对应的更新日志的情况下,获取所述数据页在n个计算节点中每个计算节点对应的版本标识,以及获取所述每个计算节点对应的日志回放速率,所述数据页用于存储数据,所述更新日志为所述数据页发生修改的情况下生成的日志,n为大于1的整数;

9、分组模块,用于基于所述n个计算节点对应的版本标识对m个存储节点进行分组,得到每个计算节点对应的至少一个存储节点,m为大于1的整数;

10、更新模块,用于基于对应的日志回放速率,将所述每个计算节点对应的至少一个存储节点对于所述数据页的日志更新为所述更新日志。

11、第三方面,本申请实施例还提供一种电子设备,包括收发机和处理器,

12、所述处理器,用于在接收到数据页对应的更新日志的情况下,获取所述数据页在n个计算节点中每个计算节点对应的版本标识,以及获取所述每个计算节点对应的日志回放速率,所述数据页用于存储数据,所述更新日志为所述数据页发生修改的情况下生成的日志,n为大于1的整数;

13、所述处理器,还用于基于所述n个计算节点对应的版本标识对m个存储节点进行分组,得到每个计算节点对应的至少一个存储节点,m为大于1的整数;

14、所述处理器,还用于基于对应的日志回放速率,将所述每个计算节点对应的至少一个存储节点对于所述数据页的日志更新为所述更新日志。

15、第四方面,本申请实施例还提供一种电子设备,包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序,所述程序被所述处理器执行时实现第一方面所述的数据存储方法的步骤。

16、第五方面,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面所述的数据存储方法的步骤。

17、第六方面,本申请实施例还提供一种计算机程序产品,包括计算机指令,所述计算机指令被处理器执行时实现第一方面所述的数据存储方法的步骤。

18、在本申请实施例中,通过在接收到数据页对应的更新日志的情况下,获取数据页在n个计算节点中每个计算节点对应的版本标识,以及获取每个计算节点对应的日志回放速率;基于n个计算节点对应的版本标识对m个存储节点进行分组,得到每个计算节点对应的至少一个存储节点;基于对应的日志回放速率,将每个计算节点对应的至少一个存储节点对于数据页的日志更新为更新日志。这样,基于对应的日志回放速率,将每个计算节点对应的至少一个存储节点对于数据页的日志更新为更新日志,使得在计算节点读取前,计算节点对应的至少一个存储节点对于数据页的日志已经完成更新,实现在每个计算节点读取对应的至少一个存储节点对于数据页时不需要进行日志回放,从而减小读取数据的时延。

本文档来自技高网...

【技术保护点】

1.一种数据存储方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,所述N个计算节点包括目标计算节点,所述目标计算节点对应至少两个存储节点,所述目标计算节点对应的至少两个存储节点包括至少一个第一存储节点和至少一个第二存储节点,所述将所述每个计算节点对应的至少一个存储节点对于所述数据页的日志更新为所述更新日志,包括:

3.如权利要求1或2所述的方法,其特征在于,所述数据页的日志包括多个日志分片,所述M个存储节点为多个日志分片对应的存储节点,每个日志分片对应至少一个存储节点,所述将所述每个计算节点对应的至少一个存储节点对于所述数据页的日志更新为所述更新日志,包括:

4.如权利要求3所述的方法,其特征在于,所述基于对应的至少一个存储节点中每个存储节点对应的数据页读取次数、数据页写入次数和数据页的最新版本和当前版本差值中的至少一项,计算得到所述每个日志分片对应的压力值,包括如下一项:

5.如权利要求3所述的方法,其特征在于,所述将所述每个计算节点对应的至少一个存储节点对于所述数据页的日志更新为所述更新日志,还包括:

>6.如权利要求1或2所述的方法,其特征在于,所述方法还包括:

7.如权利要求1或2所述的方法,其特征在于,所述获取所述每个计算节点对应的日志回放速率,包括:

8.一种数据存储装置,其特征在于,包括:

9.一种电子设备,其特征在于,包括收发机和处理器,

10.一种电子设备,其特征在于,包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序,所述程序被所述处理器执行时实现如权利要求1至7中任一项所述的数据存储方法的步骤。

11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的数据存储方法的步骤。

12.一种计算机程序产品,其特征在于,包括计算机指令,所述计算机指令被处理器执行时实现如权利要求1至7中任一项所述的数据存储方法的步骤。

...

【技术特征摘要】

1.一种数据存储方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,所述n个计算节点包括目标计算节点,所述目标计算节点对应至少两个存储节点,所述目标计算节点对应的至少两个存储节点包括至少一个第一存储节点和至少一个第二存储节点,所述将所述每个计算节点对应的至少一个存储节点对于所述数据页的日志更新为所述更新日志,包括:

3.如权利要求1或2所述的方法,其特征在于,所述数据页的日志包括多个日志分片,所述m个存储节点为多个日志分片对应的存储节点,每个日志分片对应至少一个存储节点,所述将所述每个计算节点对应的至少一个存储节点对于所述数据页的日志更新为所述更新日志,包括:

4.如权利要求3所述的方法,其特征在于,所述基于对应的至少一个存储节点中每个存储节点对应的数据页读取次数、数据页写入次数和数据页的最新版本和当前版本差值中的至少一项,计算得到所述每个日志分片对应的压力值,包括如下一项:

5.如权利要求3所述的方法,其特征在于,所述将所述每个...

【专利技术属性】
技术研发人员:黄亚超钱岭叶志伟
申请(专利权)人:中移苏州软件技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1