System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据存储方法、装置、计算机设备、存储介质制造方法及图纸_技高网

数据存储方法、装置、计算机设备、存储介质制造方法及图纸

技术编号:41636104 阅读:3 留言:0更新日期:2024-06-13 02:31
本申请涉及一种数据存储方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括:响应于数据存储请求,所述数据存储请求中的元数据信息由存储网关解析并配置得到,所述元数据信息至少包括元数据身份标识、元数据对应的主集群身份标识;基于所述元数据身份标识、主集群身份标识,将所述元数据存储至对应的主集群;在所述元数据身份标识中包括备份标识的情况下,对所述包括备份标识的元数据进行流量镜像处理,同时将所述包括备份标识的元数据存储至备份集群。采用本方法能够可以由网关进行数据的解析和配置,提高系统的整体性能。

【技术实现步骤摘要】

本申请涉及数据存储,特别是涉及一种数据存储方法、装置、计算机设备、存储介质和计算机程序产品。


技术介绍

1、随着业务量的增加,相应的业务数据也会增多,用户可以将业务数据存储至数据库中,用于后期调取使用。目前,可以采用分布式对象存储或者文件存储进行数据存储,在业务端,经常会链接多个集群,并且对于集群的数据存储配比每条业务线都会有不同的需求,有的还有数据备份和异地灾备的需求。现有集群扩容的时候,涉及数据迁移,影响集群性能,通过多个集群之间使用第三方工具进行数据同步来达到集群灾备的功能,但是无形中多了一次数据读取,对集群性能存在损耗。


技术实现思路

1、基于此,有必要针对上述技术问题,提供了一种数据存储方法、装置、计算机设备、存储介质和计算机程序产品。

2、第一方面,本申请提供了一种数据存储方法。所述方法应用于分布式存储系统,所述分布式存储系统包括存储网关、主集群、备份集群,所述方法包括:

3、响应于数据存储请求,所述数据存储请求中的元数据信息由存储网关解析并配置得到,所述元数据信息至少包括元数据身份标识、元数据对应的主集群身份标识;

4、基于所述元数据身份标识、主集群身份标识,将所述元数据存储至对应的主集群;

5、在所述元数据身份标识中包括备份标识的情况下,对所述包括备份标识的元数据进行流量镜像处理,同时将所述包括备份标识的元数据存储至备份集群。

6、在其中一个实施例中,所述方法还包括:

7、在所述元数据身份标识中不包括备份标识的情况下,将所述元数据存储至对应的主集群,同时将所述不包括备份标识的元数据存储至消息队列中,当所述分布式存储系统中的流量小于预设流量时,将所述消息队列中的元数据存储至备份集群中。

8、在其中一个实施例中,所述元数据身份标识对应唯一的键,所述元数据是与键对应的值。

9、在其中一个实施例中,将所述元数据存储至对应的主集群之前,所述方法包括:

10、对所述元数据进行数据分片处理,得到分片后的元数据;

11、基于所述分片后的元数据的连接顺序设置对应的元数据身份标识。

12、在其中一个实施例中,所述方法还包括:

13、判断所述主集群身份标识对应的主集群是否正常工作,在所述主集群故障时,将对应的主集群故障的元数据存储至备份集群;

14、当故障主集群正常工作后,将所述备份集群中主集群故障的元数据存储至对应的主集群中。

15、在其中一个实施例中,所述主集群故障的判断包括:

16、获取主集群的关系信息;

17、对主集群的关系信息进行处理,生成主集群的连接关联图;

18、获取主集群的当前属性信息;

19、根据主集群的连接关联图和主集群的当前属性信息,生成主集群的故障状态图,以使根据主集群的故障状态图,监控主集群的故障。

20、第二方面,本申请还提供了一种数据存储装置,所述装置应用于分布式存储系统,所述分布式存储系统包括存储网关、主集群、备份集群,所述装置包括:

21、响应模块,用于响应于数据存储请求,所述数据存储请求中的元数据信息由存储网关解析并配置得到,所述元数据信息至少包括元数据身份标识、元数据对应的主集群身份标识;

22、存储模块,用于基于所述元数据身份标识、主集群身份标识,将所述元数据存储至对应的主集群;

23、第一备份模块,用于在所述元数据身份标识中包括备份标识的情况下,对所述包括备份标识的元数据进行流量镜像处理,同时将所述包括备份标识的元数据存储至备份集群。

24、在其中一个实施例中,所述装置还包括:

25、在所述元数据身份标识中不包括备份标识的情况下,将所述元数据存储至对应的主集群,同时将所述不包括备份标识的元数据存储至消息队列中,当所述分布式存储系统中的流量小于预设流量时,将所述消息队列中的元数据存储至备份集群中。

26、在其中一个实施例中,所述元数据身份标识对应唯一的键,所述元数据是与键对应的值。

27、在其中一个实施例中,将所述元数据存储至对应的主集群之前包括:

28、对所述元数据进行数据分片处理,得到分片后的元数据;

29、基于所述分片后的元数据的连接顺序设置对应的元数据身份标识。

30、在其中一个实施例中,所述装置还包括:

31、判断所述主集群身份标识对应的主集群是否正常工作,在所述主集群故障时,将对应的主集群故障的元数据存储至备份集群;

32、当故障主集群正常工作后,将所述备份集群中主集群故障的元数据存储至对应的主集群中。

33、在其中一个实施例中,所述主集群故障的判断包括:

34、获取主集群的关系信息;

35、对主集群的关系信息进行处理,生成主集群的连接关联图;

36、获取主集群的当前属性信息;

37、根据主集群的连接关联图和主集群的当前属性信息,生成主集群的故障状态图,以使根据主集群的故障状态图,监控主集群的故障。

38、第三方面,本公开还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现数据存储方法的步骤。

39、第四方面,本公开还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现数据存储方法的步骤。

40、第五方面,本公开还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现数据存储方法的步骤。

41、上述数据存储方法,至少包括以下有益效果:

42、本公开提供的实施例方案,可以在分布式数据存储的集群前端增加一个存储网关,后面对接多个集群,可以包括主集群、备份集群,在将元数据存储至主集群的同时,将元数据存储至备份集群,客户端业务线不再关注数据备份、数据备份,以及多个集群之间的数据存储和分配的问题,可以由网关进行数据的解析和配置,提高整体性能。

43、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。

本文档来自技高网...

【技术保护点】

1.一种数据存储方法,其特征在于,所述方法应用于分布式存储系统,所述分布式存储系统包括存储网关、主集群、备份集群,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述元数据身份标识对应唯一的键,所述元数据是与键对应的值。

4.根据权利要求1所述的方法,其特征在于,将所述元数据存储至对应的主集群之前,所述方法包括:

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,所述主集群故障的判断包括:

7.一种数据存储装置,其特征在于,所述装置应用于分布式存储系统,所述分布式存储系统包括存储网关、主集群、备份集群,所述装置包括:

8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

...

【技术特征摘要】

1.一种数据存储方法,其特征在于,所述方法应用于分布式存储系统,所述分布式存储系统包括存储网关、主集群、备份集群,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述元数据身份标识对应唯一的键,所述元数据是与键对应的值。

4.根据权利要求1所述的方法,其特征在于,将所述元数据存储至对应的主集群之前,所述方法包括:

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,所述主集群故障的判断包括:

【专利技术属性】
技术研发人员:陈汝龙吴大宝
申请(专利权)人:企查查科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1