System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 哈希数据存储方法、哈希数据存储装置及存储介质制造方法及图纸_技高网

哈希数据存储方法、哈希数据存储装置及存储介质制造方法及图纸

技术编号:42082576 阅读:12 留言:0更新日期:2024-07-19 16:59
本发明专利技术公开了哈希数据存储方法、哈希数据存储装置及存储介质,其中,所述方法包括以下步骤:确定应用系统中目标哈希类型的业务数据的键对应的哈希环计算结果;根据所述哈希环计算结果对所述业务数据的键进行分类,并生成和/或确定各个分类对应的名称;基于所述名称将各个所述分类对应的所述业务数据,分别存储至多个数据节点中。本发明专利技术通过将哈希数据中的业务数据进行数据拆解,并将拆分后的数据通过不同的名称进行存储处理,从而将哈希类型的数据均匀存储到对应的数据节点中,提高应用系统的抗风险能力。

【技术实现步骤摘要】

本专利技术涉及数据处理领域,尤其涉及哈希数据存储方法、哈希数据存储装置及存储介质


技术介绍

1、在越来越多的业务场景需要使用哈希类型(hashmap)接口的键值对进行数据存储的情况下,redis集群架构能够把单个哈希类型的所有数据存储到单个数据节点中,其中redis(开源的数据结构存储系统)集群框架,可以提高应用系统处理缓存请求能力,从而提升应用系统的性能和稳定性。

2、然而,由于redis集群架构用虚拟槽的方式来进行数据分区,每个节点负责一部分槽和相关数据。当单个哈希类型数据中存储大量的字段和值时,该数据分配到同一个槽中,若这些字段和值本身属于较大的数据结构,则内存的消耗会显著增加,直接导致redis集群的数据分布不均匀,最终导致该槽所在的节点负载过重。在节点负载过重时,系统处理请求的速度变慢,无法有效地进行数据备份或故障恢复操作,降低了系统应对突发事件的能力,使得应用系统的抗风险能力差。

3、上述内容仅用于辅助理解本专利技术的技术方案,并不代表承认上述内容是现有技术。


技术实现思路

1、本专利技术的主要目的在于提供一种哈希数据存储方法、哈希数据存储装置及存储介质,解决现有技术中应用系统的抗风险能力差的问题。

2、为实现上述目的,本专利技术提供一种哈希数据存储方法,所述方法包括以下步骤:

3、确定应用系统中目标哈希类型的业务数据的键对应的哈希环计算结果;

4、根据所述哈希环计算结果对所述业务数据的键进行分类,并生成和/或确定各个分类对应的名称;

5、基于所述名称将各个所述分类对应的所述业务数据,分别存储至多个数据节点中。

6、可选地,所述确定应用系统中目标哈希类型的业务数据的键对应的哈希环计算结果的步骤之前,还包括:

7、遍历所述应用系统中所述目标哈希类型的所述业务数据的键;

8、所述确定应用系统中目标哈希类型的业务数据的键对应的哈希环计算结果的步骤包括:

9、生成和/或确定所述应用系统的系统配置信息的数据配置分片数;

10、根据所述数据配置分片数对所述业务数据的键进行哈希环计算处理,得到所述业务数据的键对应的所述哈希环计算结果。

11、可选地,所述根据所述数据配置分片数对所述业务数据进行哈希环计算处理,得到所述业务的键对应的所述哈希环计算结果的步骤包括:

12、将所述数据配置分片数作为哈希环的周期循环数,基于所述周期循环数依次计算所述业务数据的键的所述哈希环的值,得到所述哈希环计算结果。

13、可选地,所述生成和/或确定所述应用系统的系统配置信息的数据配置分片数的步骤包括:

14、在接收到所述应用系统的数据存储调节指令时,根据所述数据存储调节指令确定所述数据配置分片数;和/或

15、确定所述业务数据的数据总量,并根据所述数据总量计算需要调节的数据量以及各个存储节点的预期负载量;

16、根据所述数据量以及所述预期负载量生成所述数据配置分片数。

17、可选地,所述根据所述哈希环计算结果对所述业务数据的键进行分类,并生成和/或确定各个分类对应的名称的步骤包括:

18、基于所述哈希环计算结果,将相同的哈希环的值对应的所述业务数据的键进行归类处理;

19、在所述应用系统的变量名信息表中预存各个分类对应的所述名称时,基于所述变量名信息表确定各个分类对应的所述名称;和/或

20、在所述变量名信息表中不存在所述名称时,根据接收到的名称处理指令在所述变量名信息表中生成各个分类对应的所述名称。

21、可选地,所述基于所述名称将各个所述分类对应的所述业务数据,分别存储至多个数据节点中的步骤包括:

22、将所述名称与各个所述分类对应的,所述业务数据的哈希环的值进行拼接处理,并确定拼接处理后的目标业务数据对应的存储槽位;

23、将多组所述目标业务数据存储到redis集群的所述存储槽位对应的多个所述数据节点。

24、可选地,所述基于所述名称将各个所述分类对应的所述业务数据,分别存储至多个数据节点中的步骤之后,还包括:

25、获取所述应用系统中哈希类型的业务数据的存储状态;

26、当存在某个存储状态超出预设的存储阈值时,基于所述哈希类型的业务数据执行所述确定应用系统中目标哈希类型的业务数据的键对应的哈希环计算结果的步骤。

27、此外,为实现上述目的,本专利技术还提供一种哈希数据存储装置,所述哈希数据存储装置包括:

28、哈希环计算模块:用于确定应用系统中目标哈希类型的业务数据的键对应的哈希环计算结果;

29、哈希数据分组模块:用于根据所述哈希环计算结果对所述业务数据的键进行分类,并生成和/或确定各个分类对应的名称;

30、哈希数据存储模块:用于基于所述名称将各个所述分类对应的所述业务数据,分别存储至多个数据节点中。

31、此外,为实现上述目的,本专利技术还提供一种哈希数据存储装置,所述装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的哈希数据存储程序,所述哈希数据存储程序被所述处理器执行时实现如上所述的哈希数据存储方法的步骤。

32、此外,为实现上述目的,本专利技术还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有哈希数据存储程序,所述哈希数据存储程序被处理器执行时实现如上所述的哈希数据存储方法的步骤。

33、本专利技术实施例提供了哈希数据存储方法、哈希数据存储装置及存储介质,先确定应用系统中目标哈希类型的业务数据的键,对应的哈希环计算结果,接着根据哈希环计算结果对业务数据的键进行分类,并生成和/或确定各个分类对应的名称,最后基于所述名称将各个分类对应的业务数据分别存储到多个数据节点当中,基于此,能够将哈希类型的数据均匀存储到各自数据节点,进而提高系统的抗风险能力。

本文档来自技高网...

【技术保护点】

1.一种哈希数据存储方法,其特征在于,所述哈希数据存储方法包括:

2.如权利要求1所述的哈希数据存储方法,其特征在于,所述确定应用系统中目标哈希类型的业务数据的键对应的哈希环计算结果的步骤之前,还包括:

3.如权利要求2所述的哈希数据存储方法,其特征在于,所述根据所述数据配置分片数对所述业务数据进行哈希环计算处理,得到所述业务的键对应的所述哈希环计算结果的步骤包括:

4.如权利要求2所述的哈希数据存储方法,其特征在于,所述生成和/或确定所述应用系统的系统配置信息的数据配置分片数的步骤包括:

5.如权利要求1所述的哈希数据存储方法,其特征在于,所述根据所述哈希环计算结果对所述业务数据的键进行分类,并生成和/或确定各个分类对应的名称的步骤包括:

6.如权利要求1所述的哈希数据存储方法,其特征在于,所述基于所述名称将各个所述分类对应的所述业务数据,分别存储至多个数据节点中的步骤包括:

7.如权利要求1所述的哈希数据存储方法,其特征在于,所述基于所述名称将各个所述分类对应的所述业务数据,分别存储至多个数据节点中的步骤之后,还包括:

8.一种哈希数据存储装置,其特征在于,所述装置包括:

9.一种哈希数据存储装置,其特征在于,所述装置包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的哈希数据存储程序,所述哈希数据存储程序被所述处理器执行时实现如权利要求1至7中任一项所述的哈希数据存储方法的步骤。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有哈希数据存储程序,所述哈希数据存储程序被处理器执行时实现如权利要求1至7中任一项所述的哈希数据存储方法的步骤。

...

【技术特征摘要】

1.一种哈希数据存储方法,其特征在于,所述哈希数据存储方法包括:

2.如权利要求1所述的哈希数据存储方法,其特征在于,所述确定应用系统中目标哈希类型的业务数据的键对应的哈希环计算结果的步骤之前,还包括:

3.如权利要求2所述的哈希数据存储方法,其特征在于,所述根据所述数据配置分片数对所述业务数据进行哈希环计算处理,得到所述业务的键对应的所述哈希环计算结果的步骤包括:

4.如权利要求2所述的哈希数据存储方法,其特征在于,所述生成和/或确定所述应用系统的系统配置信息的数据配置分片数的步骤包括:

5.如权利要求1所述的哈希数据存储方法,其特征在于,所述根据所述哈希环计算结果对所述业务数据的键进行分类,并生成和/或确定各个分类对应的名称的步骤包括:

6.如权利要求1所述的哈希数据存储方法,其特...

【专利技术属性】
技术研发人员:卢再武包伟
申请(专利权)人:深圳市世强元件网络有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1