System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() Redis键的动态管理方法、设备、服务器及存储介质技术_技高网

Redis键的动态管理方法、设备、服务器及存储介质技术

技术编号:43509722 阅读:10 留言:0更新日期:2024-11-29 17:12
本发明专利技术涉及数据处理领域,公开了一种Redis键的动态管理方法、设备、服务器及存储介质。该方法包括:检测到划分指令时,对Redis集群中的节点执行信息采集操作,得到第一节点信息,并对节点对应的Redis键执行划分操作;在划分操作执行完毕时,再次对节点执行信息采集操作,得到第二节点信息;根据第一节点信息和第二节点信息,对Redis键执行二次划分操作。在本发明专利技术实施例中,在Redis键的划分操作执行完毕后,再次对节点进行信息采集,并根据前后两次的信息变化,筛选出可能导致数据访问倾斜的Redis键。对这些Redis键执行二次划分操作,可进一步平衡节点间的负载,提高了整体响应能力,减少了访问延迟。

【技术实现步骤摘要】

本专利技术涉及数据处理领域,尤其涉及一种redis键的动态管理方法、设备、服务器及存储介质。


技术介绍

1、一个redis集群共有16384个哈希槽,同时一个redis集群有多个主机节点。16384个哈希槽平台分配在每个节点上。假如一个集群有4个节点,就会将16384个哈希槽平均分配给每一个节点,同时每个节点下有多个key(redis键)。

2、目前的key分配方法是将key的名称作为输入参数,通过特定算法来分配该key属于哪个节点。在该分配方式下,大部分高频率访问的key可能集中在同一个节点上,会造成该节点的数据访问倾斜。需要一种新的技术手段解决上述技术问题。


技术实现思路

1、本专利技术的主要目的在于解决常规的key分配方式下,大部分高频率访问的key都集中在同一个节点上,会造成该节点的数据访问倾斜的技术问题。

2、本专利技术第一方面提供了一种redis键的动态管理方法,所述redis键的动态管理方法包括:

3、检测到划分指令时,对redis集群中的节点执行信息采集操作,得到第一节点信息,并对所述节点对应的redis键执行划分操作;

4、在所述划分操作执行完毕时,再次对所述节点执行所述信息采集操作,得到第二节点信息;

5、根据所述第一节点信息和所述第二节点信息,对所述redis键执行二次划分操作

6、可选的,在本专利技术第一方面的第一种实现方式中,所述根据所述第一节点信息和所述第二节点信息,对所述redis键执行二次划分操作的步骤包括:

7、调用预设的细分资源占用法和预设的redis集群资源占用趋势预测法,根据所述第一节点信息和所述第二节点信息,预测出所述redis键在未来时间的趋势信息,所述趋势信息表征所述redis键在所述未来时间对资源的需求趋势,所述资源包括计算资源和/或存储资源;

8、根据所述趋势信息,对所述redis键执行所述二次划分操作。

9、可选的,在本专利技术第一方面的第二种实现方式中,所述根据所述趋势信息,对所述redis键执行所述二次划分操作的步骤包括:

10、调用预设的动态分裂法,根据所述趋势信息,对所述redis键执行所述二次划分操作。

11、可选的,在本专利技术第一方面的第三种实现方式中,所述根据所述趋势信息,调用预设的动态分裂法,对所述redis键执行所述二次划分操作的步骤包括:

12、根据所述趋势信息,在所述redis键中筛选出周期访问次数达到预设次数的目标键;

13、将所述目标键拆分成多个子键;

14、将所述子键重新分配到所述节点上,以完成所述二次划分操作。

15、可选的,在本专利技术第一方面的第四种实现方式中,所述当所述节点中的资源利用占比大于预设占比时,根据所述趋势信息,对所述redis键执行所述二次划分操作的步骤包括:

16、当所述节点中的资源利用占比大于预设占比时,根据所述趋势信息,对所述redis键执行所述二次划分操作。

17、可选的,在本专利技术第一方面的第五种实现方式中,所述调用细分资源占用法和redis集群资源占用趋势预测法,根据所述第一节点信息和所述第二节点信息,预测出所述redis键在未来时间的趋势信息的步骤包括:

18、调用所述细分资源占用法,根据所述第一节点信息和所述第二节点信息,计算出所述redis键的资源占用增长速度;

19、调用所述redis集群资源占用趋势预测法,根据所述资源占用增长速度,预测出所述redis键在未来时间的趋势信息。

20、可选的,在本专利技术第一方面的第六种实现方式中,所述信息采集操作包括采集cpu状态信息、内存状态信息、qps信息和连接数状态信息。

21、本专利技术第二方面提供了一种redis键的动态管理设备,包括存储器和处理器,所述处理器用于执行所述存储器中存储的程序指令,以使得所述redis键的动态管理设备执行上述的redis键的动态管理方法。

22、本专利技术第三方面提供了一种服务器,其特征在于,包括存储器和处理器,所述处理器用于执行所述存储器中存储的程序指令,以使得所述服务器执行上述的redis键的动态管理方法。

23、本专利技术的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述的redis键的动态管理方法。

24、在本专利技术实施例中,检测到划分指令时,对redis集群中的节点执行信息采集操作,得到第一节点信息,并对所述节点对应的redis键执行划分操作;在所述划分操作执行完毕时,再次对所述节点执行所述信息采集操作,得到第二节点信息;根据所述第一节点信息和所述第二节点信息,对所述redis键执行二次划分操作。在redis键的划分操作执行完毕后,再次对节点进行信息采集,并根据前后两次的信息变化,筛选出可能导致数据访问倾斜的redis键。对这些redis键执行二次划分操作,可进一步平衡节点间的负载,提高了整体响应能力,减少了访问延迟。

本文档来自技高网...

【技术保护点】

1.一种Redis键的动态管理方法,其特征在于,所述Redis键的动态管理方法包括:

2.根据权利要求1所述的Redis键的动态管理方法,其特征在于,所述根据所述第一节点信息和所述第二节点信息,对所述Redis键执行二次划分操作的步骤包括:

3.根据权利要求2所述的Redis键的动态管理方法,其特征在于,所述根据所述趋势信息,对所述Redis键执行所述二次划分操作的步骤包括:

4.根据权利要求3所述的Redis键的动态管理方法,其特征在于,所述根据所述趋势信息,调用预设的动态分裂法,对所述Redis键执行所述二次划分操作的步骤包括:

5.根据权利要求2所述的Redis键的动态管理方法,其特征在于,所述当所述节点中的资源利用占比大于预设占比时,根据所述趋势信息,对所述Redis键执行所述二次划分操作的步骤包括:

6.根据权利要求2所述的Redis键的动态管理方法,其特征在于,所述调用细分资源占用法和Redis集群资源占用趋势预测法,根据所述第一节点信息和所述第二节点信息,预测出所述Redis键在未来时间的趋势信息的步骤包括

7.根据权利要求1所述的Redis键的动态管理方法,其特征在于,所述信息采集操作包括采集CPU状态信息、内存状态信息、QPS信息和连接数状态信息。

8.一种Redis键的动态管理设备,其特征在于,包括存储器和处理器,所述处理器用于执行所述存储器中存储的程序指令,以实现权利要求1至7任意一项Redis键的动态管理方法。

9.一种服务器,其特征在于,包括存储器和处理器,所述处理器用于执行所述存储器中存储的程序指令,以实现权利要求1至7任意一项Redis键的动态管理方法。

10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的Redis键的动态管理方法。

...

【技术特征摘要】

1.一种redis键的动态管理方法,其特征在于,所述redis键的动态管理方法包括:

2.根据权利要求1所述的redis键的动态管理方法,其特征在于,所述根据所述第一节点信息和所述第二节点信息,对所述redis键执行二次划分操作的步骤包括:

3.根据权利要求2所述的redis键的动态管理方法,其特征在于,所述根据所述趋势信息,对所述redis键执行所述二次划分操作的步骤包括:

4.根据权利要求3所述的redis键的动态管理方法,其特征在于,所述根据所述趋势信息,调用预设的动态分裂法,对所述redis键执行所述二次划分操作的步骤包括:

5.根据权利要求2所述的redis键的动态管理方法,其特征在于,所述当所述节点中的资源利用占比大于预设占比时,根据所述趋势信息,对所述redis键执行所述二次划分操作的步骤包括:

6.根据权利要求2所述的redis键的动态管理方法,其特征在于,所...

【专利技术属性】
技术研发人员:李芝儒刁应君王俊文
申请(专利权)人:深圳市明唐新能源技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1