System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据访问请求的处理方法、装置、设备和存储介质制造方法及图纸_技高网

数据访问请求的处理方法、装置、设备和存储介质制造方法及图纸

技术编号:44412786 阅读:0 留言:0更新日期:2025-02-25 10:27
本申请涉及一种数据访问请求的处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。所述方法包括:当接收到多个数据访问请求时,从所述多个数据访问请求中选取满足匹配条件的候选数据访问请求;基于当前时段对应的并发漏桶的桶大小,控制所述候选数据访问请求中的目标数据访问请求进入并发漏桶;所述目标数据访问请求的数量不大于所述并发漏桶的桶大小,所述桶大小等于并发限制数量;对所述并发漏桶中的各目标数据访问请求进行响应处理,以及对所述候选数据访问请求中的剩余数据访问请求进行阻断处理。采用本方法能够限制针对热点文件的数据访问请求,以留取出相应的带宽资源来处理针对非热点文件访问。

【技术实现步骤摘要】

本申请涉及计算机,特别是涉及一种数据访问请求的处理方法、装置、设备和存储介质


技术介绍

1、在现代云存储和数据中心环境中,对象存储资源池的管理是核心技术之一。对象存储系统通过提供灵活、可扩展的存储解决方案来应对日益增长的数据需求。

2、然而,当单个或多个文件突然成为“热点”时,即这些文件被大量用户或系统并发访问,这些请求在未被适当管理的情况下,会占用大量的网络带宽和服务器处理能力,从而影响非热点文件的访问。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够有效管理数据访问的数据访问请求的处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、一种数据访问请求的处理方法,所述方法包括:

3、当接收到多个数据访问请求时,从所述多个数据访问请求中选取满足匹配条件的候选数据访问请求;

4、基于当前时段对应的并发漏桶的桶大小,控制所述候选数据访问请求中的目标数据访问请求进入并发漏桶;所述目标数据访问请求的数量不大于所述并发漏桶的桶大小,所述桶大小等于并发限制数量;

5、对所述并发漏桶中的各目标数据访问请求进行响应处理,以及对所述候选数据访问请求中的剩余数据访问请求进行阻断处理。

6、在其中一个实施例中,所述并发限制数量为h,所述并发漏桶包括实时漏桶和瞬时漏桶,所述实时漏桶的桶大小为m,所述瞬时漏桶的桶大小为n,m和n分别为大于或等于1的整数,且m+n=h;所述目标数据访问请求包括第一数据访问请求和第二数据访问请求;

7、所述基于当前时段对应的并发漏桶的桶大小,控制所述候选数据访问请求中的目标数据访问请求进入并发漏桶,包括:

8、基于当前时段对应的实时漏桶的桶大小,控制所述候选数据访问请求中的第一数据访问请求进入实时漏桶,以及基于当前时段对应的瞬时漏桶的桶大小,控制所述候选数据访问请求中的第二数据访问请求进入瞬时桶;

9、其中,所述第一数据访问请求的数量小于或等于m,所述第二数据访问请求的数量小于或等于n,所述实时漏桶的响应处理优先级高于所述瞬时漏桶的处理优先级。

10、在其中一个实施例中,所述候选数据访问请求的数量为h;所述控制所述候选数据访问请求中的第一数据访问请求进入实时漏桶,以及控制所述候选数据访问请求中的第二数据访问请求进入瞬时桶,包括:

11、针对第i个候选数据访问请求,获取当前实时漏桶中已存在的数据访问请求的数量m,将m与m进行对比;

12、若m<m,则确定所述第i个候选数据访问请求为第一数据访问请求,并控制所述第一数据访问请求进入实时漏桶;

13、若m=m,获取当前瞬时漏桶中已存在的数据访问请求的数量n,并将n与n进行对比,若n<n,则确定所述第i个候选数据访问请求为第二数据访问请求,并控制所述第二数据访问请求进入瞬时漏桶,若n=n,则确定所述第i个候选数据访问请求为剩余数据访问请求;

14、赋值i=i+1,返回所述针对第i个候选数据访问请求,获取当前实时漏桶中已存在的数据访问请求的数量m,将m与m进行对比的步骤,直至i=h。

15、在其中一个实施例中,所述方法还包括:

16、从所述多个数据访问请求中选取不满足匹配条件的常规数据访问请求;

17、对所述常规数据访问请求进行响应处理。

18、在其中一个实施例中,所述方法还包括:

19、在完成对所述多个数据访问请求中当前数据访问请求的响应处理后,获取在当前时段内的时段数据流量;所述时段数据流量是当前时段内响应处理完成的数据访问请求对应的总数据流量,所述当前时段是指当前时刻与最近一次更新时刻之间的时间段,所述最近一次更新时刻是指最近一次对并发限制数量进行更新的历史时刻;

20、若所述当前时段的时长大于或等于预设时长,基于所述时段数据流量确定所述当前时段的带宽;

21、基于所述带宽对所述并发限制数量进行更新,得到更新后并发限制数量;

22、基于所述更新后并发限制数量对并发漏桶的桶大小进行更新,得到更新后的桶大小;所述更新后的桶大小用于在下一时段接收到新的数据访问请求时,指导对所述新的数据访问请求的处理。

23、在其中一个实施例中,所述基于所述带宽对所述并发限制数量进行更新,得到更新后并发限制数量,包括:

24、获取预设带宽区间的带宽下限值和带宽上限值;

25、若所述带宽小于所述带宽下限值,则增大所述并发限制数量,得到更新后并发限制数量;

26、若所述带宽小于所述带宽下限值,则减小所述并发限制数量,得到更新后并发限制数量;

27、若所述带宽处于所述预设带宽区间,则将所述并发限制数量确定为更新后并发限制数量。

28、一种数据访问请求的处理装置,所述装置包括:

29、数据访问请求选取模块,用于当接收到多个数据访问请求时,从所述多个数据访问请求中选取满足匹配条件的候选数据访问请求;

30、漏桶控制模块,用于基于当前时段对应的并发漏桶的桶大小,控制所述候选数据访问请求中的目标数据访问请求进入并发漏桶;所述目标数据访问请求的数量不大于所述并发漏桶的桶大小,所述桶大小等于并发限制数量;

31、请求响应模块,用于对所述并发漏桶中的各目标数据访问请求进行响应处理,以及对所述候选数据访问请求中的剩余数据访问请求进行阻断处理。

32、一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述的方法的步骤。

33、一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的方法的步骤。

34、一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现上述的方法的步骤。

35、上述数据访问请求的处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品,在接收到多个数据访问请求时,通过从多个数据访问请求中选取满足匹配条件的候选数据访问请求,如选取出针对热点文件的候选数据访问请求,并基于当前时段对应的并发漏桶的桶大小,控制候选数据访问请求中的目标数据访问请求进入并发漏桶,其中目标数据访问请求的数量不大于并发漏桶的桶大小,桶大小等于并发限制数量,对并发漏桶中的各目标数据访问请求进行响应处理,以及对候选数据访问请求中的剩余数据访问请求进行阻断处理,从而可以限制针对热点文件的数据访问请求,以留取出相应的带宽资源来处理针对非热点文件访问。

本文档来自技高网...

【技术保护点】

1.一种数据访问请求的处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述并发限制数量为H,所述并发漏桶包括实时漏桶和瞬时漏桶,所述实时漏桶的桶大小为M,所述瞬时漏桶的桶大小为N,M和N分别为大于或等于1的整数,且M+N=H;所述目标数据访问请求包括第一数据访问请求和第二数据访问请求;

3.根据权利要求2所述的方法,其特征在于,所述候选数据访问请求的数量为h;所述控制所述候选数据访问请求中的第一数据访问请求进入实时漏桶,以及控制所述候选数据访问请求中的第二数据访问请求进入瞬时桶,包括:

4.根据权利要求1所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述基于所述带宽对所述并发限制数量进行更新,得到更新后并发限制数量,包括:

7.一种数据访问请求的处理装置,其特征在于,所述装置包括:

8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

...

【技术特征摘要】

1.一种数据访问请求的处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述并发限制数量为h,所述并发漏桶包括实时漏桶和瞬时漏桶,所述实时漏桶的桶大小为m,所述瞬时漏桶的桶大小为n,m和n分别为大于或等于1的整数,且m+n=h;所述目标数据访问请求包括第一数据访问请求和第二数据访问请求;

3.根据权利要求2所述的方法,其特征在于,所述候选数据访问请求的数量为h;所述控制所述候选数据访问请求中的第一数据访问请求进入实时漏桶,以及控制所述候选数据访问请求中的第二数据访问请求进入瞬时桶,包括:

4.根据权利要求1所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,...

【专利技术属性】
技术研发人员:谢永达
申请(专利权)人:天翼云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1