System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种数据处理方法、装置、电子设备及存储介质制造方法及图纸_技高网

一种数据处理方法、装置、电子设备及存储介质制造方法及图纸

技术编号:44828983 阅读:1 留言:0更新日期:2025-03-28 20:21
本公开涉及计算机技术领域,提供了一种数据处理方法、装置、电子设备及存储介质,所述方法包括:获取硬盘负载信息,基于硬盘负载信息确定IO模式,如果IO模式为第一IO模式,按照各个目标请求的请求地址大小对各个目标请求进行排序,并基于排序结果将各个目标请求的数据存入临时存储区,响应于临时存储区中存储的数据满足预设请求条件,基于临时存储区存储的各个目标请求访问硬盘,获得各个目标请求对应的目标数据。采用该方法,通过监测硬盘负载信息,基于硬盘负载信息确定适应的IO模式,在第一IO模式下通过按照请求地址大小对目标请求进行排序,进而依次访问硬盘,减少了目标请求的寻道时间,降低了访问延迟,从而提高了系统性能。

【技术实现步骤摘要】

本公开涉及计算机,尤其涉及一种数据处理方法、装置、电子设备及存储介质


技术介绍

1、目前,操作系统从物理硬盘上读取数据时一般是基于预读机制,按照预读顺序读取硬盘上各相邻块的数据,并将读取的数据存放到缓存中,以便后续访问时可以从缓存中读取数据,提高数据访问速度。然而,对于随机读访问请求,由于请求具有随机特性,采用预读机制进行数据读取的命中率较低,导致随机读访问请求的访问延迟增加,并且,由于缓存空间有限,频繁读取数据容易操作导致系统负载过高,降低了系统性能。


技术实现思路

1、本公开提供了一种数据处理方法、装置、电子设备及存储介质。

2、根据本公开的第一方面,提供了一种数据处理方法,所述方法包括:

3、获取硬盘负载信息;

4、基于所述硬盘负载信息确定io模式;

5、如果io模式为第一io模式,按照各个目标请求的请求地址大小对各个所述目标请求进行排序,并基于排序结果将各个所述目标请求的数据存入临时存储区;

6、响应于所述临时存储区中存储的数据满足预设请求条件,基于所述临时存储区存储的各个所述目标请求访问硬盘,获得各个所述目标请求对应的目标数据。

7、在一可实施方式中,所述方法还包括:

8、如果io模式为第二io模式,按照各个所述目标请求的当前请求顺序将各个所述目标请求存入所述临时存储区,所述第二io模式与所述第一io模式不同。

9、在一可实施方式中,所述基于所述硬盘负载信息确定io模式,包括

10、在当前的io模式为第二io模式的情况下,如果所述硬盘负载信息表征硬盘处于高负载状态,将io模式调整为第一io模式;

11、在当前的io模式为第一io模式的情况下,如果所述硬盘负载信息表征硬盘处于低负载状态,将io模式调整为第二io模式。

12、在一可实施方式中,所述硬盘负载信息包括硬盘输入输出性能参数和硬盘访问延迟,所述方法还包括:

13、如果在连续预设数量个周期内所述硬盘输入输出性能参数的值大于第一预设参数阈值,且,所述硬盘访问延迟高于第一预设延迟阈值,确定硬盘处于高负载状态;

14、如果当前周期内所述硬盘输入输出性能参数的值小于第二预设参数阈值,或者,所述硬盘访问延迟低于第二预设延迟阈值,确定硬盘处于低负载状态;其中,所述第一预设延迟阈值大于第二预设延迟阈值,所述第一预设参数阈值大于所述第二预设参数阈值。

15、在一可实施方式中,所述按照各个目标请求的请求地址大小对各个所述目标请求进行排序,并基于排序结果将各个所述目标请求的数据存入临时存储区,包括:

16、比较目标请求与临时存储区中已存储的各个请求的请求地址之间的大小;

17、按照地址从小到大的顺序确定所述目标请求在所述临时存储区中对应的存储位置;

18、将所述目标请求的数据存入所述临时存储区中对应的所述存储位置。

19、在一可实施方式中,所述方法还包括:

20、如果所述临时存储区中存储的目标请求的数量大于预设数量阈值,或者,io缓冲时间大于预设时间阈值,确定所述临时存储区中存储的数据满足预设请求条件。

21、在一可实施方式中,所述临时存储区包括存储器缓冲区或预设缓存。

22、根据本公开的第二方面,提供了一种数据处理装置,所述装置包括:

23、负载信息获取模块,用于获取硬盘负载信息;

24、io模式确定模块,用于基于所述硬盘负载信息确定io模式;

25、排序模块,用于如果io模式为第一io模式,按照各个目标请求的请求地址大小对各个所述目标请求进行排序,并基于排序结果将各个所述目标请求的数据存入临时存储区;

26、响应模块,用于响应于所述临时存储区中存储的数据满足预设请求条件,基于所述临时存储区存储的各个所述目标请求访问硬盘,获得各个所述目标请求对应的目标数据。

27、在一可实施方式中,所述排序模块,还用于如果io模式为第二io模式,按照各个所述目标请求的当前请求顺序将各个所述目标请求存入所述临时存储区,所述第二io模式与所述第一io模式不同。

28、在一可实施方式中,所述io模式确定模块,具体用于在当前的io模式为第二io模式的情况下,如果所述硬盘负载信息表征硬盘处于高负载状态,将io模式调整为第一io模式;在当前的io模式为第一io模式的情况下,如果所述硬盘负载信息表征硬盘处于低负载状态,将io模式调整为第二io模式。

29、在一可实施方式中,所述硬盘负载信息包括硬盘输入输出性能参数和硬盘访问延迟,所述io模式确定模块,具体用于如果在连续预设数量个周期内所述硬盘输入输出性能参数的值大于第一预设参数阈值,且,所述硬盘访问延迟高于第一预设延迟阈值,确定硬盘处于高负载状态;如果当前周期内所述硬盘输入输出性能参数的值小于第二预设参数阈值,或者,所述硬盘访问延迟低于第二预设延迟阈值,确定硬盘处于低负载状态;其中,所述第一预设延迟阈值大于第二预设延迟阈值,所述第一预设参数阈值大于所述第二预设参数阈值。

30、在一可实施方式中,所述排序模块,具体用于比较目标请求与临时存储区中已存储的各个请求的请求地址之间的大小;按照地址从小到大的顺序确定所述目标请求在所述临时存储区中对应的存储位置;将所述目标请求的数据存入所述临时存储区中对应的所述存储位置。

31、在一可实施方式中,所述响应模块,还用于如果所述临时存储区中存储的目标请求的数量大于预设数量阈值,或者,io缓冲时间大于预设时间阈值,确定所述临时存储区中存储的数据满足预设请求条件。

32、在一可实施方式中,所述临时存储区包括存储器缓冲区或预设缓存。

33、根据本公开的第三方面,提供了一种电子设备,包括:

34、至少一个处理器;以及

35、与所述至少一个处理器通信连接的存储器;

36、其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本公开所述的方法。

37、根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行本公开所述的方法。

38、采用本公开实施例提供的数据处理方法,获取硬盘负载信息,基于硬盘负载信息确定io模式,如果io模式为第一io模式,按照各个目标请求的请求地址大小对各个目标请求进行排序,并基于排序结果将各个目标请求的数据存入临时存储区,响应于临时存储区中存储的数据满足预设请求条件,基于临时存储区存储的各个目标请求访问硬盘,获得各个目标请求对应的目标数据。即通过监测硬盘负载信息,基于硬盘负载信息确定适应的io模式,在第一io模式下通过按照请求地址大小对目标请求进行排序,进而依次访问硬盘,减少了目标请求的寻道时间,降低了访问延迟,从而提高了系统性能。

...

【技术保护点】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述基于所述硬盘负载信息确定IO模式,包括:

4.根据权利要求3所述的方法,其特征在于,所述硬盘负载信息包括硬盘输入输出性能参数和硬盘访问延迟,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,所述按照各个目标请求的请求地址大小对各个所述目标请求进行排序,并基于排序结果将各个所述目标请求的数据存入临时存储区,包括:

6.根据权利要求1所述的方法,其特征在于,所述方法还包括:

7.根据权利要求1所述的方法,其特征在于,所述临时存储区包括存储器缓冲区或预设缓存。

8.一种数据处理装置,其特征在于,所述装置包括:

9.根据权利要求8所述的装置,其特征在于,所述排序模块,还用于如果IO模式为第二IO模式,按照各个所述目标请求的当前请求顺序将各个所述目标请求存入所述临时存储区,所述第二IO模式与所述第一IO模式不同。

10.根据权利要求8所述的装置,其特征在于,所述IO模式确定模块,具体用于在当前的IO模式为第二IO模式的情况下,如果所述硬盘负载信息表征硬盘处于高负载状态,将IO模式调整为第一IO模式;在当前的IO模式为第一IO模式的情况下,如果所述硬盘负载信息表征硬盘处于低负载状态,将IO模式调整为第二IO模式。

11.根据权利要求10所述的装置,其特征在于,所述硬盘负载信息包括硬盘输入输出性能参数和硬盘访问延迟,所述IO模式确定模块,具体用于如果在连续预设数量个周期内所述硬盘输入输出性能参数的值大于第一预设参数阈值,且,所述硬盘访问延迟高于第一预设延迟阈值,确定硬盘处于高负载状态;如果当前周期内所述硬盘输入输出性能参数的值小于第二预设参数阈值,或者,所述硬盘访问延迟低于第二预设延迟阈值,确定硬盘处于低负载状态;其中,所述第一预设延迟阈值大于第二预设延迟阈值,所述第一预设参数阈值大于所述第二预设参数阈值。

12.根据权利要求8所述的装置,其特征在于,所述排序模块,具体用于比较目标请求与临时存储区中已存储的各个请求的请求地址之间的大小;按照地址从小到大的顺序确定所述目标请求在所述临时存储区中对应的存储位置;将所述目标请求的数据存入所述临时存储区中对应的所述存储位置。

13.根据权利要求8所述的装置,其特征在于,所述响应模块,还用于如果所述临时存储区中存储的目标请求的数量大于预设数量阈值,或者,IO缓冲时间大于预设时间阈值,确定所述临时存储区中存储的数据满足预设请求条件。

14.根据权利要求8所述的装置,其特征在于,所述临时存储区包括存储器缓冲区或预设缓存。

15.一种电子设备,其特征在于,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行程序时实现如权利要求1-7中任一项所述的方法。

16.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一项所述的方法。

...

【技术特征摘要】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述基于所述硬盘负载信息确定io模式,包括:

4.根据权利要求3所述的方法,其特征在于,所述硬盘负载信息包括硬盘输入输出性能参数和硬盘访问延迟,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,所述按照各个目标请求的请求地址大小对各个所述目标请求进行排序,并基于排序结果将各个所述目标请求的数据存入临时存储区,包括:

6.根据权利要求1所述的方法,其特征在于,所述方法还包括:

7.根据权利要求1所述的方法,其特征在于,所述临时存储区包括存储器缓冲区或预设缓存。

8.一种数据处理装置,其特征在于,所述装置包括:

9.根据权利要求8所述的装置,其特征在于,所述排序模块,还用于如果io模式为第二io模式,按照各个所述目标请求的当前请求顺序将各个所述目标请求存入所述临时存储区,所述第二io模式与所述第一io模式不同。

10.根据权利要求8所述的装置,其特征在于,所述io模式确定模块,具体用于在当前的io模式为第二io模式的情况下,如果所述硬盘负载信息表征硬盘处于高负载状态,将io模式调整为第一io模式;在当前的io模式为第一io模式的情况下,如果所述硬盘负载信息表征硬盘处于低负载状态,将io模式调整为第二io模式。

11.根据权利要求10所述的装置,其特征在于,所述硬盘负载信...

【专利技术属性】
技术研发人员:孙世伟宫晓渊杨孟博王磊
申请(专利权)人:山东云海国创云计算装备产业创新中心有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1