System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 硬盘读写方法、装置、设备、介质及程序产品制造方法及图纸_技高网

硬盘读写方法、装置、设备、介质及程序产品制造方法及图纸

技术编号:43213430 阅读:9 留言:0更新日期:2024-11-05 17:08
本申请提供一种硬盘读写方法、装置、设备、介质及程序产品,涉及存储技术领域,以解决NVME固态硬盘无法利用常用RAID机制的问题。本方法包括基于第一请求,获取目标文件的虚拟硬盘存储地址,第一请求用于请求读取或者写入目标文件;对虚拟硬盘存储地址进行映射处理,得到物理硬盘存储地址;根据物理硬盘存储地址中的多个条带strip,将第一请求划分为多个子请求,多个strip位于不同的物理硬盘;基于第一strip所在的第一物理硬盘所属第一逻辑组中的第一人工智能加速卡,执行第一strip对应的子请求,第一逻辑组包括第一物理硬盘和第一人工智能加速卡,第一strip为多个strip中的任意一个strip。本申请能够支持包括NVME固态硬盘在内的全部类型硬盘利用常用RAID机制进行读写优化。

【技术实现步骤摘要】

本申请涉及存储,特别涉及一种硬盘读写方法、装置、设备、介质及程序产品


技术介绍

1、随着人工智能技术飞速进步和应用日益普及,社会对人工智能服务器的需求增长迅速。相比于传统的通用服务器,人工智能服务器中标准配置了一块或多块人工智能加速卡,例如图形处理单元(graphics processing unit,gpu)或人工智能加速器(aiaccelerator)等。

2、目前在人工智能服务器中配置有少量的小容量的sata/sas硬盘用于安装操作系统,这些sata/sas硬盘通过传统的硬件主机总线适配器(host bus adapter,hba)卡接入服务器主板,硬件hba卡功能相对简单,仅能实现独立磁盘冗余阵列(redundant array ofindependent disks,raid)0/raid1功能,对硬盘读写速率的提升有限。另外,人工智能服务器中配置有较多的nvme协议(高速串行计算机扩展总线标准(peripheral componentinterconnect express,pcie)接口)的固态硬盘作为大容量高速数据盘,然而,目前这些大量的nvme协议的固态硬盘无法利用常用的raid机制来进一步提升数据读写的性能。


技术实现思路

1、本申请实施例提供一种硬盘读写方法、装置、设备、介质及程序产品,以解决相关技术中大量的nvme协议的固态硬盘无法利用常用的raid机制来进一步提升数据读写的性能的问题。

2、为解决上述技术问题,本申请是这样实现的:

3、第一方面,本申请实施例提供一种硬盘读写方法,包括:

4、基于第一请求,获取目标文件的虚拟硬盘存储地址,所述第一请求用于请求读取或者写入所述目标文件;

5、对所述虚拟硬盘存储地址进行映射处理,得到物理硬盘存储地址;

6、根据所述物理硬盘存储地址中的多个条带strip,将所述第一请求划分为多个子请求,所述子请求用于请求读取或者写入所述目标文件中对应的目标数据,所述多个strip位于不同的物理硬盘;

7、基于第一strip所在的第一物理硬盘所属第一逻辑组中的第一人工智能加速卡,执行所述第一strip对应的子请求,所述第一逻辑组包括所述第一物理硬盘和所述第一人工智能加速卡,所述第一strip为所述多个strip中的任意一个strip。

8、可选地,在所述第一请求用于请求读取所述目标文件的情况下,所述基于第一strip所在的第一物理硬盘所属第一逻辑组中的第一人工智能加速卡,执行所述第一strip对应的子请求,包括:

9、在所述第一人工智能加速卡的显存中存有所述第一strip对应的目标数据的情况下,基于所述第一人工智能加速卡将所述目标数据返回至服务器操作系统内核。

10、可选地,在所述第一请求用于请求读取所述目标文件的情况下,所述基于第一strip所在的第一物理硬盘所属第一逻辑组中的第一人工智能加速卡,执行所述第一strip对应的子请求,包括:

11、在所述第一人工智能加速卡的显存中未存有所述第一strip对应的目标数据的情况下,基于所述第一人工智能加速卡读取所述第一物理硬盘中的所述目标数据至显存中;

12、基于所述第一人工智能加速卡将所述显存中的所述目标数据返回至服务器操作系统内核。

13、可选地,所述基于所述第一人工智能加速卡读取所述第一物理硬盘中的所述目标数据至显存中,包括:

14、在所述第一物理硬盘损坏且后端磁盘阵列raid组为raid5模式的情况下,基于至少一个第二人工智能加速卡分别读取至少一个第二物理硬盘中的第二strip中的数据至显存中,所述第二物理硬盘为所述目标数据所在的逻辑条stripe中除所述第一strip外的strip所在的物理硬盘,所述第二人工智能加速卡为所述第二物理硬盘所属逻辑组中的人工智能加速卡;

15、基于所述第一人工智能加速卡对所述第二strip中的数据进行异或运算,得到所述目标数据。

16、可选地,在所述第一请求用于请求写入所述目标文件的情况下,所述基于第一strip所在的第一物理硬盘所属第一逻辑组中的第一人工智能加速卡,执行所述第一strip对应的子请求,包括:

17、将所述第一strip对应的目标数据写入所述第一人工智能加速卡的显存中;

18、基于所述第一人工智能加速卡将所述显存中的所述目标数据写入所述第一物理硬盘中的第一strip中。

19、可选地,在后端raid组为raid5模式的情况下,所述方法还包括:

20、基于至少一个第三人工智能加速卡读取至少一个第三物理硬盘中的第三strip中的数据至显存中,所述第三物理硬盘为所述目标数据所在的stripe中除所述第一strip和校验strip外的strip所在的物理硬盘,所述第三人工智能加速卡为所述第三物理硬盘所属逻辑组中的人工智能加速卡;

21、基于第四人工智能加速卡对所述目标数据与所述第三strip中的数据进行异或运算,得到校验数据,所述第四人工智能加速卡为第四物理硬盘所属逻辑组中的人工智能加速卡,所述第四物理硬盘为所述校验strip所在的物理硬盘;

22、基于所述第四人工智能加速卡将所述校验数据写入所述第四物理硬盘的校验strip中。

23、第二方面,本申请实施例提供一种硬盘读写装置,包括:

24、获取模块,用于基于第一请求,获取目标文件的虚拟硬盘存储地址,所述第一请求用于请求读取或者写入所述目标文件;

25、处理模块,用于对所述虚拟硬盘存储地址进行映射处理,得到物理硬盘存储地址;

26、划分模块,用于根据所述物理硬盘存储地址中的多个条带strip,将所述第一请求划分为多个子请求,所述子请求用于请求读取或者写入所述目标文件中对应的目标数据,所述多个strip位于不同的物理硬盘;

27、执行模块,用于基于第一strip所在的第一物理硬盘所属第一逻辑组中的第一人工智能加速卡,执行所述第一strip对应的子请求,所述第一逻辑组包括所述第一物理硬盘和所述第一人工智能加速卡,所述第一strip为所述多个strip中的任意一个strip。

28、可选地,在所述第一请求用于请求读取所述目标文件的情况下,所述执行模块包括:

29、第一返回单元,用于在所述第一人工智能加速卡的显存中存有所述第一strip对应的目标数据的情况下,基于所述第一人工智能加速卡将所述目标数据返回至服务器操作系统内核。

30、可选地,在所述第一请求用于请求读取所述目标文件的情况下,所述执行模块包括:

31、第一读取单元,用于在所述第一人工智能加速卡的显存中未存有所述第一strip对应的目标数据的情况下,基于所述第一人工智能加速卡读取所述第一物理硬盘中的所述目标数据至显存中;

32、第二返回单元,用于基于所述第一人工智能加速卡将所述显存中的所本文档来自技高网...

【技术保护点】

1.一种硬盘读写方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在所述第一请求用于请求读取所述目标文件的情况下,所述基于第一strip所在的第一物理硬盘所属第一逻辑组中的第一人工智能加速卡,执行所述第一strip对应的子请求,包括:

3.根据权利要求1所述的方法,其特征在于,在所述第一请求用于请求读取所述目标文件的情况下,所述基于第一strip所在的第一物理硬盘所属第一逻辑组中的第一人工智能加速卡,执行所述第一strip对应的子请求,包括:

4.根据权利要求3所述的方法,其特征在于,所述基于所述第一人工智能加速卡读取所述第一物理硬盘中的所述目标数据至显存中,包括:

5.根据权利要求1所述的方法,其特征在于,在所述第一请求用于请求写入所述目标文件的情况下,所述基于第一strip所在的第一物理硬盘所属第一逻辑组中的第一人工智能加速卡,执行所述第一strip对应的子请求,包括:

6.根据权利要求5所述的方法,其特征在于,在后端RAID组为RAID5模式的情况下,所述方法还包括:

7.一种硬盘读写装置,其特征在于,包括:

8.一种电子设备,其特征在于,包括处理器,所述处理器用于:

9.一种电子设备,其特征在于,包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序,所述程序被所述处理器执行时实现如权利要求1至6中任一项所述的硬盘读写方法的步骤。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的硬盘读写方法的步骤。

11.一种计算机程序产品,其特征在于,包括计算机指令,所述计算机指令被处理器执行时实现如权利要求1至6中任一项所述的硬盘读写方法的步骤。

...

【技术特征摘要】

1.一种硬盘读写方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在所述第一请求用于请求读取所述目标文件的情况下,所述基于第一strip所在的第一物理硬盘所属第一逻辑组中的第一人工智能加速卡,执行所述第一strip对应的子请求,包括:

3.根据权利要求1所述的方法,其特征在于,在所述第一请求用于请求读取所述目标文件的情况下,所述基于第一strip所在的第一物理硬盘所属第一逻辑组中的第一人工智能加速卡,执行所述第一strip对应的子请求,包括:

4.根据权利要求3所述的方法,其特征在于,所述基于所述第一人工智能加速卡读取所述第一物理硬盘中的所述目标数据至显存中,包括:

5.根据权利要求1所述的方法,其特征在于,在所述第一请求用于请求写入所述目标文件的情况下,所述基于第一strip所在的第一物理硬盘所属第一逻辑组中的第一人工智能加速卡,...

【专利技术属性】
技术研发人员:朱瑞平鲁江华金伟唐本亭杨海俊吴江李聪聪
申请(专利权)人:中国移动通信有限公司研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1