System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据节点的管理方法、装置、计算机设备和可读存储介质制造方法及图纸_技高网

数据节点的管理方法、装置、计算机设备和可读存储介质制造方法及图纸

技术编号:44634669 阅读:5 留言:0更新日期:2025-03-17 18:28
本申请涉及一种数据节点的管理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。所述方法包括:确定磁盘的多个命名空间;所述多个命名空间是对所述磁盘进行划分所得,且所述多个命名空间是数据隔离的存储单元;按照每一所述命名空间分配处理器核心,将每一所述命名空间与分配的相应处理器核心进行绑定,得到每一所述命名空间所绑定的处理器核心;根据每一所述命名空间所绑定的处理器核心,管理每一所述命名空间对应的数据节点。采用本方法能够提高处理效率。

【技术实现步骤摘要】

本申请涉及数据存储,特别是涉及一种数据节点的管理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。


技术介绍

1、数据节点作为分布式集群中最重要的组件之一,其主要职责是负责存储和管理数据。在生产或者测试环境中,可以将数据节点服务部署在hdd硬盘上存储实际业务数据。

2、随着集群使用时间的增加,每个hdd数据节点上存储的数据量也会增加。在数据存储过程中,rocksdb存储自身的合并特性,会对读写性能产生非常大的抖动,不仅会占用ssd磁盘的读写带宽,也会增加hdd磁盘上的数据读写时延,导致上层业务出现卡顿,影响用户体验。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够提高处理效率的数据节点的管理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面,本申请提供了一种数据节点的管理方法,包括:一种数据节点的管理方法,所述方法包括:

3、确定磁盘的多个命名空间;所述多个命名空间是对所述磁盘进行划分所得,且所述多个命名空间是数据隔离的存储单元;

4、按照每一所述命名空间分配处理器核心,将每一所述命名空间与分配的相应处理器核心进行绑定,得到每一所述命名空间所绑定的处理器核心;

5、根据每一所述命名空间所绑定的处理器核心,管理每一所述命名空间对应的数据节点。

6、在其中一个实施例中,所述将每一所述命名空间与分配的相应处理器核心进行绑定,得到每一所述命名空间所绑定的处理器核心,包括

7、通过亲和性参数,对每一所述命名空间与分配的相应处理器核心进行绑定,得到每一所述命名空间所绑定的处理器核心;

8、其中,所述亲和性参数表示每一所述命名空间的中断请求与所述处理器核心的绑定关系。

9、在其中一个实施例中,所述亲和性参数包括预设中断亲和性参数与脚本对应的参数;

10、所述通过亲和性参数,对每一所述命名空间与分配的相应处理器核心进行绑定,得到每一所述命名空间所绑定的处理器核心,包括:

11、通过所述预设中断亲和性参数,禁用所述磁盘与所述处理器核心之间的磁盘亲和性;所述磁盘亲和性表示所述磁盘的中断请求,由所述磁盘所绑定的处理器核心处理;

12、通过所述脚本对应的参数,对每一所述命名空间的空间亲和性与分配的相应处理器核心进行绑定,得到每一所述命名空间所绑定的处理器核心;所述空间亲和性表示每一所述命名空间的中断请求,由每一所述命名空间所绑定的处理器核心处理。

13、在其中一个实施例中,所述命名空间包括用于存储元数据的索引命名空间,以及用于存储日志与数据的数据命名空间;

14、所述确定磁盘的多个命名空间,包括:

15、获取服务器的命名空间数量、索引命名空间数量与机械硬盘的虚拟节点数量;所述服务器的命名空间数量指示所述服务器的各磁盘划分所得的命名空间数量;

16、根据所述索引命名空间数量,确定所述索引命名空间;

17、确定所述服务器的命名空间数量与索引命名空间数量之间的数量差,根据所述数量差的命名空间与所述虚拟节点数量,确定所述虚拟节点所绑定的所述数据命名空间。

18、在其中一个实施例中,所述磁盘为固态硬盘,所述命名空间包括对固态硬盘进行划分所得的索引命名空间与,以及用于存储日志与数据的数据命名空间,所述固态硬盘具有非易失性内存主机控制器接口;

19、所述根据每一所述命名空间所绑定的处理器核心,管理每一所述命名空间对应的数据节点,包括:

20、获取重建用盘符;

21、根据所述重建用盘符指示的索引命名空间所绑定的处理器核心,对所述重建用盘符指示的索引命名空间进行格式化处理与数据节点重建;和/或,

22、在所述重建用盘符表示所述数据命名空间的数量,以及所述重建用盘符表示机械硬盘磁盘的数量不一致时,跳过所述机械硬盘不存在的物理磁盘;在所述数量一致时,检测所述机械硬盘的虚拟节点,跳过已存在的所述虚拟节点,并根据所述机械硬盘对应的虚拟节点数量创建所述虚拟节点;将所述虚拟节点与所述数据命名空间绑定。

23、在其中一个实施例中,所述方法还包括:

24、当数据节点的变化数量时,按照所述数据节点变化后的数量所对应预设参数,调整对象存储集群的参数;

25、其中,所述对象存储集群包括所述固态硬盘与所述机械硬盘。

26、在其中一个实施例中,所述根据每一所述命名空间所绑定的处理器核心,管理每一所述命名空间对应的数据节点,包括:

27、获取修复用盘符;

28、若所述修复用盘符所指示的物理卷不存在,则对所述磁盘进行格式化处理,并返回所述确定磁盘的多个命名空间的步骤;

29、若所述修复用盘符所指示的物理卷存在,则检测所述修复用盘符所指示的数据节点的进程是否存在;

30、若所述进程不存在,则清理所述修复用盘符所指示的数据节点对应的物理卷数据以及所存储数据,并返回所述确定磁盘的多个命名空间的步骤。

31、第二方面,本申请还提供了一种数据节点的管理装置,包括:

32、确定模块,用于确定磁盘的多个命名空间;所述多个命名空间是对所述磁盘进行划分所得,且所述多个命名空间是数据隔离的存储单元;

33、绑定模块,用于按照每一所述命名空间分配处理器核心,将每一所述命名空间与分配的相应处理器核心进行绑定,得到每一所述命名空间所绑定的处理器核心;

34、管理模块,用于根据每一所述命名空间所绑定的处理器核心,管理每一所述命名空间对应的数据节点。

35、第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任意实施例中数据节点的管理的步骤。

36、第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意实施例中数据节点的管理的步骤。

37、第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述任意实施例中数据节点的管理的步骤。

38、上述数据节点的管理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品,确定磁盘的多个命名空间,多个命名空间是对所述磁盘进行划分所得,且所述多个命名空间是数据隔离的存储单元;各命名空间之间的数据资源隔离,读或写操作也不会互相影响,提供更好的性能隔离,确保应用的稳定性和低时延,即便在不同规模的存储系统中,也可以灵活地调整数据节点的数量用于不同类型的应用读写,提高了系统的整体扩展能力,也可以有效地利用存储硬件,减少资源浪费。进而,按照每一所述命名空间分配处理器核心,将每一所述命名空间与分配的相应处理器核心进行绑定,得到每一所述命名空间所绑定的处理器核心;可本文档来自技高网...

【技术保护点】

1.一种数据节点的管理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述将每一所述命名空间与分配的相应处理器核心进行绑定,得到每一所述命名空间所绑定的处理器核心,包括:

3.根据权利要求2所述的方法,其特征在于,所述亲和性参数包括预设中断亲和性参数与脚本对应的参数;

4.根据权利要求1所述的方法,其特征在于,所述命名空间包括用于存储元数据的索引命名空间,以及用于存储日志与数据的数据命名空间;

5.根据权利要求1所述的方法,其特征在于,所述磁盘为固态硬盘,所述命名空间包括对固态硬盘进行划分所得的索引命名空间,以及用于存储日志与数据的数据命名空间,所述固态硬盘具有非易失性内存主机控制器接口;

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

7.根据权利要求1所述的方法,其特征在于,所述根据每一所述命名空间所绑定的处理器核心,管理每一所述命名空间对应的数据节点,包括:

8.一种数据节点的管理装置,其特征在于,所述装置包括:

9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

...

【技术特征摘要】

1.一种数据节点的管理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述将每一所述命名空间与分配的相应处理器核心进行绑定,得到每一所述命名空间所绑定的处理器核心,包括:

3.根据权利要求2所述的方法,其特征在于,所述亲和性参数包括预设中断亲和性参数与脚本对应的参数;

4.根据权利要求1所述的方法,其特征在于,所述命名空间包括用于存储元数据的索引命名空间,以及用于存储日志与数据的数据命名空间;

5.根据权利要求1所述的方法,其特征在于,所述磁盘为固态硬盘,所述命名空间包括对固态硬盘进行划分所得的索引命名空间,以及用于存储日志与数据的数据命名空间,所述固态...

【专利技术属性】
技术研发人员:张宏瑞曾检历
申请(专利权)人:天翼云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1