System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种数据重构节点确定方法、装置、设备及可读存储介质制造方法及图纸_技高网

一种数据重构节点确定方法、装置、设备及可读存储介质制造方法及图纸

技术编号:44695489 阅读:1 留言:0更新日期:2025-03-19 20:44
本发明专利技术公开了一种数据重构节点确定方法、装置、设备及可读存储介质,应用于分布式存储技术领域,包括:获取集群中每个节点对应的多个性能参数;其中,性能参数为与节点运行性能相关的参数;根据多个性能参数确定每个节点的运行性能;根据每个节点的运行性能从节点中确定最空闲的节点,将最空闲的节点作为重构节点。和当前直接将故障盘对应的节点作为重构节点进行数据重构,不考虑该故障盘对应的节点是否已经成为性能热点相比,本发明专利技术会根据各个节点的性能参数确定每个节点的运行性能,从而根据运行性能从所有节点中确定最空闲的节点作为重构节点,将重构的任务分配给最空闲的重构节点,从而均衡各个节点的性能消耗,提高整个系统的运行性能。

【技术实现步骤摘要】

本专利技术涉及分布式存储,特别涉及一种数据重构节点确定方法、装置、设备及可读存储介质


技术介绍

1、在分布式存储系统中,数据存储的方式主要纠删码,纠删码(ec)通过增加冗余数据的方式来保证数据在发生部分丢失时,原始数据不发生丢失。纠删码在重构任何一个数据块时,都需要从磁盘上读取多份其他数据和在网络上传输。这导致重构过程性能不佳,并使得系统暴露在不稳定状态。

2、因此,当前数据重构过程中直接将故障盘对应的节点作为重构节点,使得故障节点成为整个系统的性能热点,从而导致重构过程性能不佳。


技术实现思路

1、有鉴于此,本专利技术的目的在于提供一种数据重构节点确定方法、装置、设备及可读存储介质,解决了现有技术中重构过程性能低的技术问题。

2、为解决上述技术问题,本专利技术提供了一种数据重构节点确定方法,包括:

3、获取集群中每个节点对应的性能参数;其中,所述性能参数为与节点运行性能相关的参数;

4、根据所述性能参数确定每个节点的运行性能;

5、根据所述每个节点的运行性能从节点中确定最空闲的节点,将所述最空闲的节点作为重构节点。

6、可选的,所述性能参数包括中央处理器利用率、网络带宽利用率和磁盘利用率。

7、可选的,所述根据所述性能参数确定每个节点的运行性能,包括:

8、确定每个节点的所述性能参数对应的参数值;其中,所述参数值为确定性能高低的参数;

9、根据所述参数值确定所述每个节点的运行性能。

10、可选的,所述确定每个节点的所述性能参数对应的参数值,包括:

11、确定在预设时间段内每个节点的多个所述性能参数对应的多个参数值;其中,所述多个性能参数的性能参数类型相同、时间不同;

12、根据时间节点的不同确定所述多个参数值对应的权重;

13、根据所述多个参数值及其对应的所述权重,对所述性能参数对应的多个参数值进行加权平均,确定每个节点对应的加权平均参数值;

14、相应的,所述根据所述参数值确定所述每个节点的运行性能,包括:

15、根据每个节点的所述加权平均参数值确定所述每个节点的运行性能。

16、可选的,所述确定每个节点的所述性能参数对应的参数值,包括:

17、确定每个节点的多个所述性能参数对应的多个参数值;其中,所述多个性能参数的性能参数类型不同;

18、根据每个节点对应的所有的参数值,确定每个节点对应的总参数值;

19、相应的,所述根据所述参数值确定所述每个节点的运行性能,包括:

20、根据所述总参数值确定所述每个节点的运行性能。

21、可选的,在所述确定每个节点的所述性能参数对应的参数值之后,还包括:

22、确定当前节点是否存在读取分片数据任务;其中,所述读取分片任务为重构过程中读取分片数据的任务;

23、当确定当前节点存在所述读取分片数据任务时,确定当前节点对应的参数值减少第一预设参数值,得到第一调整后的参数值;

24、当确定当前节点不存在所述读取分片数据任务时,确定不对当前节点对应的参数值进行调整。

25、可选的,在所述确定每个节点的所述性能参数对应的参数值之后,还包括:

26、获取当前节点的历史运行规律;

27、根据当前节点的所述历史运行规律判断当前节点在预设重构时间是否存在数据处理任务;其中,所述预设重构时间为预设的后续进行数据重构所需的时间;

28、当当前节点在预设重构时间存在数据处理任务时,确定所述参数值减少第二预设参数值,得到第二调整后的参数值;

29、当当前节点在预设重构时间不存在数据处理任务时,确定不对所述参数值进行调整。

30、可选的,在所述根据所述每个节点的运行性能从节点中确定最空闲的节点,将所述最空闲的节点作为重构节点之后,还包括:

31、利用所述重构节点发送远程过程调用协议请求,根据所述远程过程调用协议请求读取数据分片;

32、根据所述数据分片计算校验值,得到重构数据;

33、将所述重构数据发送至故障盘对应的节点,以使所述故障盘对应的节点将所述重构数据根据冗余选择策略写入选择的非故障盘。

34、本专利技术还提供了一种数据重构节点确定装置,包括:

35、性能参数获取模块,用于获取集群中每个节点对应的性能参数;其中,所述性能参数为与节点运行性能相关的参数;

36、性能确定模块,用于根据所述性能参数确定每个节点的运行性能;

37、重构节点确定模块,用于根据所述每个节点的运行性能从节点中确定最空闲的节点,将所述最空闲的节点作为重构节点。

38、本专利技术还提供了一种数据重构节点确定设备,包括:

39、存储器,用于存储计算机程序;

40、处理器,用于执行所述计算机程序时实现如上述数据重构节点确定方法的步骤。

41、本专利技术还提供了一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述数据重构节点确定方法的步骤。

42、可见,本专利技术通过获取集群中每个节点对应的性能参数;其中,性能参数为与节点运行性能相关的参数。根据性能参数确定每个节点的运行性能。根据每个节点的运行性能从节点中确定最空闲的节点,将最空闲的节点作为重构节点。本专利技术的有益效果在于:通过根据性能参数确定集群中最空闲的节点,从而将最空闲的节点作为重构节点,由于重构节点并非故障盘对应的节点,使得可以均衡各个节点的性能消耗,消除性能热点,提高重构过程的整体性能。

43、此外,本专利技术还提供了一种数据重构节点确定装置、设备及可读存储介质,同样具有上述有益效果。

本文档来自技高网...

【技术保护点】

1.一种数据重构节点确定方法,其特征在于,包括:

2.根据权利要求1所述的数据重构节点确定方法,其特征在于,所述根据所述性能参数确定每个节点的运行性能,包括:

3.根据权利要求2所述的数据重构节点确定方法,其特征在于,所述确定每个节点的所述性能参数对应的参数值,包括:

4.根据权利要求2所述的数据重构节点确定方法,其特征在于,所述确定每个节点的所述性能参数对应的参数值,包括:

5.根据权利要求2所述的数据重构节点确定方法,其特征在于,在所述确定每个节点的所述性能参数对应的参数值之后,还包括:

6.根据权利要求2所述的数据重构节点确定方法,其特征在于,在所述确定每个节点的所述性能参数对应的参数值之后,还包括:

7.根据权利要求1所述的数据重构节点确定方法,其特征在于,在所述根据所述每个节点的运行性能从节点中确定最空闲的节点,将所述最空闲的节点作为重构节点之后,还包括:

8.一种数据重构节点确定装置,其特征在于,包括:

9.一种数据重构节点确定设备,其特征在于,包括:

10.一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述数据重构节点确定方法的步骤。

...

【技术特征摘要】

1.一种数据重构节点确定方法,其特征在于,包括:

2.根据权利要求1所述的数据重构节点确定方法,其特征在于,所述根据所述性能参数确定每个节点的运行性能,包括:

3.根据权利要求2所述的数据重构节点确定方法,其特征在于,所述确定每个节点的所述性能参数对应的参数值,包括:

4.根据权利要求2所述的数据重构节点确定方法,其特征在于,所述确定每个节点的所述性能参数对应的参数值,包括:

5.根据权利要求2所述的数据重构节点确定方法,其特征在于,在所述确定每个节点的所述性能参数对应的参数值之后,还包括:

6.根据权利要...

【专利技术属性】
技术研发人员:张翔唐维
申请(专利权)人:深信服科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1