System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种融合数据迁移的数据重建方法、装置和电子设备制造方法及图纸_技高网

一种融合数据迁移的数据重建方法、装置和电子设备制造方法及图纸

技术编号:44313632 阅读:1 留言:0更新日期:2025-02-18 20:27
本申请公开了一种融合数据迁移的数据重建方法、装置和电子设备。若检测到盘重建任务,则取消PDM任务;盘重建任务指示的磁盘为第一目标盘,PDM任务指示的磁盘为第二目标盘,第一目标盘和第二目标盘为N个在役磁盘中的一个;根据第一热备盘的和第二热备盘各自的盘描述信息,更新第一数据条带集合,得到第二数据条带集合;第一数据条带集合是根据N个在役磁盘各自的盘描述信息生成的;针对第二数据条带集合中的每个数据条带,确定针对数据条带指示的各数据单元的操作类型;按照数据条带指示的各数据单元的操作类型,对相应的数据单元存储的数据进行处理,完成第一目标盘的重建和第二目标盘的迁移。实现了重建和迁移同步,提高任务执行效率。

【技术实现步骤摘要】

本申请涉及数据重建,尤其涉及一种融合数据迁移的数据重建方法、装置和电子设备


技术介绍

1、随着存储系统的特性逐渐发展,现有的存储系统不仅需要处理数据不均衡的情况,还必须应对可能发生的数据丢失事件。为了避免数据迁移任务与数据重建任务同时对同一个数据条带(dseg)进行操作,从而浪费读写带宽,需要确保它们之间能够互斥执行。

2、相关技术中,通常采用串行执行的互斥方案来确定数据重建与数据迁移互斥进行。具体来说:在创建数据迁移任务之前,系统会先检查当前是否有正在进行的重建任务,若是,则数据迁移任务将不会被创建,以防止不必要的资源浪费。而当数据迁移任务正在执行时,如果检测到有重建事件产生,系统会立即暂停当前的迁移任务,并启动重建任务。待重建任务完成后,系统将恢复并继续执行之前暂停的迁移任务,确保数据的完整性和存储系统的稳定性。

3、虽然这种串行执行的互斥策略能够有效避免竞争,优化系统资源的利用率,保障存储操作的有效性和效率。但是,若同时存在以盘为维度的数据重建与数据迁移任务,采用串行执行的互斥方案,处理流程较为繁琐,当需要考虑的场景更为复杂时,任务的执行效率显著降低。


技术实现思路

1、本申请示例性的实施方式中提供一种融合数据迁移的数据重建方法、装置和电子设备,用以实现数据迁移任务和数据重建任务同步进行,处理流程简单,提高任务的执行效率。

2、根据示例性的实施方式中的第一方面,提供一种融合数据迁移的数据重建方法,包括:

3、在n个在役磁盘构成的冗余磁盘阵列中,若检测到盘重建任务,则取消当前存在的盘预失效数据迁移pdm任务;其中,盘重建任务指示的磁盘为第一目标盘;pdm任务指示的磁盘为第二目标盘,第一目标盘和第二目标盘为n个在役磁盘中的一个;n大于2;

4、根据第一热备盘的和第二热备盘各自的盘描述信息,更新第一数据条带集合,得到第二数据条带集合;其中,第一数据条带集合是根据n个在役磁盘各自的盘描述信息生成的;

5、针对第二数据条带集合中的每个数据条带,确定针对数据条带指示的各数据单元的操作类型;

6、按照数据条带指示的各数据单元的操作类型,对相应的数据单元存储的数据进行处理,完成第一目标盘的数据重建和第二目标盘的数据迁移。

7、本申请实施例,利用现有技术中的pdm任务与数据重建任务互斥的思想,在执行重建任务时,取消当前存在的pdm任务。另外,通过热备盘的盘描述信息来更新数据条带集合,进而根据更新后的数据条带集合中每个数据条带指示的各数据单元的操作类型,对相应的数据单元存储的数据进行处理。以数据单元为粒度进行数据处理,将取消的pdm任务融合进数据重建过程,一次性处理数据迁移与数据重建任务。提高了任务执行效率。

8、在一种可选的实施方式中,方法还包括:

9、随机选取n个在役磁盘中每个磁盘的一个数据单元,确定选取的各个数据单元各自对应的描述信息构成一个数据条带信息;

10、其中,一个数据条带信息包括:

11、数据条带的标识、数据条带关联的磁盘标识、数据条带包括的数据单元的标识、以及,数据条带包括的数据单元指示的存储位置。

12、上述实施例,通过随机选取n个在役磁盘中的各个磁盘各自的数据单元对应的描述信息构成的数据条带信息,可以确定数据条带的标识、数据条带关联的磁盘标识、数据条带包括的数据单元的标识、以及,数据条带包括的数据单元指示的存储位置,进而可以利用这些信息准确进行数据迁移和数据重建。

13、在一种可选的实施方式中,根据第一热备盘的和第二热备盘各自的盘描述信息,更新第一数据条带集合,得到第二数据条带集合,包括:

14、针对第一数据条带集合中的每个第一数据条带,应用随机选取的第一热备盘的一个数据单元和第二热备盘的一个数据单元,更新第一数据条带,得到对应的第二数据条带;

15、各个更新后的第二数据条带,构成第二数据条带集合。

16、上述实施例,在数据条带集合更新时,应用预先确定的热备盘的数据单元来实现,保证通过更新后的数据条带集合可以准确确定数据迁移和数据重建各自对应的目的盘以及目标盘中用于数据迁移或者数据重建的数据单元。

17、在一种可选的实施方式中,应用随机选取的第一热备盘的一个数据单元和第二热备盘的一个数据单元,更新第一数据条带,包括:

18、将第一数据条带信息中的第一目标盘的数据单元的存储位置替换为第一热备盘的数据单元的存储位置;将第一数据条带信息中的第二目标盘的数据单元的存储位置替换为第二热备盘的数据单元的存储位置。

19、上述实施例,通过该替换过程,可以通过相应的热备盘的数据单元的存储位置,准确确定需要处理的数据。

20、在一种可选的实施方式中,操作类型包括拷贝、ec编码、继承、ec解码中的部分或全部;针对第二数据条带集合中的每个数据条带,确定针对数据条带指示的各数据单元的操作类型中,针对每个数据单元的操作,包括:

21、若数据单元指示的存储内容不为数据,则确定数据单元的操作类型为ec编码;

22、若数据单元指示的存储内容为数据,且数据单元的标志位取值不为第一设定值,则确定数据单元的操作类型为继承;

23、若数据单元指示的存储内容为数据,且数据单元的标志位取值为第一设定值,且指示的盘状态不为pdm,则确定数据单元的操作类型为ec解码;

24、若数据单元指示的存储内容为数据,且数据单元的标志位取值为第一设定值,且指示的盘状态为pdm状态,则确定数据单元的操作类型为拷贝。

25、上述实施例,ec编码、继承和ec解码对应的均为数据重建过程中的操作,拷贝为数据迁移过程中的操作,因此,针对不同的数据单元,按照上述逻辑分别确定操作类型。以数据单元为粒度,将数据迁移融合进数据重建过程,实现数据迁移和数据重建的同步进行。

26、在一种可选的实施方式中,方法还包括:

27、针对每个在役盘,通过查询看板的信息确定盘的状态:

28、若盘的状态为正常状态,则确定盘的数据单元在数据条带信息中对应的标志位取值为第二设定值;其中,正常状态指示盘为插入状态且正常运行;

29、若盘的状态为孤立状态,则确定盘的数据单元在数据条带信息中对应的标志位取值为第一设定值;其中,孤立状态指示盘为已拔出状态;

30、若盘的状态为亚健康状态,则确定盘的数据单元在数据条带信息中对应的标志位取值为第一设定值;其中,亚健康状态指示盘为即将拔出状态。

31、上述实施例,通常情况下,盘拔出是触发数据重建任务的一个比较常见的操作,因此,针对每个在役磁盘,可以通过上述方式来确定盘的状态,进而确定相应的数据单元的操作类型。

32、根据示例性的实施方式中的第二方面,提供一种融合数据迁移的数据重建装置,包括:

33、处理单元,用于:在n个在役磁盘构成的冗余磁盘阵列中,若检测到盘重建本文档来自技高网...

【技术保护点】

1.一种融合数据迁移的数据重建方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述根据第一热备盘的和第二热备盘各自的盘描述信息,更新第一数据条带集合,得到第二数据条带集合,包括:

4.根据权利要求3所述的方法,其特征在于,所述应用随机选取的所述第一热备盘的一个数据单元和所述第二热备盘的一个数据单元,更新所述第一数据条带,包括:

5.根据权利要求1所述的方法,其特征在于,所述操作类型包括拷贝、EC编码、继承、EC解码中的部分或全部;所述针对所述第二数据条带集合中的每个数据条带,确定针对所述数据条带指示的各数据单元的操作类型中,针对每个数据单元的操作包括:

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

7.一种融合数据迁移的数据重建装置,其特征在于,包括:

8.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6任一项所述方法的步骤。

9.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,该计算机程序指令被处理器执行时实现权利要求1至6任一项所述方法的步骤。

10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

...

【技术特征摘要】

1.一种融合数据迁移的数据重建方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述根据第一热备盘的和第二热备盘各自的盘描述信息,更新第一数据条带集合,得到第二数据条带集合,包括:

4.根据权利要求3所述的方法,其特征在于,所述应用随机选取的所述第一热备盘的一个数据单元和所述第二热备盘的一个数据单元,更新所述第一数据条带,包括:

5.根据权利要求1所述的方法,其特征在于,所述操作类型包括拷贝、ec编码、继承、ec解码中的部分或全部;所述针对所述第二数据条带集合中的每个数据条带,确定针对所述数据条带指示的各数据单元的操...

【专利技术属性】
技术研发人员:毛新蕊周后兵李容光杨鑫宇曹龙杰
申请(专利权)人:曙光信息产业北京有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1