System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据处理方法、装置、设备和存储介质制造方法及图纸_技高网

数据处理方法、装置、设备和存储介质制造方法及图纸

技术编号:42719541 阅读:8 留言:0更新日期:2024-09-13 12:07
本申请实施例公开了数据处理方法、装置、设备和存储介质;可应用于归档存储,可获取针对磁带库的数据删除请求,磁带库存储有至少一个数据块,数据块被编码为至少一个写入数据单元,每个数据写入单元具有对应的单元状态,数据块由至少一个存储数据单元聚合生成,数据删除请求指示需删除的目标数据块;根据数据删除请求,对目标数据块的存储数据单元进行待删除存储数据单元识别;当识别结果指示目标数据块所有的存储数据单元均为待删除的存储数据单元时,更新目标数据块的写入数据单元的单元状态;基于目标数据块的各写入数据单元的状态更新结果,对目标数据块的各写入数据单元进行数据删除处理。该方案能提高磁带库的数据处理效率与数据管理效果。

【技术实现步骤摘要】

本申请涉及计算机,具体涉及一种数据处理方法、装置、设备和存储介质


技术介绍

1、磁带作为具有数据存储量大、介质保存时间久远、成本低廉等优势的一种存储介质,能够有效地应对由快速增长的数据存储需求所带来的存储难题。磁带库为管理多盘磁带的硬件容器,可以实现磁带中数据的读写。

2、在对相关技术的研究和实践过程中,本申请的专利技术人发现,当要对磁带库的存储数据进行数据删除处理时,若遇到了磁带库临时不可用的情况,如发生故障或固件升级等,则会导致系统其他的数据删除任务被阻塞,或者相关数据删除失败并遗留在磁带库中形成难以清理的垃圾数据等,而这无疑会显著降低磁带库的数据处理效率与数据管理效果。


技术实现思路

1、本申请实施例提出了一种数据处理方法、装置、设备和存储介质,可以提高针对磁带库的数据处理效率。

2、本申请实施例提供一种数据处理方法,包括:

3、获取针对磁带库的数据删除请求,其中,所述磁带库存储有至少一个数据块,所述数据块被编码为至少一个写入数据单元,存储于所述磁带库,每个所述数据写入单元具有对应的单元状态,所述数据块由至少一个存储数据单元聚合生成,所述数据删除请求指示需要删除的目标数据块;

4、根据所述数据删除请求,对所述目标数据块中的存储数据单元进行待删除存储数据单元识别,得到识别结果;

5、当所述识别结果指示所述目标数据块中所有的存储数据单元均为待删除的存储数据单元时,对所述目标数据块的写入数据单元的单元状态进行更新;>

6、基于所述目标数据块的各个写入数据单元的状态更新结果,对所述目标数据块的各个写入数据单元进行数据删除处理。

7、相应的,本申请实施例还提供一种数据处理装置,包括:

8、获取单元,用于获取针对磁带库的数据删除请求,其中,所述磁带库存储有至少一个数据块,所述数据块被编码为至少一个写入数据单元,存储于所述磁带库,每个所述数据写入单元具有对应的单元状态,所述数据块由至少一个存储数据单元聚合生成,所述数据删除请求指示需要删除的目标数据块;

9、识别单元,用于根据所述数据删除请求,对所述目标数据块中的存储数据单元进行待删除存储数据单元识别,得到识别结果;

10、更新单元,用于当所述识别结果指示所述目标数据块中所有的存储数据单元均为待删除的存储数据单元时,对所述目标数据块的写入数据单元的单元状态进行更新;

11、第一删除单元,用于基于所述目标数据块的各个写入数据单元的状态更新结果,对所述目标数据块的各个写入数据单元进行数据删除处理。

12、在一实施例中,所述第一删除单元,包括:

13、第一获取子单元,用于获取所述目标数据块的各个写入数据单元的状态更新结果;

14、第一生成子单元,用于当所述状态更新结果指示所述目标数据块的所有写入数据单元均更新成功时,生成针对所述目标数据块的数据删除任务;

15、第一删除子单元,用于根据所述数据删除任务,对所述目标数据块的各个写入数据单元进行数据删除处理。

16、在一实施例中,所述第一删除单元,还包括:

17、第一确定子单元,用于当所述状态更新结果指示所述目标数据块的部分写入数据单元更新失败时,确定针对所述目标数据块进行单元状态更新的更新时间;

18、状态更新子单元,用于在所述更新时间对所述目标数据块的写入数据单元的单元状态进行更新;

19、第二删除子单元,用于基于所述目标数据块的各个写入数据单元的状态更新结果,对所述目标数据块的各个写入数据单元进行数据删除处理。

20、在一实施例中,所述获取单元,包括:

21、第二获取子单元,用于获取针对目标存储数据单元的数据删除请求;

22、第二确定子单元,用于从磁带库的存储数据中确定聚合有所述目标存储数据单元的目标数据块;

23、第一检测子单元,用于对所述目标数据块中的各存储数据单元进行数据删除请求检测,得到检测结果;

24、第二生成子单元,用于当所述检测结果指示所述目标数据块中的存储数据单元均具有对应的数据检测请求时,生成针对所述目标数据块的数据删除请求。

25、在一实施例中,所述获取单元,包括:

26、第三获取子单元,用于获取针对磁带库的数据迁移请求,其中,所述数据迁移请求指示对目标数据块进行数据迁移,所述目标数据块中的各个存储数据单元均为待进行数据迁移的存储数据单元;

27、第三确定子单元,用于确定对所述目标数据块进行数据迁移所需的目标磁带库;

28、第一迁移子单元,用于从当前存储所述目标数据块的磁带库将所述目标数据块迁移至所述目标磁带库;

29、第三生成子单元,用于当检测到对所述目标数据块的数据迁移完成时,生成针对所述目标数据块的数据删除请求。

30、在一实施例中,所述第一迁移子单元,用于:

31、将所述目标数据块的各个写入数据单元,从当前存储所述目标数据块的磁带库读取到磁带库缓冲区;对所述各个写入数据单元进行数据校验,得到校验结果;当所述校验结果指示校验通过时,将所述目标数据块的各个写入数据单元从所述磁带缓冲区迁移至所述目标磁带库。

32、在一实施例中,所述数据处理装置,还包括:

33、确定单元,用于当所述识别结果指示所述目标数据块中的部分存储数据单元为待保留的存储数据单元时,确定当前存储所述目标数据块的第一磁带库、以及对所述目标数据块进行数据迁移所需的第二磁带库;

34、迁移单元,用于将所述目标数据块中待保留的存储数据单元从所述第一磁带库迁移至所述第二磁带库;

35、第二删除单元,用于当检测到迁移完成时,对存储于所述第一磁带库的所述目标数据块的各个写入数据单元进行数据删除处理。

36、在一实施例中,所述迁移单元,包括:

37、第二迁移子单元,用于将所述目标数据块的各个写入数据单元从所述第一磁带库迁移至磁带库缓冲区;

38、校验子单元,用于对所述各个写入数据单元进行数据校验,得到校验结果;

39、第三迁移子单元,用于当校验结果指示校验通过时,将所述目标数据块中待保留的存储数据单元从所述磁带库缓冲区迁移至所述第二磁带库。

40、在一实施例中,所述第三迁移子单元,用于:

41、获取针对存储数据单元进行数据迁移所需的存储数据单元集合,其中,所述存储数据单元集合包括至少一个待进行数据迁移的存储数据单元;将所述存储数据单元集合中的存储数据单元和所述目标数据块中待保留的存储数据单元进行聚合,得到至少一个聚合后数据块;将所述聚合后数据块从所述磁带库缓冲区迁移至所述第二磁带库。

42、在一实施例中,所述第三迁移子单元,具体用于:

43、根据所述目标数据块中待保留的存储数据单元,对所述存储数据单元集合进行更新;根据更新后的存储数据单元集合中各本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的数据处理方法,其特征在于,基于所述目标数据块的各个写入数据单元的状态更新结果,对所述目标数据块的各个写入数据单元进行数据删除处理,包括:

3.根据权利要求2所述的数据处理方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的数据处理方法,其特征在于,获取针对磁带库的数据删除请求,包括:

5.根据权利要求1所述的数据处理方法,其特征在于,获取针对磁带库的数据删除请求,包括:

6.根据权利要求5所述的数据处理方法,其特征在于,从当前存储所述目标数据块的磁带库将所述目标数据块迁移至所述目标磁带库,包括:

7.根据权利要求1所述的数据处理方法,其特征在于,所述方法还包括:

8.根据权利要求7所述的数据处理方法,其特征在于,将所述目标数据块中待保留的存储数据单元从所述第一磁带库迁移至所述第二磁带库,包括:

9.根据权利要求8所述的数据处理方法,其特征在于,将所述目标数据块中待保留的存储数据单元从所述磁带库缓冲区迁移至所述第二磁带库,包括:

10.根据权利要求9所述的数据处理方法,其特征在于,将所述存储数据单元集合中的存储数据单元和所述目标数据块中待保留的存储数据单元进行聚合,包括:

11.一种数据处理装置,其特征在于,包括:

12.一种计算机设备,其特征在于,包括存储器和处理器;所述存储器存储有计算机程序,所述处理器用于运行所述存储器内的计算机程序,以执行权利要求1至10任一项所述的数据处理方法。

13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,所述计算机程序被处理器加载,以执行权利要求1至10任一项所述的数据处理方法。

14.一种计算机程序产品,包括计算机程序/指令,其特征在于,所述计算机程序/指令被处理器执行时实现权利要求1至10任一项所述的数据处理方法中的步骤。

...

【技术特征摘要】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的数据处理方法,其特征在于,基于所述目标数据块的各个写入数据单元的状态更新结果,对所述目标数据块的各个写入数据单元进行数据删除处理,包括:

3.根据权利要求2所述的数据处理方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的数据处理方法,其特征在于,获取针对磁带库的数据删除请求,包括:

5.根据权利要求1所述的数据处理方法,其特征在于,获取针对磁带库的数据删除请求,包括:

6.根据权利要求5所述的数据处理方法,其特征在于,从当前存储所述目标数据块的磁带库将所述目标数据块迁移至所述目标磁带库,包括:

7.根据权利要求1所述的数据处理方法,其特征在于,所述方法还包括:

8.根据权利要求7所述的数据处理方法,其特征在于,将所述目标数据块中待保留的存储数据单元从所述第一磁带库迁移至所述第二磁带库,包括:

...

【专利技术属性】
技术研发人员:杨骥
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1