System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及计算机,尤其涉及一种数据处理方法及装置。
技术介绍
1、随着存储技术的不断迅速发展,存储设备在技术上实现了多次突破。对于存储设备,无论是使用者还是开发者,对存储设备中存储的数据进行处理的效率都是持续关注的问题。
2、对存储设备中的数据进行处理时一般采用设备接口技术。通过设备接口技术,存储设备向应用层提供逻辑接口,应用层通过逻辑接口对存储设备中存储的数据进行访问处理,例如读写数据和修改数据等。通过设备接口技术,应用层需要首先根据要处理的数据对象在存储设备中找到逻辑上划分的逻辑块,再映射到逻辑块对应的物理块。目前的设备接口技术中,主机端会在文件系统中管理数据对象的对象标识与逻辑块的逻辑标识之间的映射关系。当主机端需要对存储设备中存储的数据进行处理时,主机端需要查找对象标识映射的逻辑标识。因此,在数据处理的过程中,由于对象标识到逻辑标识的任务由主机端承担,那么其性能也受制于主机端中对象标识映射到逻辑标识的较低速率。那么存储设备的性能便不能充分发挥,从而形成了性能瓶颈,这是一个亟待解决的问题。
技术实现思路
1、本申请提供了一种数据处理方法及装置,用以解决存储设备的性能不能充分发挥,形成性能瓶颈的问题。
2、第一方面,本申请实施例提供一种数据处理方法,该方法可以应用于本申请第二方面提供的数据处理装置,该方法包括:
3、存储设备获得数据对象所属的逻辑存储区的逻辑标识,所述逻辑标识是通过提取所述数据对象的对象标识的信息获得的;所述存储设备确定所述逻
4、上述方法中,逻辑标识是通过提取所述数据对象的对象标识的信息获得的,所以无需存储对象标识到逻辑标识的大量映射关系,也无需在大量映射关系中查找对象标识对应的逻辑标识。因此,存储设备不会因为对象标识到逻辑标识的映射速率形成性能瓶颈,从而也提升了后续逻辑标识映射到物理标识的速率,以及数据对象的整体处理速率,所以存储设备的性能得到了充分发挥。
5、在一些可能的提取方式中,逻辑标识可以包括对象标识的部分,例如可以从对象标识中截取一部分作为逻辑标识。在一些可能的提取方式中,逻辑标识可以包括对象标识的全部,例如在对象标识之前添加前缀,和\或在对象标识之后添加后缀,和\或在对象标识中插入设定字符串,作为逻辑标识。该情形中,对象标识和逻辑标识也可以相同。例如,对象标识和逻辑标识可以均为1000000h(h表示16进制)。
6、逻辑标识也可以基于对象标识按照预设函数计算得到。预设函数在此不做限定,例如预设函数为在对象标识的基础上加上或减去固定值,或者为哈希函数等。举例来说,对象标识可以为1000000h,预设预算为对象标识加上预设值1000h,那么逻辑标识可以为1001000h。
7、基于对象标识,逻辑标识可以按照上述任一种可能的提取方式得到,因此不需要存储大量的映射关系,从而更为快捷、高效。
8、存储设备除了获得逻辑标识外,还可以获取其他内容,例如偏移信息,在一种可能的实现方式中,所述方法还包括:所述存储设备获取所述数据对象在所述物理存储区内的偏移信息,所述偏移信息用于确定所述数据对象在所述物理存储区内的操作地址。所述存储设备在所述物理存储区中,对所述数据对象执行预设处理操作,具体为所述存储设备根据所述偏移信息确定所述数据对象在所述物理存储区内的操作地址,以及根据所述操作地址对所述数据对象执行预设处理操作。
9、上述情形中,存储设备可以通过偏移量更准确地在物理存储区内定位起始操作地址和结束操作地址,所以使得存储设备对数据对象的操作更为准确。
10、在另一种可能的实现方式中,可以由主机设备获取所述数据对象在所述物理存储区内的偏移信息,并向所述存储设备发送偏移信息。
11、在一种可能的设计中,所述对象标识为对象命名范围中的标识,所述逻辑标识为逻辑命名范围中的标识,所述对象命名范围是预留的所有可分配对象标识,所述逻辑命名范围是预留的所有可分配逻辑标识,所述对象命名范围中可分配对象标识的总数量小于或等于所述逻辑命名范围中可分配逻辑标识的总数量。
12、上述方式中,由于对象命名范围中可分配对象标识的总数量小于或等于逻辑命名范围中可分配逻辑标识的总数量,从而保证能够提供充分的逻辑标识,使得数据对象的数据标识都能分配到独立的逻辑标识,为对象标识到逻辑标识的映射提供了基础。
13、在一种可能的设计中,所述物理标识为物理命名范围中的标识,所述物理命名范围是预留的所有可分配物理标识,所述物理命名范围中可分配物理标识的总数量小于或等于所述逻辑命名范围中可分配逻辑标识的总数量。
14、如此,从而保证能够提供充分的逻辑标识,使得数据对象的对象标识都能对应到独立的物理标识,为数据对象能够存储在独立的物理存储区提供了基础。
15、本申请中并不限定存储设备的具体形态。在一种可能的设计中,所述存储设备为固态硬盘,所述物理存储区为所述固态硬盘的闪存块组,数据对象与闪存块组唯一映射。其中,所述闪存块组包括至少一个闪存块。
16、在固态硬盘这种场景中,闪存芯片的处理性能更加高效,整个处理数据对象的速率受对象标识到逻辑标识的影响较大。然而,通过这种对象标识到逻辑标识的提取方式,可以更快捷地定位到物理存储区,该方式对于固态硬盘中数据对象的处理速率提升更为显著。
17、所述存储设备确定所述逻辑标识映射的物理标识的实现方式可以如下:
18、所述存储设备从数据表查找到所述逻辑标识对应数据记录,所述数据记录中的键为所述逻辑标识,所述数据记录中的值为所述物理标识;以及根据所述数据记录,得到所述逻辑标识映射的物理标识。
19、上述方式中,通过键值对的方式,可以较快捷地查找到逻辑标识映射的物理标识,从而进一步提升了数据对象的整体处理速率。
20、还可以通过其他方式查找到逻辑标识映射的物理标识,例如可以通过闪存翻译层来查找逻辑标识映射的物理标识。
21、在一种可能的情形中,所述物理标识与所述对象标识一一映射,所述预设处理操作为删除所述数据对象,还可以按照如下方式删除数据对象:
22、所述存储设备删除所述物理存储区中的所有数据。
23、通过上述方式,由于所述物理标识与所述对象标识一一映射,那么数据对象为所述物理存储区中唯一的数据对象。因此可以删除整个物理存储区的数据,从而删除物理存储区中的数据对象,因此无需考虑物理存储区中其它数据的迁移,提升了数据对象删除的效率。
24、所述存储设备还可以对存储设备中的物理标识以及逻辑标识进行状态管理。在一种可能的情形中,所述存储设备还可以将所述数据对象写入物理标识为无效的物理存储区,并设置所述逻辑标识和所述物理标识为有效。
25、在另一种可能的情形中,所述存储设备删除数据对象本文档来自技高网...
【技术保护点】
1.一种数据处理方法,其特征在于,包括:
2.如权利要求1所述的方法,其特征在于,所述对象标识为对象命名范围中的标识,所述逻辑标识为逻辑命名范围中的标识,所述对象命名范围是预留的所有可分配对象标识,所述逻辑命名范围是预留的所有可分配逻辑标识,所述对象命名范围中可分配对象标识的总数量小于或等于所述逻辑命名范围中可分配逻辑标识的总数量。
3.如权利要求1或2所述的方法,其特征在于,所述物理标识为物理命名范围中的标识,所述物理命名范围是预留的所有可分配物理标识,所述物理命名范围中可分配物理标识的总数量小于或等于所述逻辑命名范围中可分配逻辑标识的总数量。
4.如权利要求1至3任一项所述的方法,其特征在于,所述逻辑标识包括所述对象标识的全部或部分。
5.如权利要求1至4任一项所述的方法,其特征在于,所述逻辑标识是基于所述对象标识按照预设函数计算得到的。
6.如权利要求1至5任一项所述的方法,其特征在于,所述物理标识与所述对象标识一一映射,所述预设处理操作为删除所述数据对象,所述方法还包括:
7.一种数据处理装置,其特征
8.如权利要求7所述的装置,其特征在于,所述对象标识为对象命名范围中的标识,所述逻辑标识为逻辑命名范围中的标识,所述对象命名范围是预留的所有可分配对象标识,所述逻辑命名范围是预留的所有可分配逻辑标识,所述对象命名范围中可分配对象标识的总数量小于或等于所述逻辑命名范围中可分配逻辑标识的总数量。
9.如权利要求7或8所述的装置,其特征在于,所述物理标识为物理命名范围中的标识,所述物理命名范围是预留的所有可分配物理标识,所述物理命名范围中可分配物理标识的总数量小于或等于所述逻辑命名范围中可分配逻辑标识的总数量。
10.如权利要求7至9任一项所述的装置,其特征在于,所述逻辑标识包括所述对象标识的全部或部分。
11.如权利要求7至10任一项所述的装置,其特征在于,所述逻辑标识是基于所述对象标识按照预设函数计算得到的。
12.如权利要求7至11任一项所述的装置,其特征在于,所述物理标识与所述对象标识一一映射,所述预设处理操作为删除所述数据对象,所述处理模块还用于:
13.一种数据处理系统,其特征在于,包括:主机设备和存储设备;
14.一种存储控制器,其特征在于,包括:处理器、存储器和总线;
...【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:
2.如权利要求1所述的方法,其特征在于,所述对象标识为对象命名范围中的标识,所述逻辑标识为逻辑命名范围中的标识,所述对象命名范围是预留的所有可分配对象标识,所述逻辑命名范围是预留的所有可分配逻辑标识,所述对象命名范围中可分配对象标识的总数量小于或等于所述逻辑命名范围中可分配逻辑标识的总数量。
3.如权利要求1或2所述的方法,其特征在于,所述物理标识为物理命名范围中的标识,所述物理命名范围是预留的所有可分配物理标识,所述物理命名范围中可分配物理标识的总数量小于或等于所述逻辑命名范围中可分配逻辑标识的总数量。
4.如权利要求1至3任一项所述的方法,其特征在于,所述逻辑标识包括所述对象标识的全部或部分。
5.如权利要求1至4任一项所述的方法,其特征在于,所述逻辑标识是基于所述对象标识按照预设函数计算得到的。
6.如权利要求1至5任一项所述的方法,其特征在于,所述物理标识与所述对象标识一一映射,所述预设处理操作为删除所述数据对象,所述方法还包括:
7.一种数据处理装置,其特征在于,包括:
8.如权利要求7所述的...
【专利技术属性】
技术研发人员:周健,吴非,周游,田麒麟,谢长生,
申请(专利权)人:华为技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。