一种数据重删的方法、装置、设备及可读介质制造方法及图纸

本发明专利技术提供了一种数据重删的方法、装置、设备及可读介质，该方法包括：响应于接收到主机下发的数据，获取当前系统CPU的第一使用率；基于当前系统CPU的第一使用率获取对应在线重删数据的比例，并将数据中的与比例对应的数据进行在线重删，将数据中的剩余数据存储到硬盘中；响应于数据中的剩余数据存储到硬盘中，持续获取当前系统CPU的第二使用率，并将系统CPU的第二使用率与预设阈值进行比较；响应于系统CPU的第二使用率小于预设阈值，将数据中的剩余数据进行重删。通过使用本发明专利技术的方案，能够解决在线重删影响系统性能下降的问题，能够提高系统性能，节省了存储空间。节省了存储空间。节省了存储空间。

【技术实现步骤摘要】
一种数据重删的方法、装置、设备及可读介质


[0001]本专利技术涉及计算机领域，并且更具体地涉及一种数据重删的方法、装置、设备及可读介质。

技术介绍

[0002]当前存储系统支持在线重删功能，该功能在主机数据写入SSD盘之前会通过计算哈希值来判断是否是重复数据，如果是重复数据则不需写入SSD盘，这样可以节省存储空间、同时也可以减少写盘次数。但是在线重删需要对主机数据计算哈希值、查询/写入元数据等操作，这样会因为增加了IO延迟从而较大的影响了系统性能。

技术实现思路

[0003]有鉴于此，本专利技术实施例的目的在于提出一种数据重删的方法、装置、设备及可读介质，通过使用本专利技术的技术方案，能够解决在线重删影响系统性能下降的问题，能够提高系统性能，节省了存储空间。
[0004]基于上述目的，本专利技术的实施例的一个方面提供了一种数据重删的方法，包括以下步骤：
[0005]响应于接收到主机下发的数据，获取当前系统CPU的第一使用率；
[0006]基于当前系统CPU的第一使用率获取对应在线重删数据的比例，并将数据中的与比例对应的数据进行在线重删，将数据中的剩余数据存储到硬盘中；
[0007]响应于数据中的剩余数据存储到硬盘中，持续获取当前系统CPU的第二使用率，并将系统CPU的第二使用率与预设阈值进行比较；
[0008]响应于系统CPU的第二使用率小于预设阈值，将数据中的剩余数据进行重删。
[0009]根据本专利技术的一个实施例，响应于系统CPU的第二使用率小于预设阈值，将数据中的剩余数据进行重删包括：
[0010]响应于系统CPU的第二使用率小于预设阈值，判断数据的特征中是否包括LBA值；
[0011]响应于数据的特征中包括LBA值，计算包括LBA值的数据的哈希值；
[0012]判断计算得到的哈希值在哈希表中是否存在；
[0013]响应于计算得到的哈希值在哈希表中不存在，确定不存在重复数据不做重删操作。
[0014]根据本专利技术的一个实施例，还包括：
[0015]响应于计算得到的哈希值在哈希表中存在，通过hpSearch函数查找到计算得到的哈希值对应的PBA值；
[0016]建立LBA值和PBA值的映射关系；
[0017]删除数据的元数据中的映射关系并将建立的映射关系插入到数据的元数据中；
[0018]将数据设置为无效数据。
[0019]根据本专利技术的一个实施例，还包括：
[0020]设定当前CPU的第一使用率与执行在线重删数据的比例，其中，当前CPU的第一使用率小于等于50％，100％数据执行在线重删；
[0021]当前CPU的第一使用率大于50％且小于80％，50％数据执行在线重删；
[0022]当前CPU的第一使用率大于等于80％且小于95％，20％数据执行在线重删；
[0023]当前CPU的第一使用率大于等于95％，全部数据不执行在线重删。
[0024]本专利技术的实施例的另一个方面，还提供了一种数据重删的装置，装置包括：
[0025]获取模块，获取模块配置为响应于接收到主机下发的数据，获取当前系统CPU的第一使用率；
[0026]分流模块，分流模块配置为基于当前系统CPU的第一使用率获取对应在线重删数据的比例，并将数据中的与比例对应的数据进行在线重删，将数据中的剩余数据存储到硬盘中；
[0027]比较模块，比较模块配置为响应于数据中的剩余数据存储到硬盘中，持续获取当前系统CPU的第二使用率，并将系统CPU的第二使用率与预设阈值进行比较；
[0028]重删模块，重删模块配置为响应于系统CPU的第二使用率小于预设阈值，将数据中的剩余数据进行重删。
[0029]根据本专利技术的一个实施例，重删模块还配置为：
[0030]响应于系统CPU的第二使用率小于预设阈值，判断数据的特征中是否包括LBA值；
[0031]响应于数据的特征中包括LBA值，计算包括LBA值的数据的哈希值；
[0032]判断计算得到的哈希值在哈希表中是否存在；
[0033]响应于计算得到的哈希值在哈希表中不存在，确定不存在重复数据不做重删操作。
[0034]根据本专利技术的一个实施例，重删模块还配置为：
[0035]响应于计算得到的哈希值在哈希表中存在，通过hpSearch函数查找到计算得到的哈希值对应的PBA值；
[0036]建立LBA值和PBA值的映射关系；
[0037]删除数据的元数据中的映射关系并将建立的映射关系插入到数据的元数据中；
[0038]将数据设置为无效数据。
[0039]根据本专利技术的一个实施例，还包括设置模块，设置模块配置为：
[0040]设定当前CPU的第一使用率与执行在线重删数据的比例，其中，当前CPU的第一使用率小于等于50％，100％数据执行在线重删；
[0041]当前CPU的第一使用率大于50％且小于80％，50％数据执行在线重删；
[0042]当前CPU的第一使用率大于等于80％且小于95％，20％数据执行在线重删；
[0043]当前CPU的第一使用率大于等于95％，全部数据不执行在线重删。
[0044]本专利技术的实施例的另一个方面，还提供了一种计算机设备，该计算机设备包括：
[0045]至少一个处理器；以及
[0046]存储器，存储器存储有可在处理器上运行的计算机指令，指令由处理器执行时实现上述任意一项方法的步骤。
[0047]本专利技术的实施例的另一个方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述任意一项方法的步骤。
[0048]本专利技术具有以下有益技术效果：本专利技术实施例提供的数据重删的方法，通过响应于接收到主机下发的数据，获取当前系统CPU的第一使用率；基于当前系统CPU的第一使用率获取对应在线重删数据的比例，并将数据中的与比例对应的数据进行在线重删，将数据中的剩余数据存储到硬盘中；响应于数据中的剩余数据存储到硬盘中，持续获取当前系统CPU的第二使用率，并将系统CPU的第二使用率与预设阈值进行比较；响应于系统CPU的第二使用率小于预设阈值，将数据中的剩余数据进行重删的技术方案，能够解决在线重删影响系统性能下降的问题，能够提高系统性能，节省了存储空间。
附图说明
[0049]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
[0050]图1为根据本专利技术一个实施例的数据重删的方法的示意性流程图；
[0051]图2为根据本专利技术一个实施例的数据重删的装置的示意图；
[0052]图3为根据本专利技术一个实施例的计算机设备的示意图；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据重删的方法，其特征在于，包括以下步骤：响应于接收到主机下发的数据，获取当前系统CPU的第一使用率；基于当前系统CPU的第一使用率获取对应在线重删数据的比例，并将所述数据中的与所述比例对应的数据进行在线重删，将所述数据中的剩余数据存储到硬盘中；响应于所述数据中的剩余数据存储到硬盘中，持续获取当前系统CPU的第二使用率，并将系统CPU的第二使用率与预设阈值进行比较；响应于系统CPU的第二使用率小于预设阈值，将所述数据中的剩余数据进行重删。2.根据权利要求1所述的方法，其特征在于，响应于系统CPU的第二使用率小于预设阈值，将所述数据中的剩余数据进行重删包括：响应于系统CPU的第二使用率小于预设阈值，判断数据的特征中是否包括LBA值；响应于数据的特征中包括LBA值，计算包括LBA值的数据的哈希值；判断计算得到的哈希值在哈希表中是否存在；响应于计算得到的哈希值在哈希表中不存在，确定不存在重复数据不做重删操作。3.根据权利要求2所述的方法，其特征在于，还包括：响应于计算得到的哈希值在哈希表中存在，通过hpSearch函数查找到计算得到的哈希值对应的PBA值；建立所述LBA值和PBA值的映射关系；删除数据的元数据中的映射关系并将建立的映射关系插入到数据的元数据中；将数据设置为无效数据。4.根据权利要求1所述的方法，其特征在于，还包括：设定当前CPU的第一使用率与执行在线重删数据的比例，其中，当前CPU的第一使用率小于等于50％，100％数据执行在线重删；当前CPU的第一使用率大于50％且小于80％，50％数据执行在线重删；当前CPU的第一使用率大于等于80％且小于95％，20％数据执行在线重删；当前CPU的第一使用率大于等于95％，全部数据不执行在线重删。5.一种数据重删的装置，其特征在于，所述装置包括：获取模块，所述获取模块配置为响应于接收到主机下发的数据，获取当前系统CPU的第一使用率；分流模块，所述分流模块配置为基于当前系统CPU的第一使用率获取对应在线重删数据的比例，并将所述数据中的与所述比例对应...

【专利技术属性】
技术研发人员：肖计伟，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：