对象去重方法及装置制造方法及图纸

本申请实施例了提供一种对象去重方法，该方法包括：获取第一对象的第一哈希值和第一对象标识；根据所述第一哈希值和所述第一对象标识，确定所述第一对象是否属于重复对象；在确定所述第一对象属于重复对象的情况下，对所述第一对象或第二对象执行去重操作；其中，所述第二对象包括在存储系统中与所述第一对象重复的对象。本申请实施例的技术方案通过哈希值和对象标识确定是否存在重复对象。在存在重复对象时，进行重复对象的对象以进行对象的清理，从而尽量优化存储系统的存储资源利用率，尽量避免了存储系统中存储资源浪费。同时，由于减少了重复对象的存储，因此也降低了数据丢失时数据恢复的时间和成本。失时数据恢复的时间和成本。失时数据恢复的时间和成本。

【技术实现步骤摘要】
对象去重方法及装置


[0001]本申请实施例涉及计算机
，尤其涉及一种对象去重方法、装置、计算机设备、计算机可读存储介质。

技术介绍

[0002]随着计算机技术的发展，针对各类数据的海量存储、读写成为了当前的热点问题。在数据存储中，对象存储作为一种重要的数据存储方式，由于其可靠性高、可扩展性强、访问速度快等优势，受到越来越广泛的关注和应用。但是，随着数据量的不断增长，对象存储中会出现大量的重复数据，不仅浪费空间，而且增加管理和维护成本。
[0003]需要说明的是，上述内容并不必然是现有技术，也不用于限制本申请的专利保护范围。

技术实现思路

[0004]本申请实施例提供一种对象去重方法、装置、计算机设备、计算机可读存储介质，以解决或缓解上面提出的一项或更多项技术问题。
[0005]本申请实施例的一个方面提供了一种对象去重方法，所述方法包括：
[0006]获取第一对象的第一哈希值和第一对象标识；
[0007]根据所述第一哈希值和所述第一对象标识，确定所述第一对象是否属于重复对象；
[0008]在确定所述第一对象属于重复对象的情况下，对所述第一对象或第二对象执行去重操作；其中，所述第二对象包括在存储系统中与所述第一对象重复的对象。
[0009]可选地，所述第一对象为待上传对象。
[0010]可选地，根据所述第一哈希值和所述第一对象标识，确定所述第一对象是否属于重复对象，包括：
[0011]检索与所述第一哈希值相同的第二哈希值，所述第二哈希值映射第二对象标识；
[0012]在未检索到所述第二哈希值的情况下，确定所述第一对象不属于重复对象；
[0013]其中，在确定所述第一对象不属于重复对象的情况下，所述第一对象物理存储至所述存储系统中。
[0014]可选地，根据所述第一哈希值和所述第一对象标识，确定所述第一对象是否属于重复对象，包括：
[0015]检索与所述第一哈希值相同的第二哈希值，所述第二哈希值映射第二对象标识；
[0016]在检索到所述第二哈希值，且所述第一对象标识和所述第二对象标识相同的情况下，确定所述第一对象属于重复对象；
[0017]其中，在确定所述第一对象属于重复对象的情况下，返回表示响应成功的消息。
[0018]可选地，根据所述第一哈希值和所述第一对象标识，确定所述第一对象是否属于重复对象，包括：
[0019]检索与所述第一哈希值相同的第二哈希值，所述第二哈希值映射第二对象标识；
[0020]在检索到所述第二哈希值，且所述第一对象标识和所述第二对象标识不同的情况下，物理存储所述第一对象；
[0021]通过比较所述第一对象和所述第二对象，确定所述第一对象和所述第二对象是否重复。
[0022]可选地，所述方法还包括：
[0023]异步建立第一映射关系，所述第一映射关系表示所述第一对象标识和第一元数据的映射关系；其中，所述第一元数据包括所述第一对象在所述存储系统中的物理存储地址；
[0024]异步建立第二映射关系，所述第二映射关系表示所述第一哈希值和所述第一对象标识的映射关系；
[0025]对应地，通过比较所述第一对象和所述第二对象，确定所述第一对象和所述第二对象是否重复，包括：
[0026]在所述第一哈希值和所述第二哈希值产生哈希碰撞，且所述第一对象标识和所述第二对象标识不相同的下，获取所述第一对象标识关联的第一对象以及与所述第二对象标识关联的第二对象；其中，所述第二哈希值和所述第二对象标识为映射关系；
[0027]在所述第一对象和所述第二对象逐字节相同的情况下，确定所述第一对象和所述第二对象重复。
[0028]可选地，在确定所述第一对象属于重复对象的情况下，对所述第一对象或第二对象执行去重操作，包括：
[0029]在确定所述第一对象和所述第二对象重复的情况下，根据所述第一对象的生命周期信息和所述第二对象的生命周期信息，选择所述第一对象或所述第二对象作为可回收对象；
[0030]物理删除所述存储系统中的可回收对象；及
[0031]对所述第一对象的第一元数据和/或所述第二对象的第二元数据进行信息更新。
[0032]可选地，通过比较所述第一对象和所述第二对象，确定所述第一对象和所述第二对象是否重复，还包括：
[0033]在所述第一对象和所述第二对象没有逐字节相同的情况下，确定所述第一对象和所述第二对象不重复。
[0034]可选地，获取所述第一对象标识关联的第一对象以及与所述第二对象标识关联的第二对象，包括：
[0035]通过所述第一对象标识，获取所述第一对象的第一元数据；
[0036]通过所述第二对象标识，获取所述第二对象的第二元数据；
[0037]其中，第一元数据用于在所述存储系统中定位所述第一对象，所述第二元数据用于定位所述第二对象，所述第二元数据包括所述第二对象在所述存储系统中的物理存储地址。
[0038]可选地，所述第一对象为已存储对象。
[0039]可选地，根据所述第一哈希值和所述第一对象标识，确定所述第一对象是否属于重复对象，包括：
[0040]检索与所述第一哈希值相同的第二哈希值，所述第二哈希值映射第二对象标识；
[0041]在没有检索到所述第二哈希值的情况下，确定所述第一对象不属于重复对象。
[0042]可选地，根据所述第一哈希值和所述第一对象标识，确定所述第一对象是否属于重复对象，包括：
[0043]检索与所述第一哈希值相同的第二哈希值，所述第二哈希值映射第二对象标识；
[0044]在检索到所述第二哈希值，且所述第一对象标识和所述第二对象标识不同的情况下，获取所述第一对象标识关联的第一对象以及与所述第二对象标识关联的第二对象；
[0045]通过比较所述第一对象和所述第二对象，确定所述第一对象和所述第二对象是否重复。
[0046]可选地，在确定所述第一对象属于重复对象的情况下，对所述第一对象或第二对象执行去重操作，包括：
[0047]在确定所述第一对象和所述第二对象重复的情况下，根据所述第一对象的生命周期信息和所述第二对象的生命周期信息，选择所述第一对象或所述第二对象作为可回收对象；
[0048]物理删除所述存储系统中的可回收对象；及
[0049]对所述第一对象的第一元数据和/或所述第二对象的第二元数据进行信息更新。
[0050]可选地，通过比较所述第一对象和所述第二对象，确定所述第一对象和所述第二对象是否重复，还包括：
[0051]在所述第一对象和所述第二对象没有逐字节相同的情况下，确定所述第一对象和所述第二对象不重复。
[0052]本申请实施例的另一个方面提供了一种对象去重装置，所述装置包括：
[0053]获取模块，用于获取第一对象的第一哈希值和第一对象标识；
[0054]确定模块，用于根据所述第一哈希值和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对象去重方法，其特征在于，所述方法包括：获取第一对象的第一哈希值和第一对象标识；根据所述第一哈希值和所述第一对象标识，确定所述第一对象是否属于重复对象；在确定所述第一对象属于重复对象的情况下，对所述第一对象或第二对象执行去重操作；其中，所述第二对象包括在存储系统中与所述第一对象重复的对象。2.根据权利要求1所述的方法，其特征在于，所述第一对象为待上传对象。3.根据权利要求2所述的方法，其特征在于，根据所述第一哈希值和所述第一对象标识，确定所述第一对象是否属于重复对象，包括：检索与所述第一哈希值相同的第二哈希值，所述第二哈希值映射第二对象标识；在未检索到所述第二哈希值的情况下，确定所述第一对象不属于重复对象；其中，在确定所述第一对象不属于重复对象的情况下，所述第一对象物理存储至所述存储系统中。4.根据权利要求2所述的方法，其特征在于，根据所述第一哈希值和所述第一对象标识，确定所述第一对象是否属于重复对象，包括：检索与所述第一哈希值相同的第二哈希值，所述第二哈希值映射第二对象标识；在检索到所述第二哈希值，且所述第一对象标识和所述第二对象标识相同的情况下，确定所述第一对象属于重复对象；其中，在确定所述第一对象属于重复对象的情况下，返回表示响应成功的消息。5.根据权利要求2所述的方法，其特征在于，根据所述第一哈希值和所述第一对象标识，确定所述第一对象是否属于重复对象，包括：检索与所述第一哈希值相同的第二哈希值，所述第二哈希值映射第二对象标识；在检索到所述第二哈希值，且所述第一对象标识和所述第二对象标识不同的情况下，物理存储所述第一对象；通过比较所述第一对象和所述第二对象，确定所述第一对象和所述第二对象是否重复。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：异步建立第一映射关系，所述第一映射关系表示所述第一对象标识和第一元数据的映射关系；其中，所述第一元数据包括所述第一对象在所述存储系统中的物理存储地址；异步建立第二映射关系，所述第二映射关系表示所述第一哈希值和所述第一对象标识的映射关系；对应地，通过比较所述第一对象和所述第二对象，确定所述第一对象和所述第二对象是否重复，包括：在所述第一哈希值和所述第二哈希值产生哈希碰撞，且所述第一对象标识和所述第二对象标识不相同的下，获取所述第一对象标识关联的第一对象以及与所述第二对象标识关联的第二对象；其中，所述第二哈希值和所述第二对象标识为映射关系；在所述第一对象和所述第二对象逐字节相同的情况下，确定所述第一对象和所述第二对象重复。7.根据权利要求6所述的方法，其特征在于，在确定所述第一对象属于重复对象的情况下，对所述第一对象或第二对象执行去重操作，包括：
在确定所述第一对象和所述第二对象重复的情况下，根据所述第一对象的生命周期信息和所述第二对象的生命周期信息，选择所述第一对象或所述第二对象作为可回收对象；物理删除所述存储系统中的可回收对象；及对所述第一对象的第一元数据和/或所述第二对象的第二元数据进行信息更新。8.根据权利要求6所述的方法，其特征在于，通过比较所述第一对象和所述第二对象，确定所述第一对象和所述第二对象...

【专利技术属性】
技术研发人员：刘易，
申请(专利权)人：上海哔哩哔哩科技有限公司，
类型：发明
国别省市：