System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于分布式对象存储的数据存储方法、装置以及电子设备制造方法及图纸_技高网

基于分布式对象存储的数据存储方法、装置以及电子设备制造方法及图纸

技术编号:44411752 阅读:1 留言:0更新日期:2025-02-25 10:25
本申请涉及一种基于分布式对象存储的数据存储方法、装置以及电子设备。该方法包括:在接收到目标用户的目标存储请求的情况下,根据所述目标存储请求获取所要存储的目标数据;将所述目标数据存储到数据节点的一个目标存储体中的一个目标存储块中,其中,所述数据节点包括多个存储体,每一个所述存储体包括多个存储块;生成所述目标数据在所述目标存储体中的唯一对象标识,其中,所述目标存储体中记录有所述唯一对象标识与存储块的对应关系;存储所述目标存储体的存储体唯一标识、所述唯一对象标识与所述目标用户的唯一用户标识之间的对应关系。本申请解决了分布式对象存储中,存储空间资源浪费的技术问题。

【技术实现步骤摘要】

本申请涉及数据存储领域,尤其涉及一种基于分布式对象存储的数据存储方法、装置以及电子设备


技术介绍

1、现有技术中,对于分布式对象存储,通常为数据节点将数据存储到数据块block中,然后,生成数据块block的唯一标识block id,和数据对象object的唯一对象标识object id,将block id和object id存储到元数据节点,以使用户通过block id和objectid来查找数据。

2、然而,采用上述方法,随着block会越来越多,占用的逻辑空间越来越大,但block存储的数据可能并不多。而且,由于block id和object id都存储在了元数据节点,因此,block无法进行合并,造成了存储空间的资源浪费。


技术实现思路

1、本申请提供了一种基于分布式对象存储的数据存储方法、装置、存储介质以及电子设备,以解决分布式对象存储中,存储空间资源浪费的技术问题。

2、第一方面,本申请提供了一种基于分布式对象存储的数据存储方法,包括:在接收到目标用户的目标存储请求的情况下,根据上述目标存储请求获取所要存储的目标数据;将上述目标数据存储到数据节点的一个目标存储体中的一个目标存储块中,其中,上述数据节点包括多个存储体,每一个上述存储体包括多个存储块;生成上述目标数据在上述目标存储体中的唯一对象标识,其中,上述目标存储体中记录有上述唯一对象标识与存储块的对应关系;存储上述目标存储体的存储体唯一标识、上述唯一对象标识与上述目标用户的唯一用户标识之间的对应关系。

3、第二方面,本申请提供了一种基于分布式对象存储的数据存储装置,包括:获取模块,用于在接收到目标用户的目标存储请求的情况下,根据上述目标存储请求获取所要存储的目标数据;处理模块,用于将上述目标数据存储到数据节点的一个目标存储体中的一个目标存储块中,其中,上述数据节点包括多个存储体,每一个上述存储体包括多个存储块;生成模块,用于生成上述目标数据在上述目标存储体中的唯一对象标识,其中,上述目标存储体中记录有上述唯一对象标识与存储块的对应关系;存储模块,用于存储上述目标存储体的存储体唯一标识、上述唯一对象标识与上述目标用户的唯一用户标识之间的对应关系。

4、作为一种可选的示例,上述获取模块包括:确定单元,用于在上述目标存储请求所请求存储的第一数据的数据大小大于预定阈值的情况下,将上述第一数据拆分为多个上述目标数据,其中,每一个上述目标数据的数据大小小于或等于上述预定阈值;在上述第一数据的数据大小小于或等于上述预定阈值的情况下,将上述第一数据确定为上述目标数据。

5、作为一种可选的示例,上述处理模块包括:分配单元,用于每将一个所述目标数据存储到所述目标存储体中的任意一个存储块之后,获取标识参数的参数值为所述目标数据的所述唯一对象标识,并将所述标识参数的参数值自增1,所述标识参数为设有初始值的用于分配对象标识的参数;将所述目标数据存储到的存储块的唯一存储块标识与所述唯一对象标识的绑定关系存储到所述目标存储体中。

6、作为一种可选的示例,上述处理模块还包括:合并单元,用于在将上述目标数据存储到的存储块的唯一存储块标识与上述唯一对象标识的绑定关系存储到上述目标存储体中之后,在上述目标存储体中的多个存储块符合预设合并条件的情况下,将上述多个存储块合并为一个存储块;将上述多个存储块中的上述唯一对象标识的绑定关系调整为与合并后的上述一个存储块绑定。

7、作为一种可选的示例,上述合并单元包括:合并子单元,用于在上述目标存储体中的多个存储块存储的数据的总大小小于一个存储块的总存储空间大小的情况下,将上述多个存储块合并为一个存储块;或在上述目标存储体中的多个存储块在预定时长内的访问次数小于访问阈值且上述多个存储块存储的数据的总大小小于一个存储块的总存储空间大小的情况下,将上述多个存储块合并为一个存储块。

8、作为一种可选的示例,上述存储模块包括:存储单元,用于将上述唯一用户标识确定为键值对中的键,将上述目标存储体的存储体唯一标识和上述唯一对象标识确定为键值对的值;将上述键值对存储到元数据节点中。

9、作为一种可选的示例,上述装置还包括:查找模块,用于在将上述键值对存储到元数据节点中之后,在接收到上述目标用户的数据访问请求的情况下,从上述数据访问请求中获取上述唯一用户标识;根据上述唯一用户标识从上述元数据节点中查询到上述存储体唯一标识和上述唯一对象标识;根据上述存储体唯一标识确定上述目标存储体;根据上述唯一对象标识从上述目标存储体中确定出上述目标存储块;将上述目标存储块中的上述目标数据发送给上述目标用户。

10、第三方面,本申请提供了一种电子设备,包括:至少一个通信接口;与上述至少一个通信接口相连接的至少一个总线;与上述至少一个总线相连接的至少一个处理器;与上述至少一个总线相连接的至少一个存储器,其中,上述存储器存储有计算机程序,上述处理器被配置为执行上述计算机程序时实现上述任一项上述的基于分布式对象存储的数据存储方法。

11、第四方面,本申请还提供了一种计算机存储介质,存储有计算机可执行指令,上述计算机可执行指令用于执行本申请上述任一项上述的基于分布式对象存储的数据存储方法。

12、本申请实施例提供的上述技术方案与现有技术相比具有如下优点:本申请实施例提供的该方法,从而在分布式对象存储中,在block上层添加存储体volumn层,一个volumn包括了多个block,在将数据存储到block后,在volumn中存储唯一对象标识和block的关系,并存储唯一用户标识、唯一对象标识和存储体唯一标识的对应关系,从而用户无需关心数据到底存储到了哪一个block,可以根据唯一用户标识来查找存储体唯一标识和唯一对象标识,再根据存储体唯一标识查找到volume,在volume内根据唯一对象标识来查找具体的block来获取数据即可。因此采用本方法的框架无需记录block和唯一用户标识的关系,对于block提供了可以合并的支持,可以减少存储空间资源的浪费问题。

本文档来自技高网...

【技术保护点】

1.一种基于分布式对象存储的数据存储方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述在接收到目标用户的目标存储请求的情况下,根据所述目标存储请求获取所要存储的目标数据包括:

3.根据权利要求1所述的方法,其特征在于,所述生成所述目标数据在所述目标存储体中的唯一对象标识包括:

4.根据权利要求3所述的方法,其特征在于,在将所述目标数据存储到的存储块的唯一存储块标识与所述唯一对象标识的绑定关系存储到所述目标存储体中之后,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述在所述目标存储体中的多个存储块符合预设合并条件的情况下,将所述多个存储块合并为一个存储块包括:

6.根据权利要求1所述的方法,其特征在于,所述存储所述目标存储体的存储体唯一标识、所述唯一对象标识与所述目标用户的唯一用户标识之间的对应关系包括:

7.根据权利要求6所述的方法,其特征在于,在将所述键值对存储到元数据节点中之后,所述方法还包括:

8.一种基于分布式对象存储的数据存储装置,其特征在于,包括:

9.一种电子设备,其特征在于,包括:至少一个通信接口;与所述至少一个通信接口相连接的至少一个总线;与所述至少一个总线相连接的至少一个处理器;与所述至少一个总线相连接的至少一个存储器,其中,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求1至7任意一项中所述的方法。

10.一种计算机可读的存储介质,所述存储介质存储有计算机可执行指令,所述计算机可执行指令用于执行本申请上述权利要求1至7任一项所述的方法。

...

【技术特征摘要】

1.一种基于分布式对象存储的数据存储方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述在接收到目标用户的目标存储请求的情况下,根据所述目标存储请求获取所要存储的目标数据包括:

3.根据权利要求1所述的方法,其特征在于,所述生成所述目标数据在所述目标存储体中的唯一对象标识包括:

4.根据权利要求3所述的方法,其特征在于,在将所述目标数据存储到的存储块的唯一存储块标识与所述唯一对象标识的绑定关系存储到所述目标存储体中之后,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述在所述目标存储体中的多个存储块符合预设合并条件的情况下,将所述多个存储块合并为一个存储块包括:

6.根据权利要求1所述的方法,其特征在于,所述存储所述目标存...

【专利技术属性】
技术研发人员:张丞
申请(专利权)人:北京金山云网络技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1