System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据存储方法、装置、设备及介质制造方法及图纸_技高网

数据存储方法、装置、设备及介质制造方法及图纸

技术编号:44825278 阅读:3 留言:0更新日期:2025-03-28 20:16
本公开涉及一种数据存储方法、装置、设备及介质。其中,数据存储方法包括:接收用户端发送的数据写入指令,确定数据写入指令对应的第一数据的数据长度;基于数据长度从预设的列表中确定数据存储块中用于存储第一数据的目标位置,预设的列表是用于记录数据存储块中可复用空位的列表;执行与数据写入指令对应的写入操作,将第一数据写入目标位置,由此,能够在数据存储快中设置预设的列表记录可复用空位,并在执行数据写入指令时,复用记录的数据存储块中可复用空位的物理位置,进而大大降低了垃圾回收的比例,减少了垃圾回收过程中的读写操作,同时提高了磁盘的寿命。

【技术实现步骤摘要】

本公开涉及数据处理,尤其涉及一种数据存储方法、装置、设备及介质


技术介绍

1、分布式存储集群通常由若干个服务器组成,其中,分布式存储集群中的每个分布式存储数据节点对应一个服务器,每个数据节点即服务器中包含至少一个磁盘,每个磁盘上的每个数据集合分片被称为数据存储块即block,每个数据存储块中可以包含多个对象即object,对于每一个对象而言,当该对象从其所在的数据存储块中被删除后,该对象被确定为无效对象,由于无效对象已经被删除,但无效对象所对应的空位仍占用数据存储块中的物理空间,进而造成系统垃圾率高的问题。

2、因此,为了维持系统较低的垃圾率,则需要频繁地执行垃圾回收操作,以此来释放无效对象所对应的空位在数据存储块中所占的物理空间,然而,在频繁地执行垃圾回收操作时,需要执行大量的读写操作,这样对磁盘造成的读写放大是不可控的,同时也大大降低了磁盘的寿命。


技术实现思路

1、为了解决上述技术问题,本公开提供了一种数据存储方法、装置、设备及介质。

2、本公开实施例的第一方面提供了一种数据存储方法,应用于分布式存储集群中的任意一个数据节点,数据节点中包括至少一个数据存储块,至少一个数据存储块具有空位复用功能,包括:

3、接收用户端发送的数据写入指令,确定数据写入指令对应的第一数据的数据长度;

4、基于数据长度从预设的列表中确定数据存储块中用于存储第一数据的目标位置,预设的列表是用于记录数据存储块中可复用空位的列表;

5、执行与数据写入指令对应的写入操作,将第一数据写入目标位置。

6、本公开实施例的第二方面提供了一种数据存储装置,应用于分布式存储集群中的任意一个数据节点,数据节点中包括至少一个数据存储块,至少一个数据存储块具有空位复用功能,包括:

7、第一确定模块,用于接收用户端发送的数据写入指令,确定数据写入指令对应的第一数据的数据长度;

8、第二确定模块,用于基于数据长度从预设的列表中确定数据存储块中用于存储第一数据的目标位置,预设的列表是用于记录数据存储块中可复用空位的列表;

9、指令执行模块,用于执行与数据写入指令对应的写入操作,将第一数据写入目标位置。

10、本公开实施例的第三方面提供了一种电子设备,包括:

11、处理器;

12、存储器,用于存储可执行指令;

13、其中,处理器用于从存储器中读取可执行指令,并执行可执行指令以实现上述第一方面提供的数据存储方法。

14、本公开实施例的第四方面提供了一种计算机可读存储介质,该存储介质存储有计算机程序,当计算机程序被处理器执行时,使得处理器实现上述第一方面提供的数据存储方法。

15、本公开实施例的第五方面提供了一种车辆,该车辆包括第三方面提供的电子设备。

16、本公开实施例提供的技术方案与现有技术相比具有如下优点:

17、本公开实施例提供的数据存储方法、装置、设备及介质,能够接收用户端发送的数据写入指令,确定数据写入指令对应的第一数据的数据长度,基于数据长度从预设的列表中确定数据存储块中用于存储第一数据的目标位置,预设的列表是用于记录数据存储块中可复用空位的列表,执行与数据写入指令对应的写入操作,将第一数据写入目标位置,由此,能够在数据存储快中设置预设的列表记录可复用空位,并在执行数据写入指令时,复用记录的数据存储块中可复用空位的物理位置,在不影响前台即用户端发送的读写指令的读写性能的情况下,进而大大降低了垃圾回收的比例,减少了垃圾回收过程中的读写操作,同时提高了磁盘的寿命。

本文档来自技高网...

【技术保护点】

1.一种数据存储方法,其特征在于,应用于分布式存储集群中的任意一个数据节点,所述数据节点中包括至少一个数据存储块,所述至少一个数据存储块具有空位复用功能,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述数据长度从预设的列表中确定所述数据存储块中用于存储所述第一数据的目标位置,包括:

3.根据权利要求2所述的方法,其特征在于,在所述目标可复用空位的数量有多个时,所述基于所述目标可复用空位对应的位置确定用于存储所述第一数据的目标位置,包括:

4.根据权利要求1所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,在所述将所述第二数据对应的偏移位置和所述第二数据的数据长度记录至所述预设的列表中之后,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,在所述将所述第一数据写入所述目标位置之后,所述方法还包括:

7.根据权利要求1所述的方法,其特征在于,所述方法还包括:

8.一种数据存储装置,其特征在于,应用于分布式存储集群中的任意一个数据节点,所述数据节点中包括至少一个数据存储块,所述至少一个数据存储块具有空位复用功能,包括:

9.一种电子设备,其特征在于,包括:

10.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,当所述计算机程序被处理器执行时,使得处理器实现上述权利要求1-7中任一项所述的数据存储方法。

...

【技术特征摘要】

1.一种数据存储方法,其特征在于,应用于分布式存储集群中的任意一个数据节点,所述数据节点中包括至少一个数据存储块,所述至少一个数据存储块具有空位复用功能,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述数据长度从预设的列表中确定所述数据存储块中用于存储所述第一数据的目标位置,包括:

3.根据权利要求2所述的方法,其特征在于,在所述目标可复用空位的数量有多个时,所述基于所述目标可复用空位对应的位置确定用于存储所述第一数据的目标位置,包括:

4.根据权利要求1所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,在所述将所述第二数据对应的偏移位置和所述第...

【专利技术属性】
技术研发人员:张丞
申请(专利权)人:北京金山云网络技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1