节点数据压缩方法、装置、存储介质和电子设备制造方法及图纸

本发明专利技术公开了一种节点数据压缩方法、装置、存储介质和电子设备。该方法包括：获取节点上数据分片的对象列表文件和存储文件；通过一次读取从对象列表文件中读取第一目标大小的第一对象元数据；对第一对象元数据进行整合，得到有效的第二对象元数据；根据第二对象元数据从存储文件中的第一对象数据中确定出目标对象数据，其中，第一对象数据为从存储文件中读取的对象数据；保留目标对象数据与第二对象元数据。本发明专利技术解决了对节点上的节点数据进行压缩的过程中，由于频繁的读写降低数据压缩的效率的技术问题。效率的技术问题。效率的技术问题。

【技术实现步骤摘要】
节点数据压缩方法、装置、存储介质和电子设备


[0001]本专利技术涉及计算机领域，具体而言，涉及一种节点数据压缩方法、装置、存储介质和电子设备。

技术介绍

[0002]现有技术中，在对节点上的节点数据压缩过程中，需要对每一个数据分片中的数据进行频繁的读取或写入。然而，频繁的读取和写入会造成磁头的频繁偏移及更高的cpu负载，从而提高系统写入失败率，降低了数据压缩的效率。

技术实现思路

[0003]本专利技术实施例提供了一种节点数据压缩方法、装置、存储介质和电子设备，以至少解决对节点上的节点数据进行压缩的过程中，由于频繁的读写降低数据压缩的效率的技术问题。
[0004]根据本专利技术实施例的第一方面，提供了一种节点数据压缩方法，包括：获取节点上数据分片的对象列表文件和存储文件，其中，上述对象列表文件中记录有上述数据分片中所有对象的对象元数据，上述对象元数据包括对象的对象数据在上述存储文件中的偏移和长度，上述存储文件存储有上述所有对象的对象数据；通过一次读取从上述对象列表文件中读取第一目标大小的第一对象元数据；对上述第一对象元数据进行整合，得到有效的第二对象元数据；根据上述第二对象元数据从上述存储文件中的第一对象数据中确定出目标对象数据，其中，上述第一对象数据为从上述存储文件中读取的对象数据；保留上述目标对象数据与上述第二对象元数据。
[0005]根据本专利技术实施例的另一方面，提供了一种节点数据压缩装置，包括：获取单元，用于获取节点上数据分片的对象列表文件和存储文件，其中，上述对象列表文件中记录有上述数据分片中所有对象的对象元数据，上述对象元数据包括对象的对象数据在上述存储文件中的偏移和长度，上述存储文件存储有上述所有对象的对象数据；读取单元，用于通过一次读取从上述对象列表文件中读取第一目标大小的第一对象元数据；整合单元，用于对上述第一对象元数据进行整合，得到有效的第二对象元数据；确定单元，用于根据上述第二对象元数据从上述存储文件中的第一对象数据中确定出目标对象数据，其中，上述第一对象数据为从上述存储文件中读取的对象数据；处理单元，用于保留上述目标对象数据与上述第二对象元数据。
[0006]作为一种可选的实施方式，上述处理单元包括：第一写入模块，用于通过一次写入将上述第二对象元数据写入到目标对象列表文件中，且通过一次写入将上述目标对象数据写入到目标存储文件中。
[0007]作为一种可选的实施方式，上述处理单元还包括：组合模块，用于在通过一次写入将上述第二对象元数据写入到目标对象列表文件中，且通过一次写入将上述目标对象数据写入到目标存储文件中之前，在上述目标对象数据包括多个的情况下，将多个上述目标对
象数据按照读取的先后顺序组合为新的上述目标对象数据。
[0008]作为一种可选的实施方式，上述处理单元还包括：替换模块，用于在通过一次写入将上述第二对象元数据写入到目标对象列表文件中，且通过一次写入将上述目标对象数据写入到目标存储文件中之后，使用上述目标对象列表文件替换上述对象列表文件且使用上述目标存储文件替换上述存储文件。
[0009]作为一种可选的实施方式，上述处理单元还包括：保存模块，用于在通过一次写入将上述第二对象元数据写入到目标对象列表文件中，且通过一次写入将上述目标对象数据写入到目标存储文件中之后，将上述第一对象元数据与上述第一对象数据保存在内存中。
[0010]作为一种可选的实施方式，上述处理单元还包括：同步模块，用于在通过一次写入将上述第二对象元数据写入到目标对象列表文件中，且通过一次写入将上述目标对象数据写入到目标存储文件中时，在接收到写入指令的情况下，将上述写入指令所指示的数据同步写入到上述目标存储文件中。
[0011]作为一种可选的实施方式，上述处理单元包括：第一确定模块，用于确定上述第一对象数据中除上述目标对象数据之外的第二对象数据；删除模块，用于将上述存储文件中的上述第二对象数据删除；第二写入模块，用于通过一次写入将上述第二对象元数据写入到目标对象列表文件中。
[0012]作为一种可选的实施方式，上述确定单元包括：查找模块，用于从上述第二对象元数据中查找上述第一对象数据的删除记录；第二确定模块，用于将未查找到上述删除记录的第一对象数据确定为上述目标对象数据。
[0013]根据本专利技术实施例的又一方面，还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述节点数据压缩方法。
[0014]根据本专利技术实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过上述计算机程序执行上述的节点数据压缩方法。
[0015]在本专利技术实施例中，采用了获取节点上数据分片的对象列表文件和存储文件，其中，上述对象列表文件中记录有上述数据分片中所有对象的对象元数据，上述对象元数据包括对象的对象数据在上述存储文件中的偏移和长度，上述存储文件存储有上述所有对象的对象数据；通过一次读取从上述对象列表文件中读取第一目标大小的第一对象元数据；对上述第一对象元数据进行整合，得到有效的第二对象元数据；根据上述第二对象元数据从上述存储文件中的第一对象数据中确定出目标对象数据，其中，上述第一对象数据为从上述存储文件中读取的对象数据；保留上述目标对象数据与上述第二对象元数据的方法，由于在上述方法中，在对节点的节点数据进行压缩的过程中，可以一次性的从对象列表文件中读取第一目标大小的第一对象元数据，通过对第一对象元数据进行整合后的第二对象元数据从存储文件中读取目标对象数据，因此，不需要频繁的对节点的节点数据进行读写，降低了CPU和磁头的负担，降低了系统写入失败率，提高了数据压缩的效率。
附图说明
[0016]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0017]图1是根据本专利技术实施例的一种可选的节点数据压缩方法的流程图；
[0018]图2是根据本专利技术实施例的一种可选的节点数据压缩方法的对象转移示意图；
[0019]图3是根据本专利技术实施例的一种可选的节点数据压缩方法的对象删除示意图；
[0020]图4是根据本专利技术实施例的一种可选的节点数据压缩装置的结构示意图。
具体实施方式
[0021]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0022]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种节点数据压缩方法，其特征在于，包括：获取节点上数据分片的对象列表文件和存储文件，其中，所述对象列表文件中记录有所述数据分片中所有对象的对象元数据，所述对象元数据包括对象的对象数据在所述存储文件中的偏移和长度，所述存储文件存储有所述所有对象的对象数据；通过一次读取从所述对象列表文件中读取第一目标大小的第一对象元数据；对所述第一对象元数据进行整合，得到有效的第二对象元数据；根据所述第二对象元数据从所述存储文件中的第一对象数据中确定出目标对象数据，其中，所述第一对象数据为从所述存储文件中读取的对象数据；保留所述目标对象数据与所述第二对象元数据。2.根据权利要求1所述的方法，其特征在于，所述保留所述目标对象数据与所述第二对象元数据包括：通过一次写入将所述第二对象元数据写入到目标对象列表文件中，且通过一次写入将所述目标对象数据写入到目标存储文件中。3.根据权利要求2所述的方法，其特征在于，在通过一次写入将所述第二对象元数据写入到目标对象列表文件中，且通过一次写入将所述目标对象数据写入到目标存储文件中之前，所述方法还包括：在所述目标对象数据包括多个的情况下，将多个所述目标对象数据按照读取的先后顺序组合为新的所述目标对象数据。4.根据权利要求2所述的方法，其特征在于，在通过一次写入将所述第二对象元数据写入到目标对象列表文件中，且通过一次写入将所述目标对象数据写入到目标存储文件中之后，所述方法还包括：使用所述目标对象列表文件替换所述对象列表文件且使用所述目标存储文件替换所述存储文件。5.根据权利要求2至4任意一项所述的方法，其特征在于，在通过一次写入将所述第二对象元数据写入到目标对象列表文件中，且通过一次写入将所述目标对象数据写入到目标存储文件中之后，所述方法还包括：将所述第一对象元数据与所述第一对象数据保存在内存中。6.根据权利要求2至4任意一项所述的方法，其特征在于，在通过一次写入将所述第二对象元数据写入到目标对...

【专利技术属性】
技术研发人员：张丞，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：