一种元数据的处理方法和装置制造方法及图纸

本发明专利技术实施例提供一种元数据的处理方法，涉及数据处理技术领域，能够提高元数据的写入效率。所述方法包括：获取目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和，同时获取有效元数据数目；当所述目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和与所述有效元数据数目的比例超过设定的阈值时，删除所述目录文件存储的元数据操作，在所述目录文件的地址上连续存储所述有效元数据的添加操作；否则，将所述尚未存储到所述目录文件的元数据操作按照操作时序在所述目录文件的地址上连续存储。本发明专利技术实施例还提供相应的装置。

Method and device for processing metadata

The embodiment of the invention provides a method for processing metadata, which relates to the technical field of data processing and can improve the writing efficiency of metadata. The method includes: metadata operations to access the directory files stored in the number of monks not stored in the directory number of metadata operations of the file and, at the same time to obtain the effective number of metadata; metadata operation when the directory files stored in the number of monks not stored in the directory number of metadata operations and the file. The effective number of metadata ratio exceeds a threshold value, delete the directory metadata file storage, continuously stored in the directory file address on the valid metadata add operation; otherwise, the store has not yet to operate the metadata catalog file in accordance with the operation timing in the file directory address for storage. The embodiment of the invention also provides a corresponding device.

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及数据处理
，尤其涉及一种元数据的处理方法和装置。
技术介绍
计算机存储系统处理的数据包括两类:一类是用户使用的数据，即数据内容；另一类是存储系统用于管理数据的数据，即元数据。当对一个元数据进行操作时，需要在存储介质上存储该操作后的元数据。例如，当对一个元数据进行修改时，可以直接在存储介质上存储该元数据的地址上用修改后的元数据覆盖原来的元数据。但是这样操作会导致大量不必要的磁盘I/O (Input/Output，输入/输出)，最终会导致降低元数据写入效率。
技术实现思路
本专利技术实施例提供一种元数据的处理方法和装置，能够提高元数据的写入效率。为达到上述目的，本专利技术的实施例采用如下技术方案:本专利技术的一方面，提供一种元数据的处理方法，所述方法包括:获取目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和，同时获取有效元数据数目；当所述目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和与所述有效元数据数目的比例超过设定的阈值时，删除所述目录文件存储的元数据操作，在所述目录文件的地址上连续存储所述有效元数据的添加操作；当所述目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和与所述有效元数据数目的比例未超过设定的阈值时，将所述尚未存储到所述目录文件的元数据操作按照操作时序在所述目录文件的地址上连续存储。本专利技术另一方面，提供一种服务器，所述服务器包括: 处理单元，用于获取目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和，同时用于获取有效元数据数目；存储单元，用于当目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和与所述有效元数据数目的比例超过设定的阈值时，删除所述目录文件存储的元数据操作，在所述目录文件的地址上连续存储所述有效元数据的添加操作；或者，所述存储单元，用于当目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和与有效元数据数目的比例未超过设定的阈值时，将所述尚未存储到所述目录文件的元数据操作按照操作时序在所述目录文件的地址上连续存储。采用上述技术方案后，本专利技术实施例提供的元数据的处理方法和装置，一方面，由于在磁盘访问中，将元数据操作在目录文件地址连续地存储，另一方面，只需要将有效元数据以添加操作的方式将有效元数据的添加操作存储到目录文件，不会导致大量不必要的磁盘I/O。结合上述两个方面，可以提高元数据的写入效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种元数据的处理方法的流程图；图2为本专利技术实施例提供的元数据处理的示意图；图3为本专利技术实施例提供的元数据处理的示意图；图4为本专利技术实施例提供的服务器的一结构图。具体实施例方式下面将结合本专利技术实施例中的附图，对本专利技术实施例的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本专利技术保护的范围。图1是本专利技术实施例提供的一种元数据的处理方法的流程图。参照图1，本专利技术实施例提供一种元数据的处理方法，所述方法包括:11、获取目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和，同时获取有效元数据数目。生成元数据操作时，会将该元数据操作存储到目录文件中。本专利技术实施例中，元数据操作在目录文件的地址上连续存储。当生成元数据操作，尚未存储到目录文件时，获取目录文件中已经存储的元数据操作的数目和该已经生成但尚未存储到目录文件中的元数据操作数目之和。所述“有效元数据”在本专利技术实施例中是指，一个元数据经过元数据操作之后仍有实际意义的元数据。例如，元数据Ml在经过被修改为Ml’操作之后的有效元数据为Ml’。元数据Ml、M2，在经过删除Ml操作之后，在目录文件中存储元数据Ml删除操作，即“删除Ml’ ”，则元数据Ml、M2经过删除Ml操作后有效元数据为M2，当读取元数据时，根据元数据操作记录，认为该元数据已经删除。所述元数据操作至少包括元数据添加操作、元数据修改操作或元数据删除操作中的一种。本专利技术实施例以及后面的方法、装置实施例中提供的目录文件用来存储元数据操作，根据目录文件存储的元数据操作，可以解析出对应的元数据。12、当所述目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和与所述有效元数据数目的比例超过设定的阈值时，删除所述目录文件存储的元数据操作，在所述目录文件的地址上连续存储所述有效元数据的添加操作。在本专利技术实施例中，所述“设定的阈值”可根据需要进行设定，例如为200%、150%等，本专利技术对此不作限定。13、当所述目录文件存储的元数据操作的数目和尚未存储到所述目录文件的元数据操作的数目之和与所述有效元数据数目的比例未超过设定的阈值时，将所述尚未存储到所述目录文件的元数据操作按照操作时序在所述目录文件的地址上连续存储。进一步地，所述将所述尚未存储到所述目录文件的元数据操作按照操作时序在所述目录文件的地址上连续存储具体包括:将所述尚未存储到所述目录文件的元数据操作按照操作时序以追加写的方式在所述目录文件的地址上连续存储。本专利技术实施中按照元数据操作时序是指按照元数据操作结果发生的先后顺序。以追加写的方式在目录文件的地址上连续存储是指在目录文件当前存储的最后一个元数据操作的地址的下一个地址上连续存储元数据操作。所述元数据操作可包括元数据添加操作、元数据修改操作和元数据删除操作。其中，元数据添加操作时，在目录文件中存储一个新的元数据添加操作，并将添加的元数据写入目录文件；元数据修改操作时，在目录文件中存储一个元数据修改操作，并将修改后的元数据写入目录文件；删除一个元数据时，在目录文件中存储一个元数据删除操作。本专利技术实施例提供的元数据的处理方法，一方面，由于在磁盘访问中，元数据操作是地址连续的存储到目录文件的；另一方面，只需要以添加操作的方式将有效元数据的添加操作存储到目录文件，不会导致大量不必要的磁盘I/O。结合上述两个方面，可以提高元数据的写入效率。下面结合图2至图3对本专利技术实施例进行进一步说明。首先参照图2，图2中的MO、Ml、M2、M3和M4表示元数据，由图2可知，首先，在目录文件存储了添加元数据MO的操作，即“添加MO”，然后在存储添加元数据MO的操作的下一个地址存储添加元数据Ml操作，同理依次存储了添加元数据M2、M3、M4操作。修改元数据M3时，并不直接在元数据M3的位置将其修改成M3 ’，而是在存储添加元数据M4操作之后的下一个地址存储将元数据M3修改成M3’的元数据修改操作，即“修改M3’”。删除元数据M2时，在存储“修改M3’ ”的下一个地址存储删除元数据M2操作，即“删除M2”。添加元数据M5时，在存储“删除M2”地址的下一个地址存储添加元数据M5操作，即存本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】

【专利技术属性】
技术研发人员：何静波，
申请(专利权)人：华为技术有限公司，
类型：
国别省市：