一种元数据存储方法及系统技术方案

本申请公开了一种元数据存储方法及系统，其中，所述元数据存储方法针对元数据的修改单元一般较小的特性，根据接收的待修改元数据的存储参数生成元数据块，并存储于非易失性内存中；然后当非易失性内存中存储的元数据块总长度大于或等于预设长度时，将非易失性内存中存储的元数据块进行合并下盘的方式减少小块数据的随机写操作对下层存储介质(固态硬盘)的性能影响，从而实现提升固态硬盘的性能，并提升固态硬盘的使用寿命的目的。

Metadata storage method and system

The invention discloses a system and a method, metadata stored in the metadata storage method according to the characteristic of the small modification unit of the metadata, according to the storage parameters to generate metadata to modify receiving metadata, and stored in the non-volatile memory; then when the non easy metadata block total length of storage loss memory is equal to or greater than the preset length, the non loss storage of easy metadata block in the memory with the footwall way to reduce small chunks of data random write operations on the lower storage medium (SSD) performance, thereby enhancing the performance of SSD, and improve the service life of the ssd.

【技术实现步骤摘要】
一种元数据存储方法及系统
本申请涉及数据存储
，更具体地说，涉及一种元数据存储方法及系统。
技术介绍
随着固态硬盘(SolidStateDisk，SSD)技术的发展，固态硬盘在性能、寿命、可靠性及容量上已经达到了企业级别使用的程度，所以在近几年基于全闪存存储介质(例如固态硬盘)的全闪存阵列的研究如火如荼。固态硬盘相较于传统的机械磁盘主要有以下几个优点：1、固态硬盘的性能大大优于传统磁盘，企业级的固态硬盘的IO时延以及可以达到50μs以下，而企业级的磁盘的时延都在毫秒级别；2、固态硬盘由于不需要机械马达，所以其在运行时噪音小且耗电少；3、固态硬盘由于不存在机械设备，所以整盘损坏概率小；4、固态硬盘的可定制性高，可以在高密设备上应用。固态硬盘在应用过程中，数据块是不能直接修改写的，在进行数据块的修改写时，需要将修改写的数据块重新映射到新的存储区域进行存储，然后将之前存储的修改前的数据库无效掉，并等待垃圾回收进行处理。但是固态硬盘不耐擦写，频繁的擦写操作不仅会消耗掉固态硬盘的寿命，而且大量的小块随机写操作会加剧垃圾回收处理的频度，且垃圾回收存在数据搬迁，会影响固态硬盘对外能够提供的IO性能。如何减少对固态硬盘的小块随机写，以提升固态硬盘的性能，并提升固态硬盘的使用寿命，成为相关技术人员研究的重点。
技术实现思路
为解决上述技术问题，本专利技术提供了一种元数据存储方法及系统，以实现降低对固态硬盘的小块随机写的频度，提升固态硬盘的性能，并提升固态硬盘的使用寿命的目的。为实现上述技术目的，本专利技术实施例提供了如下技术方案：一种元数据存储方法，应用于全闪存阵列，所述元数据存储方法包括：接收待修改元数据；根据所述待修改元数据的存储参数生成元数据块；将所述元数据块写入所述全闪存阵列的非易失性内存中，并判断所述非易失性内存中存储的元数据块总长度是否大于或等于预设长度，如果是，则对所述非易失性内存中存储的元数据块进行下盘。可选的，所述待修改元数据的存储参数包括：修改模式、存储位置及修改值。可选的，还包括：每隔预设时间对所述全闪存阵列的下层存储介质中存储的元数据及元数据块进行全量备份。可选的，还包括：在对元数据及元数据块进行全量备份，且接收到待修改元数据时，根据所述待修改元数据的存储参数确定与所述待修改元数据关联的源元数据，并根据所述待修改元数据的存储参数对所述源元数据进行重定向写。可选的，所述每隔预设时间对所述全闪存阵列的下层存储介质中存储的元数据及元数据块进行全量备份包括：设置全量备份标签；从所述全闪存阵列中存储的元数据及元数据块的开始位置以固定长度的数据段将元数据写入所述全闪存阵列下层存储介质中，直至所述全闪存阵列中存储的所有元数据及元数据块全部下盘完成；取消所述全量备份标签。可选的，还包括：当所述全闪存阵列的节点出现故障时，读取历史最近一次全量备份的元数据及元数据块；对读取的元数据及元数据块进行完整性校验；当读取的元数据及元数据块完整时，以历史最近一次全量备份的起始时间点对元数据及元数据块进行重放，直至读取的所有的元数据及元数据块重放完成。一种元数据存储系统，应用于全闪存阵列，所述元数据存储系统包括：接收模块，用于接收待修改元数据；数据块生成模块，用于根据所述待修改元数据的存储参数生成元数据块；下盘模块，用于将所述元数据块写入所述全闪存阵列的非易失性内存中，并判断所述非易失性内存中存储的元数据块总长度是否大于或等于预设长度，如果是，则对所述非易失性内存中存储的元数据块进行下盘。可选的，所述待修改元数据的存储参数包括：修改模式、存储位置及修改值。可选的，还包括：全量备份模块，用于每隔预设时间对所述全闪存阵列的下层存储介质中存储的元数据及元数据块进行全量备份。可选的，还包括：重定向写模块，用于在对元数据及元数据块进行全量备份，且接收到待修改元数据时，根据所述待修改元数据的存储参数确定与所述待修改元数据关联的源元数据，并根据所述待修改元数据的存储参数对所述源元数据进行重定向写。可选的，所述全量备份模块包括：标签设置单元，用于设置全量备份标签；写入单元，用于从所述全闪存阵列中存储的元数据及元数据块的开始位置以固定长度的数据段将元数据写入所述全闪存阵列下层存储介质中，直至所述全闪存阵列中存储的所有元数据及元数据块全部下盘完成；标签取消单元，用于取消所述全量备份标签。可选的，还包括：数据恢复模块，用于当所述全闪存阵列的节点出现故障时，读取历史最近一次全量备份的元数据及元数据块；对读取的元数据及元数据块进行完整性校验；当读取的元数据及元数据块完整时，以历史最近一次全量备份的起始时间点对元数据及元数据块进行重放，直至读取的所有的元数据及元数据块重放完成。从上述技术方案可以看出，本专利技术实施例提供了一种元数据存储方法及系统，其中，所述元数据存储方法针对元数据的修改单元一般较小的特性，根据接收的待修改元数据的存储参数生成元数据块，并存储于非易失性内存中；然后当非易失性内存中存储的元数据块总长度大于或等于预设长度时，将非易失性内存中存储的元数据块进行合并下盘的方式减少小块数据的随机写操作对下层存储介质(固态硬盘)的性能影响，从而实现提升固态硬盘的性能，并提升固态硬盘的使用寿命的目的。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本申请的一个实施例提供的一种元数据存储方法的流程示意图；图2为本申请的另一个实施例提供的一种元数据存储方法的流程示意图；图3为本申请的又一个实施例提供的一种元数据存储方法的流程示意图；图4为本申请的一个优选实施例提供的一种元数据存储方法的流程示意图；图5为本申请的另一个优选实施例提供的一种元数据存储方法的流程示意图；图6为本申请的一个实施例提供的一种元数据存储系统的结构示意图；图7为本申请的另一个实施例提供的一种元数据存储系统的结构示意图；图8为本申请的又一个实施例提供的一种元数据存储系统的结构示意图；图9为本申请的一个优选实施例提供的一种元数据存储系统的结构示意图；图10为本申请的另一个优选实施例提供的一种元数据存储系统的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本申请实施例提供了一种元数据存储方法，如图1所示，应用于全闪存阵列，所述元数据存储方法包括：S101：接收待修改元数据；S102：根据所述待修改元数据的存储参数生成元数据块；S103：将所述元数据块写入所述全闪存阵列的非易失性内存中，并判断所述非易失性内存中存储的元数据块总长度是否大于或等于预设长度，如果是，则对所述非易失性内存中存储的元数据块进行下盘。需要说明的是，在存储系统中，所有描述存储数据属性、位置以及在IO栈各层需要的映射关系的数据都称为元数据。在全闪存阵列中，上层存储介质的地址是本文档来自技高网...

【技术保护点】
一种元数据存储方法，其特征在于，应用于全闪存阵列，所述元数据存储方法包括：接收待修改元数据；根据所述待修改元数据的存储参数生成元数据块；将所述元数据块写入所述全闪存阵列的非易失性内存中，并判断所述非易失性内存中存储的元数据块总长度是否大于或等于预设长度，如果是，则对所述非易失性内存中存储的元数据块进行下盘。

【技术特征摘要】
1.一种元数据存储方法，其特征在于，应用于全闪存阵列，所述元数据存储方法包括：接收待修改元数据；根据所述待修改元数据的存储参数生成元数据块；将所述元数据块写入所述全闪存阵列的非易失性内存中，并判断所述非易失性内存中存储的元数据块总长度是否大于或等于预设长度，如果是，则对所述非易失性内存中存储的元数据块进行下盘。2.根据权利要求1所述的方法，其特征在于，所述待修改元数据的存储参数包括：修改模式、存储位置及修改值。3.根据权利要求1所述的方法，其特征在于，还包括：每隔预设时间对所述全闪存阵列的下层存储介质中存储的元数据及元数据块进行全量备份。4.根据权利要求3所述的方法，其特征在于，还包括：在对元数据及元数据块进行全量备份，且接收到待修改元数据时，根据所述待修改元数据的存储参数确定与所述待修改元数据关联的源元数据，并根据所述待修改元数据的存储参数对所述源元数据进行重定向写。5.根据权利要求3所述的方法，其特征在于，所述每隔预设时间对所述全闪存阵列的下层存储介质中存储的元数据及元数据块进行全量备份包括：设置全量备份标签；从所述全闪存阵列中存储的元数据及元数据块的开始位置以固定长度的数据段将元数据写入所述全闪存阵列下层存储介质中，直至所述全闪存阵列中存储的所有元数据及元数据块全部下盘完成；取消所述全量备份标签。6.根据权利要求3所述的方法，其特征在于，还包括：当所述全闪存阵列的节点出现故障时，读取历史最近一次全量备份的元数据及元数据块；对读取的元数据及元数据块进行完整性校验；当读取的元数据及元数据块完整时，以历史最近一次全量备份的起始时间点对元数据及元数据块进行重放，直至读取的所有的元数据及元数据块重放完成。7.一种元数据存储系统，其特征在于，应用于全闪...

【专利技术属性】
技术研发人员：朱斌，张永峰，仇锋利，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41