对象元数据聚合方法、读取方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了对象元数据聚合方法、读取方法、装置、设备及存储介质，对象元数据聚合方法，包括：配置元数据聚合的对象个数N和元数据聚合开关；根据元数据聚合开关判断是否启动存储桶元数据聚合扫描线程；如果启动元数据聚合扫描线程，则对每一个桶索引分片，按照设置的对象个数N进行元数据聚合后存储到桶索引分片上，否则结束。在元数据聚合线程中对每个存储桶内的索引分片进行扫描，将多个对象元数据信息进行聚合成一条数据，保存在桶索引分片中，能够提高故障恢复的重构速度和站点间的同步速度。

【技术实现步骤摘要】
对象元数据聚合方法、读取方法、装置、设备及存储介质
本专利技术涉及对象元数据的存储
，尤其涉及一种对象元数据聚合方法、读取方法、装置、设备及存储介质。
技术介绍
在大数据时代，对象存储服务(ObjectStorageService，OSS)是一种新兴的海量、安全、低成本、高可靠的云存储服务，适合存放非结构化的数据，例如：视频，图片，文档等。上述非结构化数据的一大特点就是数据量大，产生的元数据也越来越大。元数据是关于数据的数据，是对象的重要信息。对象落盘存储后，越来越多的对象元数据进行操作，在很多场景下，例如重构，同步等过程中，逐渐成为性能的瓶颈点。针对上述问题，行业内目前的方案是通过提高SSD容量提升元数据的读写速度，但是该解决方案不能从根本上解决元数据导致的性能瓶颈问题。
技术实现思路
本专利技术的目的就是为了解决上述问题，提供一种对象元数据聚合方法、读取方法、装置、设备及存储介质，通过对每个桶索引分片上的元数据信息进行聚合存储的方法，提高了数据重构和数据同步的速度，有利于在故障恢复和多站点场景下的性能优化。为了实现上述目的，本专利技术采用如下技术方案：一种对象元数据聚合方法，包括：配置元数据聚合的对象个数N和元数据聚合开关；根据元数据聚合开关判断是否启动存储桶元数据聚合扫描线程；如果启动元数据聚合扫描线程，则对每一个桶索引分片，按照设置的对象个数N进行元数据聚合后存储到桶索引分片上，否则结束。存储服务开启时，立即根据元数据聚合开关判断是否启动存储桶元数据聚合扫描线程。启动元数据聚合扫描线程后，扫描线程在设定的时间段内，扫描每一个存储桶的桶索引分片。进行元数据聚合时，对于K1-V1,K2-V2,…,KN-VN,N个对象的元数据，组织成一个新的K-V结构：(K1,K2,…KN)-(V1,V2…VN)存储到桶索引分片上。数据聚合以后，删除原有元数据信息。一种对象元数据聚合的读取方法，对象元数据采用所述一种对象元数据聚合方法进行聚合，当需要读写已经聚合后的对象元数据时，首先需要读取存储桶的索引分片信息，然后逐步找到对应对象的元数据信息。一种对象元数据聚合装置，包括：配置模块，用于配置元数据聚合的对象个数N和元数据聚合开关；判断模块，用于根据元数据聚合开关判断是否启动存储桶元数据聚合扫描线程；执行模块，如果启动元数据聚合扫描线程，则对每一个桶索引分片，按照设置的对象个数N进行元数据聚合后存储到桶索引分片上，否则结束。一种设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述一种对象元数据聚合方法的步骤。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种对象元数据聚合方法的步骤。本专利技术的有益效果：通过对每个桶索引分片上的元数据信息进行聚合存储的方法，提高了数据重构和数据同步的速度，有利于在故障恢复和多站点场景下的性能优化。本专利技术重新规划了元数据的存储方式，减少了单个桶索引分片的大小。提升了故障恢复时的重构速度和站点间的同步速度。附图说明图1为存储桶内对象的元数据聚合过程。具体实施方式下面结合附图与实施例对本专利技术作进一步说明。一般来说：针对存储桶，每个存储桶有多个索引分片，对象的元数据通过哈希计算存储在各个索引分片上。随着桶内对象越来越多，达到上亿级别，每个桶索引分片上记录的对象元数据信息就会越来越多。元数据越来越大，会导致故障恢复时重构速度变慢(集群故障后，恢复时会对存储的数据和元数据进行重构，数据和元数据越多，数据量越大，重构的速度就越慢)、会影响站点间的同步速度(站点间的同步，需要同步数据和元数据，数据和元数据越多，数据量越大，同步速度就越慢)。因此本设计方案致力于重新规划元数据的存储方式，减少单个桶索引分片的大小。提升故障恢复时的重构速度和站点间的同步速度。本专利技术将同一桶索引分片上的元数据信息(以Key-Value的格式存储在桶索引分片中)，按照配置的对象个数(可以通过配置文件进行配置)进行聚合，重新聚合成一个大的Key-Value，存储在桶索引分片中。聚合前，每个对象的元数据信息都是以单独的Key-Value格式，存储在桶索引分片中；聚合后，多个对象(配置文件中的配置个数)的元数据信息以聚合后的一个总的Key-Value格式存储在桶索引分片中。具体方法为：一种对象元数据聚合方法，包括：用户配置元数据聚合的对象个数N。对每一个桶索引分片，按照设置的对象个数N，进行元数据聚合，即每N个对象进行元数据聚合，组成一条Key-Value信息，存储在桶索引分片中。具体聚合的过程为：对于K1-V1,K2-V2,…,KN-VN等N个对象的元数据，按照一定的规则方式组织成一个新的K-V结构：(K1,K2,…KN)-(V1,V2…VN)；减少桶索引分片中的信息条数。存储桶内对象的元数据聚合过程：如图1所示，存储服务开启时，会根据元数据聚合开关(可通过配置项进行设置)，决定是否启动存储桶元数据聚合扫描线程。扫描线程在设定的时间段内，扫描每一个存储桶的桶索引分片，根据设定的聚合对象个数N(可通过配置项进行设置)，每N个对象元数据的K1-V1,K2-V2,…,KN-VN信息，进行聚合处理成新的K-V结构记录进桶索引分片中。本专利技术通过设置对象元数据聚合的相关配置，在元数据聚合线程中对每个存储桶内的索引分片进行扫描，将多个对象元数据信息进行聚合成一条数据，保存在桶索引分片中。一种对象元数据聚合的读取方法，对象元数据采用所述一种对象元数据聚合方法进行聚合，当需要读写已经聚合后的对象元数据时，首先需要读取存储桶的索引分片信息，然后逐步找到对应对象的元数据信息。一种对象元数据聚合装置，包括：配置模块，用于配置元数据聚合的对象个数N和元数据聚合开关；判断模块，用于根据元数据聚合开关判断是否启动存储桶元数据聚合扫描线程；执行模块，如果启动元数据聚合扫描线程，则对每一个桶索引分片，按照设置的对象个数N进行元数据聚合后存储到桶索引分片上，否则结束。一种设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述一种对象元数据聚合方法的步骤。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种对象元数据聚合方法的步骤。上述虽然结合附图对本专利技术的具体实施方式进行了描述，但并非对本专利技术保护范围的限制，所属领域技术人员应该明白，在本专利技术的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本专利技术的保护范围以内。本文档来自技高网...

【技术保护点】
1.一种对象元数据聚合方法，其特征在于，包括：/n配置元数据聚合的对象个数N和元数据聚合开关；/n根据元数据聚合开关判断是否启动存储桶元数据聚合扫描线程；/n如果启动元数据聚合扫描线程，则对每一个桶索引分片，按照设置的对象个数N进行元数据聚合后存储到桶索引分片上，否则结束。/n

【技术特征摘要】
1.一种对象元数据聚合方法，其特征在于，包括：
配置元数据聚合的对象个数N和元数据聚合开关；
根据元数据聚合开关判断是否启动存储桶元数据聚合扫描线程；
如果启动元数据聚合扫描线程，则对每一个桶索引分片，按照设置的对象个数N进行元数据聚合后存储到桶索引分片上，否则结束。


2.如权利要求1所述一种对象元数据聚合方法，其特征在于，存储服务开启时，立即根据元数据聚合开关判断是否启动存储桶元数据聚合扫描线程。


3.如权利要求1所述一种对象元数据聚合方法，其特征在于，启动元数据聚合扫描线程后，扫描线程在设定的时间段内，扫描每一个存储桶的桶索引分片。


4.如权利要求1所述一种对象元数据聚合方法，其特征在于，进行元数据聚合时，对于K1-V1,K2-V2,…,KN-VN,N个对象的元数据，组织成一个新的K-V结构：(K1,K2,…KN)-(V1,V2…VN)存储到桶索引分片上。


5.如权利要求1所述一种对象元数据聚合方法，其特征在于，数据聚合以后，删除原有元数据...

【专利技术属性】
技术研发人员：陶桐桐，胡永刚，
申请(专利权)人：山东英信计算机技术有限公司，
类型：发明
国别省市：山东;37