一种主放置组均衡优化的方法、系统、设备及介质技术方案

本发明专利技术公开了一种主放置组均衡优化的方法、系统、设备和存储介质，方法包括以下步骤：根据缓存盘的总容量和对象存储设备的总个数得到理论平均值；基于对象存储设备占用的实际容量与理论平均值得到对象存储设备对应的权重；获取当前主放置组的总个数，并基于当前主放置组的总个数和对象存储设备对应的权重得到预期均衡主放置组的数量；读取冗余组里的每个放置组的地址，基于每个放置组的地址和对象存储设备的地址得到对应的基值，响应于基值小于预定值，将放置组作为主放置组；重复上一步骤直到主放置组的数量达到预期均衡主放置组的数量。本发明专利技术提出的方案通过计算对象存储设备的权重来计算预期均衡主放置组的个数，从而优化系统性能。

【技术实现步骤摘要】
一种主放置组均衡优化的方法、系统、设备及介质
本专利技术涉及分布式存储领域，更具体地，特别是指一种主放置组均衡优化的方法、系统、计算机设备及可读介质。
技术介绍
在分布式存储系统中，存储的内容按照固定大小切割，这一块固定大小的数据称为一个对象，PG(PlacementGroup，放置组)就是多个对象的聚合，存储池则是多个PG的聚合，都是一个逻辑上的概念。每个PG与OSD(Object-basedStorageDevice，对象存储设备)的对应是通过数据分布算法对应起来的，一个PG对应于多个OSD，OSD可以简单理解为物理上的磁盘，一个OSD上可以有多个PG，这样想要存储的内容就放置在了磁盘上。为了保证数据的一致性，引入了冗余策略和PG角色的划分，选取某一个起主导作用的PG作为数据读写的起始，称其为primary，针对冗余中的其他PG称为replica，这样的一组PG暂且称为冗余组，冗余组中的每个PG存放的数据一致。针对某一个冗余组中，如果要对其进行写都会先写到primary中再传递给它的replica，如果要对其进行读，都会转到primary上进行读。关于PG的ID(地址)和OSD的ID(地址)，都是在分布式集群存储池创建好后就唯一确定的值。由上可知，在分布式存储集群中，如果每个冗余组中的primary在OSD上的分布不均衡的话，就会导致每个OSD的压力不同，影响集群性能。在分布式集群中，往往一块固态硬盘可以作为多块机械硬盘的缓存盘，每个固态盘上被机械盘当作缓存盘的个数也不一样。在目前已有的方案中均是依据机械盘的权重调整主放置组，并未考虑缓存盘的影响，这对于集群的性能造成了一定的浪费。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提出一种主放置组均衡优化的方法、系统、计算机设备及计算机可读存储介质，通过计算对象存储设备的权重来计算预期均衡主放置组的个数，并基于每个放置组的地址和对象存储设备的地址得到对应的基值，将基值与预定值相比确定是否为主放置组，从而优化系统性能。基于上述目的，本专利技术实施例的一方面提供了一种主放置组均衡优化的方法，包括如下步骤：根据缓存盘的总容量和对象存储设备的总个数得到理论平均值；基于对象存储设备占用的实际容量与所述理论平均值得到所述对象存储设备对应的权重；获取当前主放置组的总个数，并基于所述当前主放置组的总个数和所述对象存储设备对应的权重得到预期均衡主放置组的数量；读取冗余组里的每个放置组的地址，基于每个所述放置组的地址和所述对象存储设备的地址得到对应的基值，响应于所述基值小于预定值，将所述放置组作为主放置组；重复上一步骤直到主放置组的数量达到所述预期均衡主放置组的数量。在一些实施方式中，所述基于对象存储设备占用的实际容量与所述理论平均值得到所述对象存储设备对应的权重包括：基于单个缓存盘的容量和单个缓存盘对应的缓存个数得到每个对象存储设备占用的实际容量。在一些实施方式中，所述基于所述当前主放置组的总个数和所述对象存储设备对应的权重得到预期均衡主放置组的数量包括：以所述当前主放置组的总个数除以所述对象存储设备的总个数以得到平均数；用所述平均数乘以所述对象存储设备对应的权重得到预期均衡主放置组的数量。在一些实施方式中，所述基于每个所述放置组的地址和所述对象存储设备的地址得到对应的基值包括：通过哈希算法对所述放置组的地址和所述对象存储设备的地址计算以得到第一值，对所述第一值右移运算符并取最高的十六位。本专利技术实施例的另一方面，还提供了一种主放置组均衡优化系统，包括：第一计算模块，配置用于根据缓存盘的总容量和对象存储设备的总个数得到理论平均值；第二计算模块，配置用于基于对象存储设备占用的实际容量与所述理论平均值得到所述对象存储设备对应的权重；第三计算模块，配置用于获取当前主放置组的总个数，并基于所述当前主放置组的总个数和所述对象存储设备对应的权重得到预期均衡主放置组的数量；第一执行模块，配置用于读取冗余组里的每个放置组的地址，基于每个所述放置组的地址和所述对象存储设备的地址得到对应的基值，响应于所述基值小于预定值，将所述放置组作为主放置组；第二执行模块，配置用于重复上一步骤直到主放置组的数量达到所述预期均衡主放置组的数量。在一些实施方式中，所述第二计算模块还配置用于：基于单个缓存盘的容量和单个缓存盘对应的缓存个数得到每个对象存储设备占用的实际容量。在一些实施方式中，所述第三计算模块还配置用于：以所述当前主放置组的总个数除以所述对象存储设备的总个数以得到平均数；用所述平均数乘以所述对象存储设备对应的权重得到预期均衡主放置组的数量。在一些实施方式中，所述第一执行模块还配置用于：通过哈希算法对所述放置组的地址和所述对象存储设备的地址计算以得到第一值，对所述第一值右移运算符并取最高的十六位。本专利技术实施例的又一方面，还提供了一种计算机设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现如上方法的步骤。本专利技术实施例的再一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。本专利技术具有以下有益技术效果：通过计算对象存储设备的权重来计算预期均衡主放置组的个数，并基于每个放置组的地址和对象存储设备的地址得到对应的基值，将基值与预定值相比确定是否为主放置组，从而优化系统性能。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。图1为本专利技术提供的主放置组均衡优化的方法的实施例的示意图；图2为本专利技术提供的主放置组均衡优化的计算机设备的实施例的硬件结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。基于上述目的，本专利技术实施例的第一个方面，提出了一种主放置组均衡优化的方法的实施例。图1示出的是本专利技术提供的主放置组均衡优化的方法的实施例的示意图。如图1所示，本专利技术实施例包括如下步骤：S1、根据缓存盘的总容量和对象存储设备的总个数得到理论平均值；S2、基于对象存储设备占用的实际容量与理论平均值得到对象存储设备对应的权重；S3、获取当前主放置组的总个数，并基于当前主放置组的总个数和对象存储设备对应的权重得到预期均衡主放置组的数量；S4、读取冗余组里的每个放置组的地址，基于每个放置组的地址和对象存储设备的地址得到对应的基值，响应于基值小本文档来自技高网...

【技术保护点】
1.一种主放置组均衡优化的方法，其特征在于，包括以下步骤：/n根据缓存盘的总容量和对象存储设备的总个数得到理论平均值；/n基于对象存储设备占用的实际容量与所述理论平均值得到所述对象存储设备对应的权重；/n获取当前主放置组的总个数，并基于所述当前主放置组的总个数和所述对象存储设备对应的权重得到预期均衡主放置组的数量；/n读取冗余组里的每个放置组的地址，基于每个所述放置组的地址和所述对象存储设备的地址得到对应的基值，响应于所述基值小于预定值，将所述放置组作为主放置组；/n重复上一步骤直到主放置组的数量达到所述预期均衡主放置组的数量。/n

【技术特征摘要】
1.一种主放置组均衡优化的方法，其特征在于，包括以下步骤：
根据缓存盘的总容量和对象存储设备的总个数得到理论平均值；
基于对象存储设备占用的实际容量与所述理论平均值得到所述对象存储设备对应的权重；
获取当前主放置组的总个数，并基于所述当前主放置组的总个数和所述对象存储设备对应的权重得到预期均衡主放置组的数量；
读取冗余组里的每个放置组的地址，基于每个所述放置组的地址和所述对象存储设备的地址得到对应的基值，响应于所述基值小于预定值，将所述放置组作为主放置组；
重复上一步骤直到主放置组的数量达到所述预期均衡主放置组的数量。


2.根据权利要求1所述的方法，其特征在于，所述基于对象存储设备占用的实际容量与所述理论平均值得到所述对象存储设备对应的权重包括：
基于单个缓存盘的容量和单个缓存盘对应的缓存个数得到每个对象存储设备占用的实际容量。


3.根据权利要求1所述的方法，其特征在于，所述基于所述当前主放置组的总个数和所述对象存储设备对应的权重得到预期均衡主放置组的数量包括：
以所述当前主放置组的总个数除以所述对象存储设备的总个数以得到平均数；
用所述平均数乘以所述对象存储设备对应的权重得到预期均衡主放置组的数量。


4.根据权利要求1所述的方法，其特征在于，所述基于每个所述放置组的地址和所述对象存储设备的地址得到对应的基值包括：
通过哈希算法对所述放置组的地址和所述对象存储设备的地址计算以得到第一值，对所述第一值右移运算符并取最高的十六位。


5.一种主放置组均衡优化的系统，其特征在于，包括：
第一计算模块，配置用于根据缓存盘的总容量和对象存储设备的总个数得到理论平均值；
第二计算模块...

【专利技术属性】
技术研发人员：孙润宇，孟祥瑞，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32