聚合特性兼容多站点同步的方法、系统、设备和存储介质技术方案

本发明专利技术提供一种聚合特性兼容多站点同步的方法、系统、设备和存储介质，方法包括：同步网关根据日志拉取其他站点的对象，并判断所述对象是否为聚合对象；响应于所述对象是聚合对象，删除所述对象的聚合属性并将所述对象写入固态硬盘池；遍历各个热池对象，把小于预设值的对象进行聚合以形成第一聚合对象保存到缓存中；以及在所述小于预设值的对象的头对象中添加聚合扩展属性并删除所述头对象中的数据。本发明专利技术提高了对象存储中特性的兼容性，减少了每个站点的对象数量，提高重构速度和系统的性能，并提高存储空间利用率。并提高存储空间利用率。并提高存储空间利用率。

【技术实现步骤摘要】
聚合特性兼容多站点同步的方法、系统、设备和存储介质


[0001]本专利技术涉及分布式对象存储系统领域，更具体地，特别是指一种聚合特性兼容多站点同步的方法、系统、设备和存储介质。

技术介绍

[0002]当前的分布式对象存储系统中，已支持多个站点之间数据同步功能，在一个站点上传的对象，自动同步到其他站点，在其他站点可以下载对象等等，跨域协同操作。当前的分布式对象存储系统中，针对普通海量小对象已经实现了小对象聚合的功能，把多个小对象聚合为一个大对象，减少了Rados(分布式对象存储)的对象数量，可以大大加快集群的重构速度，并提高系统的性能。但是当前小对象聚合功能不兼容多站点同步，问题点一：聚合之后的对象数据同步到其他站点后会把对象聚合元数据属性一块同步过去，但是并不会同步聚合大对象到其他站点，导致在其他站点下载对象时找不到对象数据，即丢数据；问题二：同步到其他站点的对象不会写入ssd(solid state drive，固态硬盘)池，而是写入了hdd(hard disk drive，机械硬盘)池，导致其他站点不会把同步过来的对象进行聚合。

技术实现思路

[0003]有鉴于此，本专利技术实施例的目的在于提出一种聚合特性兼容多站点同步的方法、系统、计算机设备及计算机可读存储介质，本专利技术提高了对象存储中特性的兼容性，减少了每个站点的对象数量，提高重构速度和系统的性能，并提高存储空间利用率，给客户带来了良好的用户体验，同时丰富了对象存储的功能，提高了分布式对象产品的市场竞争力。
[0004]基于上述目的，本专利技术实施例的一方面提供了一种聚合特性兼容多站点同步的方法，包括如下步骤：同步网关根据日志拉取其他站点的对象，并判断所述对象是否为聚合对象；响应于所述对象是聚合对象，删除所述对象的聚合属性并将所述对象写入固态硬盘池；遍历各个热池对象，把小于预设值的对象进行聚合以形成第一聚合对象保存到缓存中；以及在所述小于预设值的对象的头对象中添加聚合扩展属性并删除所述头对象中的数据。
[0005]在一些实施方式中，方法还包括：响应于达到刷盘条件，将所述第一聚合对象从所述缓存中读出并写入对象存储设备磁盘中。
[0006]在一些实施方式中，方法还包括：响应于服务器端接收到客户端发出的下载对象的请求，从所述对象的头对象中读取聚合属性；根据所述聚合属性获取所述对象的第一聚合对象，从所述第一聚合对象中获取所述对象对应的数据，并将所述数据返回给客户端。
[0007]在一些实施方式中，方法还包括：在所述同步网卡中增加存储开关，响应于所述同步网卡拉取的对象为聚合对象，将所述存储开关开启以将拉取的对象写入固态硬盘池。
[0008]本专利技术实施例的另一方面，提供了一种聚合特性兼容多站点同步的系统，包括：判断模块，配置用于同步网关根据日志拉取其他站点的对象，并判断所述对象是否为聚合对象；删除模块，配置用于响应于所述对象是聚合对象，删除所述对象的聚合属性并将所述对象写入固态硬盘池；遍历模块，配置用于遍历各个热池对象，把小于预设值的对象进行聚合
以形成第一聚合对象保存到缓存中；以及执行模块，配置用于在所述小于预设值的对象的头对象中添加聚合扩展属性并删除所述头对象中的数据。
[0009]在一些实施方式中，系统还包括读取模块，配置用于：响应于达到刷盘条件，将所述第一聚合对象从所述缓存中读出并写入对象存储设备磁盘中。
[0010]在一些实施方式中，系统还包括下载模块，配置用于：响应于服务器端接收到客户端发出的下载对象的请求，从所述对象的头对象中读取聚合属性；根据所述聚合属性获取所述对象的第一聚合对象，从所述第一聚合对象中获取所述对象对应的数据，并将所述数据返回给客户端。
[0011]在一些实施方式中，系统还包括开关模块，配置用于：在所述同步网卡中增加存储开关，响应于所述同步网卡拉取的对象为聚合对象，将所述存储开关开启以将拉取的对象写入固态硬盘池。
[0012]本专利技术实施例的又一方面，还提供了一种计算机设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现如上方法的步骤。
[0013]本专利技术实施例的再一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。
[0014]本专利技术具有以下有益技术效果：提高了对象存储中特性的兼容性，减少了每个站点的对象数量，提高重构速度和系统的性能，并提高存储空间利用率，给客户带来了良好的用户体验，同时丰富了对象存储的功能，提高了分布式对象产品的市场竞争力。
附图说明
[0015]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
[0016]图1为本专利技术提供的聚合特性兼容多站点同步的方法的实施例的示意图；
[0017]图2为本专利技术提供的聚合特性兼容多站点同步的系统的实施例的示意图；
[0018]图3为本专利技术提供的聚合特性兼容多站点同步的计算机设备的实施例的硬件结构示意图；
[0019]图4为本专利技术提供的聚合特性兼容多站点同步的计算机存储介质的实施例的示意图。
具体实施方式
[0020]为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。
[0021]需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。
[0022]本专利技术实施例的第一个方面，提出了一种聚合特性兼容多站点同步的方法的实施
例。图1示出的是本专利技术提供的聚合特性兼容多站点同步的方法的实施例的示意图。如图1所示，本专利技术实施例包括如下步骤：
[0023]S1、同步网关根据日志拉取其他站点的对象，并判断所述对象是否为聚合对象；
[0024]S2、响应于所述对象是聚合对象，删除所述对象的聚合属性并将所述对象写入固态硬盘池；
[0025]S3、遍历各个热池对象，把小于预设值的对象进行聚合以形成第一聚合对象保存到缓存中；以及
[0026]S4、在所述小于预设值的对象的头对象中添加聚合扩展属性并删除所述头对象中的数据。
[0027]在分布式存储系统中，目前聚合的功能需要在开启分级的基础上进行的，当小对象通过前端业务写入系统中时，首先会写入快速池中，之后当数据从热池子迁往冷池子中时，会根据桶的agg(聚集)配置信息来判断是否将小对象聚合成为大对象，之后把聚合好的聚合大对象下刷到rados存储池中。在正常上传以及开启聚合的情况下，小于512KB的对象会聚合成一个4M的大对象，并删除头本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种聚合特性兼容多站点同步的方法，其特征在于，包括如下步骤：同步网关根据日志拉取其他站点的对象，并判断所述对象是否为聚合对象；响应于所述对象是聚合对象，删除所述对象的聚合属性并将所述对象写入固态硬盘池；遍历各个热池对象，把小于预设值的对象进行聚合以形成第一聚合对象保存到缓存中；以及在所述小于预设值的对象的头对象中添加聚合扩展属性并删除所述头对象中的数据。2.根据权利要求1所述的方法，其特征在于，方法还包括：响应于达到刷盘条件，将所述第一聚合对象从所述缓存中读出并写入对象存储设备磁盘中。3.根据权利要求1所述的方法，其特征在于，方法还包括：响应于服务器端接收到客户端发出的下载对象的请求，从所述对象的头对象中读取聚合属性；根据所述聚合属性获取所述对象的第一聚合对象，从所述第一聚合对象中获取所述对象对应的数据，并将所述数据返回给客户端。4.根据权利要求1所述的方法，其特征在于，方法还包括：在所述同步网卡中增加存储开关，响应于所述同步网卡拉取的对象为聚合对象，将所述存储开关开启以将拉取的对象写入固态硬盘池。5.一种聚合特性兼容多站点同步的方法，其特征在于，包括：判断模块，配置用于同步网关根据日志拉取其他站点的对象，并判断所述对象是否为聚合对象；删除模块，配置用于响应于所述对象是聚合对象，删除所述对象的聚合属性并将所述对象写入固态硬盘池；遍历模块，配置用于遍历各个热池对象...

【专利技术属性】
技术研发人员：何文龙，武模仁，李欢欢，陶桐桐，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：