一种基于对象存储的数据处理方法及其相关设备技术

本申请涉及数据处理领域，尤其涉及一种基于对象存储的数据处理方法，包括获取数据同步请求；其中，数据同步请求携带有第一数据，第一数据为待同步的数据；获取第二服务器的当前存储容量以及存储等级信息，根据当前存储容量以及等级对第一数据进行筛选处理，得到第二数据；从对象存储平台中确定与第二数据对应的备份数据作为第三数据；其中，对象存储平台存储有多个备份数据；根据第二数据和第三数据确定索引清单；将索引清单发送至第二服务器，以指示第二服务器从对象存储平台确定与索引清单对应的备份数据作为目标数据。本申请还提供一种基于对象存储的数据处理装置、计算机设备及存储介质。本申请有效提升数据同步效率。本申请有效提升数据同步效率。本申请有效提升数据同步效率。

【技术实现步骤摘要】
一种基于对象存储的数据处理方法及其相关设备


[0001]本申请涉及数据处理
，尤其涉及一种基于对象存储的数据处理方法及其相关设备。

技术介绍

[0002]目前，现有的数据同步方式为：(1)通过数据库直连的方式查询历史数据和实时变化数据，并分批次写入数据库；特点是实现简单直接，成本低运行稳定；(2)通过MySQL binlog接入消息队列(如Kafka)，由数据集成端实时消费和写入操作数据层；特点是不影响原数据库读写，数据更新间隔短。但上述两种数据同步方式进行数据同步时会出现数据同步不及时的问题，数据同步效率低。

技术实现思路

[0003]本申请实施例提供一种基于对象存储的数据处理方法及其相关设备，以解决现有技术中数据同步效率低的问题。
[0004]为了解决上述技术问题，本申请实施例提供一种数据处理，采用了如下所述的技术方案：
[0005]一种基于对象存储的数据处理方法，应用于第一服务器，所述基于对象存储的数据处理方法包括下述步骤：
[0006]获取数据同步请求；其中，所述数据同步请求携带有第一数据，所述第一数据为待同步的数据；
[0007]获取第二服务器的当前存储容量以及存储等级信息，根据所述当前存储容量以及等级对所述第一数据进行筛选处理，得到第二数据；
[0008]从对象存储平台中确定与所述第二数据对应的备份数据作为第三数据；其中，所述对象存储平台存储有多个备份数据；
[0009]根据所述第二数据和所述第三数据确定索引清单；
[0010]将所述索引清单发送至第二服务器，以指示所述第二服务器从所述对象存储平台确定与所述索引清单对应的备份数据作为目标数据。
[0011]进一步的，所述第一数据包括多个第一子数据，所述存储等级信息中包括第一存储等级以及第二存储等级，其中所述第一存储等级高于所述第二存储等级；所述根据所述当前存储容量以及存储等级信息对所述第一数据进行筛选处理，得到第二数据的步骤包括：
[0012]若所述当前存储容量小于或等于预设容量阈值，则将与所述第一存储等级对应的所有所述第一子数据汇合，得到第二数据；
[0013]若所述当前存储容量大于预设容量阈值，则将所述第一存储等级以及第二存储等级分别对应的所述第一子数据汇合，得到第二数据。
[0014]进一步的，所述从对象存储平台中确定与所述第二数据对应的备份数据作为第三
数据的步骤包括：
[0015]获取所述第二数据的更新时间；
[0016]根据所述第二数据的更新时间确定目标时间范围；
[0017]从所述对象存储平台中确定在所述目标时间范围内且与所述第二数据对应的备份数据作为第三数据。
[0018]进一步的，所述根据所述第二数据和所述第三数据确定索引清单的步骤包括：
[0019]分别获取所述第二数据对应的第一说明信息和所述第三数据对应的第二说明信息；
[0020]根据所述第一说明信息和所述第二说明信息确定差异信息；
[0021]根据所述差异信息生成索引清单。
[0022]进一步的，在所述将所述索引清单发送至第二服务器的步骤之后，还包括：
[0023]获取所述对象存储平台发送的数据传输请求；
[0024]响应所述数据传输请求，根据对所述目标数据以及所述第二服务器的运行状态的验证结果处理所述目标数据。
[0025]进一步的，所述根据对所述目标数据以及所述第二服务器的运行状态的验证结果处理所述目标数据的步骤包括：
[0026]根据所述索引清单验证所述目标数据，并根据预设运行标准验证所述第二服务器的运行信息，得到验证结果；
[0027]若所述验证结果为所述目标数据与所述索引清单对应、以及所述第二服务器的所述运行信息与所述预设运行标准对应，则将所述目标数据发送至所述第二服务器进行同步处理。
[0028]进一步的，所述则将所述目标数据发送至所述第二服务器进行同步处理的步骤之后，还包括：
[0029]获取同步结果；其中，所述同步结果为所述第二服务器对所述目标数据进行同步处理后生成；
[0030]根据所述同步结果对所述目标数据进行标记处理。
[0031]为了解决上述技术问题，本申请实施例还提供一种基于对象存储的数据处理装置，采用了如下所述的技术方案：
[0032]一种基于对象存储的数据处理装置，包括：
[0033]第一获取模块，用于获取数据同步请求；其中，所述数据同步请求携带有第一数据；
[0034]筛选模块，用于获取第二服务器的当前存储容量以及存储等级信息，根据所述当前存储容量以及等级对所述第一数据进行筛选处理，得到第二数据；
[0035]第一确定模块，用于从对象存储平台中确定与所述第二数据对应的备份数据作为第三数据；其中，所述对象存储平台存储有多个备份数据；
[0036]第二确定模块，用于根据所述第二数据和所述第三数据确定索引清单；
[0037]发送模块，用于将所述索引清单发送至第二服务器，以指示所述第二服务器从所述对象存储平台确定与所述索引清单对应的备份数据作为目标数据。
[0038]为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述
的技术方案：
[0039]包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如上所述的基于对象存储的数据处理方法的步骤。
[0040]为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
[0041]所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上所述的基于对象存储的数据处理方法的步骤。
[0042]与现有技术相比，本申请实施例主要有以下有益效果：利用对象存储平台上备份的数据确定与第一数据对应的第二数据，通过第一服务器根据第一数据和第二数据确定索引清单，并将其发送至第二服务器，以供第二服务器根据索引清单进行数据的调用；如此使第二服务器可根据索引清单进行数据的调用，避免直接将第一数据和/或对象存储平台上的备份数据传输至第二服务器上进行处理，造成第二服务器负载严重，处理性能差的问题，从而提升数据同步效率。
附图说明
[0043]为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0044]图1是本申请可以应用于其中的示例性系统架构图；
[0045]图2是根据本申请的基于对象存储的数据处理方法的一个实施例的流程图；
[0046]图3是根据本申请的基于对象存储的数据处理装置的一个实施例的结构示意图；
[0047]图4是根据本申请的计算机设备的一个实施例的结构示意图。
具体本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对象存储的数据处理方法，应用于第一服务器，其特征在于，所述基于对象存储的数据处理方法包括下述步骤：获取数据同步请求；其中，所述数据同步请求携带有第一数据，所述第一数据为待同步的数据；获取第二服务器的当前存储容量以及存储等级信息，根据所述当前存储容量以及等级对所述第一数据进行筛选处理，得到第二数据；从对象存储平台中确定与所述第二数据对应的备份数据作为第三数据；其中，所述对象存储平台存储有多个备份数据；根据所述第二数据和所述第三数据确定索引清单；将所述索引清单发送至第二服务器，以指示所述第二服务器从所述对象存储平台确定与所述索引清单对应的备份数据作为目标数据。2.根据权利要求1所述的基于对象存储的数据处理方法，其特征在于，所述第一数据包括多个第一子数据，所述存储等级信息中包括第一存储等级以及第二存储等级，其中所述第一存储等级高于所述第二存储等级；所述根据所述当前存储容量以及存储等级信息对所述第一数据进行筛选处理，得到第二数据的步骤包括：若所述当前存储容量小于或等于预设容量阈值，则将与所述第一存储等级对应的所有所述第一子数据汇合，得到第二数据；若所述当前存储容量大于预设容量阈值，则将所述第一存储等级以及第二存储等级分别对应的所述第一子数据汇合，得到第二数据。3.根据权利要求1所述的基于对象存储的数据处理方法，其特征在于，所述从对象存储平台中确定与所述第二数据对应的备份数据作为第三数据的步骤包括：获取所述第二数据的更新时间；根据所述第二数据的更新时间确定目标时间范围；从所述对象存储平台中确定在所述目标时间范围内且与所述第二数据对应的备份数据作为第三数据。4.根据权利要求1所述的基于对象存储的数据处理方法，其特征在于，所述根据所述第二数据和所述第三数据确定索引清单的步骤包括：分别获取所述第二数据对应的第一说明信息和所述第三数据对应的第二说明信息；根据所述第一说明信息和所述第二说明信息确定差异信息；根据所述差异信息生成索引清单。5.根据权利要求1至4中任一项所述的基于对象存储的数据处理方法，其特征在于，在所述将所述索引清单发送至第二服务器的步骤之后，还包括：获取所述...

【专利技术属性】
技术研发人员：朱家祺，邱龙根，
申请(专利权)人：深圳复临科技有限公司，
类型：发明
国别省市：