一种OpenTSDB的数据备份方法、装置、设备及介质制造方法及图纸

本申请公开了一种OpenTSDB的数据备份方法、装置、设备及介质，该方法包括：按照预设条件根据HBase时间戳从源OpenTSDB中提取目标时序数据；根据指标和入库时间片将目标时序数据划分为多个数据采集任务；按照异步并发的方式将多个数据采集任务写入至目的OpenTSDB。由于该方法是直接根据HBase时间戳来将源OpenTSDB中的时序数据备份至目的OpenTSDB中，可以有效避免网络传输、存储设备异常等不可控因素对数据备份过程的影响，由此就可以保证备份数据的完整性与可靠性。并且，将目标时序数据划分为多个数据采集任务利用异步并发的方式发送至目的OpenTSDB，还可以显著提高数据的备份效率。率。率。

【技术实现步骤摘要】
一种OpenTSDB的数据备份方法、装置、设备及介质


[0001]本专利技术涉及计算机
，特别涉及一种OpenTSDB的数据备份方法、装置、设备及介质。

技术介绍

[0002]OpenTSDB(Open Time Series Database)是一个分布式、可伸缩的时间序列数据库，被广泛地应用于企业能源管理系统、物联网设备监控系统、生产安全监控系统和电力检测系统等行业。
[0003]目前，对于OpenTSDB的数据备份大部分都是进行离线数据迁移，也即，通过设置业务时间范围来完成OpenTSDB中不同指标时序数据的备份同步。请参见图1，图1为现有技术中在将源OpenTSDB中的时序数据备份至目的OpenTSDB时的示意图。在按照业务时间将源OpenTSDB中的数据同步至目的OpenTSDB的过程中，由于网络传输的复杂性、存储设备的异常故障以及数据存放分散等各类不可控因素都有可能会导致源OpenTSDB中的部分迟传时序数据不能备份到目的OpenTSDB中，这样就无法保证源OpenTSDB数据备份的完整性。目前，针对这一技术问题，还没有较为有效的解决办法。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种OpenTSDB的数据备份方法、装置、设备及介质，以在保证OpenTSDB在数据备份时的完整性与可靠性。其具体方案如下：
[0005]一种OpenTSDB的数据备份方法，包括：
[0006]按照预设条件根据HBase时间戳从源OpenTSDB中提取目标时序数据；
[0007]根据所述目标时序数据的指标和入库时间片将所述目标时序数据划分为多个数据采集任务；
[0008]按照异步并发的方式将多个数据采集任务写入至目的OpenTSDB。
[0009]优选的，所述根据所述目标时序数据的指标和入库时间片将所述目标时序数据划分为多个数据采集任务的过程，包括：
[0010]根据所述目标时序数据的指标将所述目标时序数据划分为不同的数据采集任务，并根据所述目标时序数据的入库时间对不同数据采集任务的执行顺序和依赖关系进行控制，以得到多个数据采集任务。
[0011]优选的，所述根据所述目标时序数据的指标将所述目标时序数据划分为不同的数据采集任务的过程，包括：
[0012]从数据库Sqlite3中读取目标属性参数，并根据所述目标属性参数和所述目标时序数据的指标将所述目标时序数据划分为不同的数据采集任务。
[0013]优选的，所述按照异步并发的方式将多个数据采集任务写入至目的OpenTSDB的过程，包括：
[0014]按照异步并发的方式将多个数据采集任务写入至Nats，并利用所述Nats将多个数
据采集任务写入至所述目的OpenTSDB。
[0015]优选的，所述按照预设条件根据HBase时间戳从源OpenTSDB中提取目标时序数据的过程，包括：
[0016]根据所述预设条件设置所述HBase时间戳的目标扫描范围；
[0017]利用所述目标扫描范围生成扫描对象scanner，并利用所述扫描对象scanner从所述源OpenTSDB中提取所述目标时序数据。
[0018]优选的，所述利用所述扫描对象scanner从所述源OpenTSDB中提取所述目标时序数据的过程，包括：
[0019]利用所述扫描对象scanner从所述源OpenTSDB中提取目标原始数据，并利用tsdb
‑
uid表对所述目标原始数据进行反序列化得到所述目标时序数据。
[0020]相应的，本专利技术还公开了一种OpenTSDB的数据备份装置，包括：
[0021]数据提取模块，用于按照预设条件根据HBase时间戳从源OpenTSDB中提取目标时序数据；
[0022]任务划分模块，用于根据所述目标时序数据的指标和入库时间片将所述目标时序数据划分为多个数据采集任务；
[0023]数据备份模块，用于按照异步并发的方式将多个数据采集任务写入至目的OpenTSDB。
[0024]相应的，本专利技术还公开了一种OpenTSDB的数据备份设备，包括：
[0025]存储器，用于存储计算机程序；
[0026]处理器，用于执行所述计算机程序时实现如前述所公开的一种OpenTSDB的数据备份方法的步骤。
[0027]相应的，本专利技术还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前述所公开的一种OpenTSDB的数据备份方法的步骤。
[0028]可见，在本专利技术中，首先是按照预设条件根据HBase时间戳从源OpenTSDB中提取目标时序数据，然后根据目标时序数据的指标和入库时间将目标时序数据划分为多个数据采集任务，最后，再按照异步并发的方式将多个数据采集任务写入至目的OpenTSDB中。相较于现有技术而言，由于该方法是直接根据HBase时间戳来将源OpenTSDB中的时序数据备份至目的OpenTSDB中，这样就可以有效避免网络传输、存储设备异常等不可控因素对数据备份过程的影响，由此就可以保证备份数据的完整性与可靠性。并且，将目标时序数据划分为多个数据采集任务利用异步并发的方式发送至目的OpenTSDB，还可以显著提高目标时序数据的备份效率。相应的，本专利技术所提供的一种OpenTSDB的数据备份装置、设备及介质，同样具有上述有益效果。
附图说明
[0029]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0030]图1为现有技术中在将源OpenTSDB中的时序数据备份至目的OpenTSDB时的示意图；
[0031]图2为本专利技术实施例所提供的一种OpenTSDB的数据备份方法的流程图；
[0032]图3为本专利技术实施例所提供的一种根据目标时序数据的指标和入库时间片将目标时序数据划分为多个数据采集任务的示意图；
[0033]图4为本专利技术实施例所提供的一种利用Nats将多个数据采集任务由源OpenTSDB写入至目的OpenTSDB时的示意图；
[0034]图5为本专利技术实施例所提供的一种从源OpenTSDB中提取目标时序数据时的示意图；
[0035]图6为本专利技术实施例所提供的一种OpenTSDB的数据备份装置的结构图；
[0036]图7为本专利技术实施例所提供的一种OpenTSDB的数据备份设备的结构图。
具体实施方式
[0037]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种OpenTSDB的数据备份方法，其特征在于，包括：按照预设条件根据HBase时间戳从源OpenTSDB中提取目标时序数据；根据所述目标时序数据的指标和入库时间片将所述目标时序数据划分为多个数据采集任务；按照异步并发的方式将多个数据采集任务写入至目的OpenTSDB。2.根据权利要求1所述的数据备份方法，其特征在于，所述根据所述目标时序数据的指标和入库时间片将所述目标时序数据划分为多个数据采集任务的过程，包括：根据所述目标时序数据的指标将所述目标时序数据划分为不同的数据采集任务，并根据所述目标时序数据的入库时间对不同数据采集任务的执行顺序和依赖关系进行控制，以得到多个数据采集任务。3.根据权利要求2所述的数据备份方法，其特征在于，所述根据所述目标时序数据的指标将所述目标时序数据划分为不同的数据采集任务的过程，包括：从数据库Sqlite3中读取目标属性参数，并根据所述目标属性参数和所述目标时序数据的指标将所述目标时序数据划分为不同的数据采集任务。4.根据权利要求1所述的数据备份方法，其特征在于，所述按照异步并发的方式将多个数据采集任务写入至目的OpenTSDB的过程，包括：按照异步并发的方式将多个数据采集任务写入至Nats，并利用所述Nats将多个数据采集任务写入至所述目的OpenTSDB。5.根据权利要求1至4任一项所述的数据备份方法，其特征在于，所述按照预设条件根据HBase时间戳从源OpenTSDB中提取目标时序数据的...

【专利技术属性】
技术研发人员：王晓明，邓光超，方建勋，赵山，高传集，江燕，孙思清，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：