数据库的增量数据迁移方法、装置、电子设备及存储介质制造方法及图纸

本申请涉及Hbase数据库技术领域，特别涉及一种数据库的增量数据迁移方法、装置、电子设备及存储介质，其中，方法包括：获取源集群数据库的待迁移增量数据；将待迁移增量数据存放至待迁移增量数据的增量数据目录上，并将待迁移增量数据的增量数据目录上的待迁移增量数据同步至目标集群数据库的增量数据目录上；根据目标集群数据库的增量数据目录的待迁移增量数据生成HFile文件，并将HFile文件加载至目标集群数据库的hbase表中。由此，解决了相关技术中调用Hbase的Put Api进行处理，会给HbaseRegionServer节点带来较大的写入压力，造成Hbase集群不稳定，甚至节点宕机等问题。甚至节点宕机等问题。甚至节点宕机等问题。

【技术实现步骤摘要】
数据库的增量数据迁移方法、装置、电子设备及存储介质


[0001]本申请涉及Hbase数据库
，特别涉及一种数据库的增量数据迁移方法方法、装置、电子设备及存储介质。

技术介绍

[0002]HBase是一个高可靠性、高性能、面向列、可伸缩的分布式数据库，HBase不同于一般的关系型数据库，它是一个适合于非结构化数据存储的数据库，企业通常基于Hbase构建面向用户的高并发读写业务，随着云原生技术的发展，企业的IT架构从单一的私有云架构往由公有云和私有云组成的混合云架构迈进，其中，Hbase组件在公有云和私有云上均有部署，公有云部分承担热数据的存储和查询，私有云承担数据备份和冷数据查询业务。
[0003]相关技术中，待写入的数据位于HDFS上，业务需要定期将这部分海量数据导入Hbase中，以执行随机查询更新操作，此时如果调用Hbase的Put Api进行处理，会给Hbase RegionServer节点带来较大的写入压力，造成Hbase集群不稳定，甚至节点宕机。

技术实现思路

[0004]本申请提供一种数据库的增量数据迁移方法、装置、电子设备及存储介质，以解决相关技术中调用Hbase的Put Api进行处理，会给Hbase RegionServer节点带来较大的写入压力，造成Hbase集群不稳定，甚至节点宕机等问题。
[0005]本申请第一方面实施例提供一种数据库的增量数据迁移方法，包括以下步骤：获取源集群数据库的待迁移增量数据；将所述待迁移增量数据存放至所述待迁移增量数据的增量数据目录上，并将所述待迁移增量数据的增量数据目录上的待迁移增量数据同步至目标集群数据库的增量数据目录上；根据所述目标集群数据库的增量数据目录的待迁移增量数据生成HFile文件，并将所述HFile文件加载至所述目标集群数据库的hbase表中。
[0006]根据上述技术手段，本申请实施例可以通过获取源集群数据库的待迁移增量数据并将其存放在待迁移增量数据的增量数据目录上，然后同步值目标集群数据库的增量数据目录上，最终生成HFile文件并将其加载值目标集群数据库的hbase表中，实现增量数据从公有云Hbase迁移到私有云Hbase，从而可以有效避免在增量数据写入目标Hbase集群的过程中宕机和性能降低问题，保证Hbase集群稳定的情况下加速增量数据接入。
[0007]可选地，所述根据所述目标集群数据库的增量数据目录的待迁移增量数据生成HFile文件，包括：对所述待迁移增量数据进行抽取、转换和加载操作，得到所述目标集群数据库的hbase表的HFile文件。
[0008]根据上述技术手段，本申请实施例通过对目标集群数据库的增量数据目录的待迁移增量数据进行抽取、转换和加载操作，得到目标集群数据库的hbase表的HFile文件，避免大批量数据直接写入Hbase造成的Hbase节点宕机问题。
[0009]可选地，所述将所述待迁移增量数据的增量数据目录上的待迁移增量数据同步至目标集群数据库的增量数据目录上，包括：压缩所述待迁移增量数据，得到压缩数据；将所
述压缩数据同步至目标集群数据库的增量数据目录上，其中，在同步过程中跳过循环冗余校验。
[0010]根据上述技术手段，本申请实施例可以通过压缩待迁移增量数据的增量数据目录上的待迁移增量数据，将压缩数据同步至目标集群数据库的增量数据目录上，并在同步过程中跳过循环冗余校验，提高了工作效率、节省时间并提供了稳定高效的混合云hbase集群增量数据同步能力。
[0011]可选地，所述获取源集群数据库的待迁移增量数据，包括：利用Export工具从所述源集群数据库的hbase表中导出目标版本的增量数据，并获取增量数据导出的统计数量；在所述统计数量大于导出数量阈值时，停止增量数据的导出，得到所述待迁移增量数据。
[0012]根据上述技术手段，本申请实施例利用Export工具从源集群数据库的hbase表中导出目标版本的增量数据，并获取增量数据导出的统计数量，当统计数量大于导出数量阈值，停止增量数据的导出，得到待迁移增量数据，保证读取hbase增量数据的效率。
[0013]本申请第二方面实施例提供一种数据库的增量数据迁移装置，包括：获取模块，用于获取源集群数据库的待迁移增量数据；同步模块，用于将所述待迁移增量数据存放至所述待迁移增量数据的增量数据目录上，并将所述待迁移增量数据的增量数据目录上的待迁移增量数据同步至目标集群数据库的增量数据目录上；迁移模块，用于根据所述目标集群数据库的增量数据目录的待迁移增量数据生成HFile文件，并将所述HFile文件加载至所述目标集群数据库的hbase表中。
[0014]可选地，所述迁移模块用于：对所述待迁移增量数据进行抽取、转换和加载操作，得到所述目标集群数据库的hbase表的HFile文件。
[0015]可选地，所述同步模块用于：压缩所述待迁移增量数据，得到压缩数据；将所述压缩数据同步至目标集群数据库的增量数据目录上，其中，在同步过程中跳过循环冗余校验。
[0016]可选地，所述获取模块用于：利用Export工具从所述源集群数据库的hbase表中导出目标版本的增量数据，并获取增量数据导出的统计数量；在所述统计数量大于导出数量阈值时，停止增量数据的导出，得到所述待迁移增量数据。
[0017]本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的数据库的增量数据迁移方法。
[0018]本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的数据库的增量数据迁移方法。
[0019]由此，本申请至少具有如下有益效果：
[0020](1)本申请实施例可以通过获取源集群数据库的待迁移增量数据并将其存放在待迁移增量数据的增量数据目录上，然后同步值目标集群数据库的增量数据目录上，最终生成HFile文件并将其加载值目标集群数据库的hbase表中，实现增量数据从公有云Hbase迁移到私有云Hbase，实现了在增量数据写入目标Hbase集群的过程中规避了宕机和性能降低问题，保证Hbase集群稳定的情况下加速增量数据接入。
[0021](2)本申请实施例通过对目标集群数据库的增量数据目录的待迁移增量数据进行抽取、转换和加载操作，得到目标集群数据库的hbase表的HFile文件，避免大批量数据直接写入Hbase造成的Hbase节点宕机问题。
[0022](3)本申请实施例可以通过压缩待迁移增量数据的增量数据目录上的待迁移增量数据，将压缩数据同步至目标集群数据库的增量数据目录上，并在同步过程中跳过循环冗余校验，提高了工作效率、节省时间并提供了稳定高效的混合云hbase集群增量数据同步能力。
[0023](4)本申请实施例利用Export工具从源集群数据库的hbase表中导出目标版本的增量数据，并获取增量数据导本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据库的增量数据迁移方法，其特征在于，包括以下步骤：获取源集群数据库的待迁移增量数据；将所述待迁移增量数据存放至所述待迁移增量数据的增量数据目录上，并将所述待迁移增量数据的增量数据目录上的待迁移增量数据同步至目标集群数据库的增量数据目录上；根据所述目标集群数据库的增量数据目录的待迁移增量数据生成HFile文件，并将所述HFile文件加载至所述目标集群数据库的hbase表中。2.根据权利要求1所述的方法，其特征在于，所述根据所述目标集群数据库的增量数据目录的待迁移增量数据生成HFile文件，包括：对所述待迁移增量数据进行抽取、转换和加载操作，得到所述目标集群数据库的hbase表的HFile文件。3.根据权利要求1所述的方法，其特征在于，所述将所述待迁移增量数据的增量数据目录上的待迁移增量数据同步至目标集群数据库的增量数据目录上，包括：压缩所述待迁移增量数据，得到压缩数据；将所述压缩数据同步至目标集群数据库的增量数据目录上，其中，在同步过程中跳过循环冗余校验。4.根据权利要求1
‑
3任意一项所述的方法，其特征在于，所述获取源集群数据库的待迁移增量数据，包括：利用Export工具从所述源集群数据库的hbase表中导出目标版本的增量数据，并获取增量数据导出的统计数量；在所述统计数量大于导出数量阈值时，停止增量数据的导出，得到所述待迁移增量数据。5.一种数据库的增量数据迁移装置，其特征在于，包括：获取模块，用于获取源集群数据库的待迁移增量数据；同步模块，用于将所述待迁移增量数据存放至所...

【专利技术属性】
技术研发人员：黄立，蓝文良，吴志军，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：