一种数据迁移方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种数据迁移方法、装置、设备及存储介质，涉及数据迁移技术领域，包括：获取待迁移HBase集群中待迁移的数据表，得到待迁移数据表列表；根据所述待迁移数据表列表创建新快照，并将所述新快照迁移至目标HBase集群中；对位于所述目标HBase集群的所述新快照中的所述待迁移数据表列表对应的数据内容进行恢复，得到恢复后的数据表；对所述恢复后的数据表进行数据校验，若校验通过则表明所述待迁移数据表列表迁移成功。本申请可以利用HBase集群自身的功能对集群进行迁移，减少集群业务中断时间，在迁移时能够保证数据的可用性，同时节约了成本，保证了数据的安全。保证了数据的安全。保证了数据的安全。

【技术实现步骤摘要】
一种数据迁移方法、装置、设备及存储介质


[0001]本申请涉及数据迁移
，特别涉及一种数据迁移方法、装置、设备及存储介质。

技术介绍

[0002]目前，在HBase(一个分布式的、面向列的开源数据库)集群的使用过程中，经常会因为容灾备份、业务迁移等场景需要进行数据迁移。在大多数情况下，可以跟用户协商采用离线数据迁移的方式进行迁移，即将整个HBase集群的数据(data)存储目录进行搬迁。但是，当HBase集群数据量比较多时，文件拷贝的时间很长，对客户的业务影响的时间也较长，往往在客户给的时间窗口无法完成，因此，如何对HBase集群进行迁移是本领域目前还有待进一步解决的问题。

技术实现思路

[0003]有鉴于此，本申请的目的在于提供一种数据迁移方法、装置、设备及存储介质，能够对HBase集群进行迁移，减少集群业务中断时间，在迁移时能够保证数据的可用性，同时节约成本，保证数据的安全。其具体方案如下：
[0004]第一方面，本申请公开了一种数据迁移方法，包括：
[0005]获取待迁移HBase集群中待迁移的数据表，得到待迁移数据表列表；
[0006]根据所述待迁移数据表列表创建新快照，并将所述新快照迁移至目标HBase集群中；
[0007]对位于所述目标HBase集群的所述新快照中的所述待迁移数据表列表对应的数据内容进行恢复，得到恢复后的数据表；
[0008]对所述恢复后的数据表进行数据校验，若校验通过则表明所述待迁移数据表列表迁移成功。
[0009]可选的，所述将所述新快照迁移至目标HBase集群中，包括：
[0010]将所述新快照迁移至目标HBase集群的临时目录中，并对当前所述目标HBase集群的HBase数据存储目录中记录的HBase数据表和对应的HFile文件进行移动备份，再将所述待迁移数据表列表从所述临时目录迁移至所述HBase数据存储目录中。
[0011]可选的，所述对位于所述目标HBase集群的所述新快照中的所述待迁移数据表列表对应的数据内容进行恢复，得到恢复后的数据表，包括：
[0012]根据所述待迁移数据表列表的顺序依次对位于所述目标HBase集群的所述新快照中的所述待迁移数据表列表对应的数据内容进行恢复，得到恢复后的数据表。
[0013]可选的，所述根据所述待迁移数据表列表创建新快照之前，还包括：
[0014]对所述待迁移HBase集群中的旧快照进行删除。
[0015]可选的，所述将所述新快照迁移至目标HBase集群的临时目录中，包括：
[0016]计算所述待迁移数据表列表的数据总量，得到总条数；
[0017]将所述总条数和所述新快照迁移至目标HBase集群的临时目录中。
[0018]可选的，所述对所述恢复后的数据表进行数据校验，包括：
[0019]计算所述恢复后的数据表的数据总量，得到目标条数；
[0020]判断所述目标条数与所述总条数是否一致，若一致则将从所述恢复后的数据表中随机抽取的数据内容与所述待迁移数据表列表中的数据内容进行对比，得到对比结果；
[0021]若所述对比结果一致则校验通过，并删除所述HBase数据表和对应的所述HFile文件，若所述对比结果不一致则生成并打印校验失败的错误日志信息。
[0022]可选的，所述数据迁移方法，还包括：
[0023]在创建所述新快照或迁移所述待迁移数据表列表的过程中，若出现异常，则将出现异常的数据表作为待迁移的数据表重新进行迁移。
[0024]第二方面，本申请公开了一种数据迁移装置，包括：
[0025]数据表获取模块，用于获取待迁移HBase集群中待迁移的数据表，得到待迁移数据表列表；
[0026]快照创建模块，用于根据所述待迁移数据表列表创建新快照；
[0027]快照迁移模块，用于将所述新快照迁移至目标HBase集群中；
[0028]数据恢复模块，用于对位于所述目标HBase集群的所述新快照中的所述待迁移数据表列表对应的数据内容进行恢复，得到恢复后的数据表；
[0029]数据校验模块，用于对所述恢复后的数据表进行数据校验，若校验通过则表明所述待迁移数据表列表迁移成功。
[0030]第三方面，本申请公开了一种电子设备，包括处理器和存储器；其中，所述处理器执行所述存储器中保存的计算机程序时实现前述的数据迁移方法。
[0031]第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述的数据迁移方法。
[0032]可见，本申请先获取待迁移HBase集群中待迁移的数据表，得到待迁移数据表列表，然后根据所述待迁移数据表列表创建新快照，并将所述新快照迁移至目标HBase集群中，接着对位于所述目标HBase集群的所述新快照中的所述待迁移数据表列表对应的数据内容进行恢复，得到恢复后的数据表，再对所述恢复后的数据表进行数据校验，若校验通过则表明所述待迁移数据表列表迁移成功。本申请可以利用HBase集群自身的功能对集群进行迁移，减少集群业务中断时间，在迁移时能够保证数据的可用性，同时节约了成本，保证了数据的安全。
附图说明
[0033]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0034]图1为本申请公开的一种数据迁移方法流程图；
[0035]图2为本申请公开的一种具体的快照创建及迁移方法流程图；
[0036]图3为本申请公开的一种具体的快照备份及数据恢复流程示意图；
[0037]图4为本申请公开的一种具体的数据迁移流程示意图；
[0038]图5为本申请公开的一种具体的数据校验示意图；
[0039]图6为本申请公开的一种数据迁移装置结构示意图；
[0040]图7为本申请公开的一种电子设备结构图。
具体实施方式
[0041]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0042]本申请实施例公开了一种数据迁移方法，参见图1所示，该方法包括：
[0043]步骤S11：获取待迁移HBase集群中待迁移的数据表，得到待迁移数据表列表。
[0044]本实施例中，首先对待迁移HBase集群中待迁移的数据表进行获取，得到相应的待迁移数据表列表。需要指出的是，所述待迁移数据表列表既可以是用户自定义的数据表列表，也可以是HBase集群中所有的数据表列表。
[0045]步骤S12：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据迁移方法，其特征在于，包括：获取待迁移HBase集群中待迁移的数据表，得到待迁移数据表列表；根据所述待迁移数据表列表创建新快照，并将所述新快照迁移至目标HBase集群中；对位于所述目标HBase集群的所述新快照中的所述待迁移数据表列表对应的数据内容进行恢复，得到恢复后的数据表；对所述恢复后的数据表进行数据校验，若校验通过则表明所述待迁移数据表列表迁移成功。2.根据权利要求1所述的数据迁移方法，其特征在于，所述将所述新快照迁移至目标HBase集群中，包括：将所述新快照迁移至目标HBase集群的临时目录中，并对当前所述目标HBase集群的HBase数据存储目录中记录的HBase数据表和对应的HFile文件进行移动备份，再将所述待迁移数据表列表从所述临时目录迁移至所述HBase数据存储目录中。3.根据权利要求1所述的数据迁移方法，其特征在于，所述对位于所述目标HBase集群的所述新快照中的所述待迁移数据表列表对应的数据内容进行恢复，得到恢复后的数据表，包括：根据所述待迁移数据表列表的顺序依次对位于所述目标HBase集群的所述新快照中的所述待迁移数据表列表对应的数据内容进行恢复，得到恢复后的数据表。4.根据权利要求1所述的数据迁移方法，其特征在于，所述根据所述待迁移数据表列表创建新快照之前，还包括：对所述待迁移HBase集群中的旧快照进行删除。5.根据权利要求2所述的数据迁移方法，其特征在于，所述将所述新快照迁移至目标HBase集群的临时目录中，包括：计算所述待迁移数据表列表的数据总量，得到总条数；将所述总条数和所述新快照迁移至目标HBase集群的临时目录中。...

【专利技术属性】
技术研发人员：霍存可，王帅阳，黄召军，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：