本申请公开了一种数据迁移方法、装置、设备及可读存储介质，该方法包括：在待迁移集群与目标集群之间进行全量迁移；在全量迁移期间，监听待迁移集群的数据变动业务，并记录操作日志；在全量迁移完成后，关闭待迁移集群的数据变动业务；利用操作日志，确定在全量迁移期间变动的存储对象；迁移存储对象至目标集群。在本申请中，全量迁移期间不影响对外服务，二次迁移又可免去全量列举对象流程。相比直接中断读写业务的全量迁移，本申请采用全量迁移和二次迁移的方式，大大降低了业务中断时间，可以有效保障集群业务。可以有效保障集群业务。可以有效保障集群业务。
【技术实现步骤摘要】
一种数据迁移方法、装置、设备及可读存储介质
[0001]本申请涉及存储
，特别是涉及一种数据迁移方法、装置、设备及可读存储介质。
技术介绍
[0002]随着各行各业都先后涌现出了不同规模的数据中心，海量数据迁移已经成为企业解决存储空间不足和信息系统升级改造等过程中，必须面对的现实问题。
[0003]其中，对象存储一般基于全量迁移方法进行数据迁移。这种场景下的迁移，一般要求新旧集群暂停对外提供数据服务，且一旦迁移过程中因各种问题导致迁移进程中断，则需要从头开始再次迁移。从而导致长时间影响业务正常运行。
[0004]综上所述，如何有效地解决对象存储的集群间数据迁移等问题，是目前本领域技术人员急需解决的技术问题。
技术实现思路
[0005]本申请的目的是提供一种数据迁移方法、装置、设备及可读存储介质，以降低全量迁移对集群业务的影响。
[0006]为解决上述技术问题，本申请提供如下技术方案：
[0007]一种数据迁移方法，包括：
[0008]在待迁移集群与目标集群之间进行全量迁移；
[0009]在全量迁移期间，监听所述待迁移集群的数据变动业务，并记录操作日志；
[0010]在全量迁移完成后，关闭所述待迁移集群的数据变动业务；
[0011]利用所述操作日志，确定在全量迁移期间变动的存储对象；
[0012]迁移所述存储对象至所述目标集群。
[0013]优选地，监听所述待迁移集群的数据变动业务，并记录操作日志，包括：
[0014]监听所述数据变动业务，得到数据变动操作信息；
[0015]将所述数据变动操作信息写入所述操作日志。
[0016]优选地，所述在待迁移集群与目标集群之间进行全量迁移，包括：
[0017]创建迁移表；
[0018]遍历所述待迁移集群中桶分片，并在所述迁移表中记录所述桶分片的迁移状态；
[0019]对所述迁移状态为未执行的桶分片中对象进行迁移，并修改对应所述迁移状态为执行中；
[0020]在迁移完成后，在所述迁移表中修改对应所述迁移状态为已执行；
[0021]若所述待迁移集群所有所述桶分片的所述迁移状态均为已执行，则确定完成全量迁移。
[0022]优选地，还包括：
[0023]全量迁移中断后，利用所述迁移表确定迁移断点；
[0024]从所述迁移断点处，恢复全量迁移。
[0025]优选地，利用所述迁移表确定迁移断点，包括：
[0026]遍历所述迁移表，确定所述迁移状态为执行中的目标桶分片；
[0027]确定所述目标桶分片所在位置为所述迁移断点。
[0028]优选地，对所述迁移状态为未执行的桶分片中对象进行迁移，包括：
[0029]为所述迁移表中的桶分片各自分配一个迁移线程；
[0030]利用所述迁移线程对所述迁移状态为未执行桶分片中对象进行迁移。
[0031]优选地，在迁移所述存储对象至所述目标集群之后，还包括：
[0032]开启所述目标集群的数据变动业务。
[0033]一种数据迁移装置，包括：
[0034]全量迁移模块，用于在待迁移集群与目标集群之间进行全量迁移；
[0035]监听模块，用于在全量迁移期间，监听所述待迁移集群的数据变动业务，并记录操作日志；
[0036]业务控制模块，用于在全量迁移完成后，关闭所述待迁移集群的数据变动业务；
[0037]补迁移模块，用于利用所述操作日志，确定在全量迁移期间变动的存储对象；迁移所述存储对象至所述目标集群。
[0038]一种电子设备，包括：
[0039]存储器，用于存储计算机程序；
[0040]处理器，用于执行所述计算机程序时实现上述数据迁移方法的步骤。
[0041]一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述数据迁移方法的步骤。
[0042]应用本申请实施例所提供的方法，在待迁移集群与目标集群之间进行全量迁移；在全量迁移期间，监听待迁移集群的数据变动业务，并记录操作日志；在全量迁移完成后，关闭待迁移集群的数据变动业务；利用操作日志，确定在全量迁移期间变动的存储对象；迁移存储对象至目标集群。
[0043]全量迁移过程中，可待迁移集群正常提供服务，如数据变动业务；通过对数据变动业务进行监听，可以得到操作日志。基于该操作日志可以明确全量迁移过程中，产生变动的存储对象。然后，在全量迁移完成之后，将待迁移集群的数据变动业务关闭，基于所确定的全量迁移期间变动的存储对象，进而二次迁移。如此，全量迁移期间不影响对外服务，二次迁移又可免去全量列举对象流程。相比直接中断读写业务的全量迁移，本申请采用全量迁移和二次迁移的方式，大大降低了业务中断时间，可以有效保障集群业务。
[0044]相应地，本申请实施例还提供了与上述数据迁移方法相对应的数据迁移装置、设备和可读存储介质，具有上述技术效果，在此不再赘述。
附图说明
[0045]为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0046]图1为本申请实施例中一种数据迁移方法的实施流程图；
[0047]图2为本申请实施例中一种数据迁移方法的具体实施示意图；
[0048]图3为本申请实施例中一种数据迁移装置的结构示意图；
[0049]图4为本申请实施例中一种电子设备的结构示意图；
[0050]图5为本申请实施例中一种电子设备的具体结构示意图。
具体实施方式
[0051]为了使本
的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0052]请参考图1，图1为本申请实施例中一种数据迁移方法的流程图，该方法包括以下步骤：
[0053]S101、在待迁移集群与目标集群之间进行全量迁移。
[0054]其中，待迁移集群可以具体为旧集群，目标集群为新集群，二者均属于分布式对象存储系统中的集群。即，需要从旧集群中迁移数据至新集群。
[0055]需要注意的是，在本申请中，在待迁移集群与目标集群之间所进行的全量迁移不比关闭待迁移集群的业务。也就是说，待迁移集群仍然可以提供数据服务，且该服务不仅仅是查看服务，还可以包括数据变动服务。即，待迁移集群其内存储的对象仍然可以变动，如增加、删除和修改。
[0056]S102、在全量迁移期间，监听待迁移集群的数据变动业务，并记录操作日志本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据迁移方法，其特征在于，包括：在待迁移集群与目标集群之间进行全量迁移；在全量迁移期间，监听所述待迁移集群的数据变动业务，并记录操作日志；在全量迁移完成后，关闭所述待迁移集群的数据变动业务；利用所述操作日志，确定在全量迁移期间变动的存储对象；迁移所述存储对象至所述目标集群。2.根据权利要求1所述的数据迁移方法，其特征在于，监听所述待迁移集群的数据变动业务，并记录操作日志，包括：监听所述数据变动业务，得到数据变动操作信息；将所述数据变动操作信息写入所述操作日志。3.根据权利要求1所述的数据迁移方法，其特征在于，所述在待迁移集群与目标集群之间进行全量迁移，包括：创建迁移表；遍历所述待迁移集群中桶分片，并在所述迁移表中记录所述桶分片的迁移状态；对所述迁移状态为未执行的桶分片中对象进行迁移，并修改对应所述迁移状态为执行中；在一个桶分片中对象迁移完成后，在所述迁移表中修改对应所述迁移状态为已执行；若所述待迁移集群所有所述桶分片的所述迁移状态均为已执行，则确定完成全量迁移。4.根据权利要求3所述的数据迁移方法，其特征在于，还包括：全量迁移中断后，利用所述迁移表确定迁移断点；从所述迁移断点处，恢复全量迁移。5.根据权利要求4所述的数据迁移方法，其特征在于，利用所述迁移表确定迁移断点，包括：遍历所...
【专利技术属性】
技术研发人员：刘超，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。