数据迁移方法和装置制造方法及图纸

本申请公开了数据迁移方法和装置，涉及计算机技术领域。该方法包括：将新数据的读写地址从数据源端切换至数据目的端；开启双端读取操作，从数据源端以及数据目的端读取新数据，响应于当前数据迁移状态属于第一状态，将新数据基于串行化写入方式写入数据目的端；在预设时长后关闭串行化写入方式，将新数据写入数据目的端；将数据源端的存量数据迁移至数据目的端，采用该方法可以提高数据迁移的可靠性。采用该方法可以提高数据迁移的可靠性。采用该方法可以提高数据迁移的可靠性。

【技术实现步骤摘要】
数据迁移方法和装置


[0001]本公开涉及计算机
，具体涉及数据迁移方法和装置。

技术介绍

[0002]云计算是一种计算服务，作为云上存储服务提供方，其存储系统在不断开发升级或者更新换代。在新旧存储系统进行切换时，数据读写服务的可靠性至关重要。现有的在新旧存储系统切换时，数据迁移的方法是将存量数据从旧存储系统迁移到新存储系统，并将对新生成的数据读写操作从新存储系统镜像回源至就存储系统，以实现新旧系统切换过程中的数据读写服务的连续性。
[0003]然而，现有的数据迁移方法存在可靠性差的问题。

技术实现思路

[0004]本公开提供了一种数据迁移方法、装置、电子设备以及计算机可读存储介质。
[0005]根据本公开的第一方面，提供了一种数据迁移方法，包括：将新数据的读写地址从数据源端切换至数据目的端，其中，新数据是指数据生成端在数据迁移过程中生成的数据；开启双端读取操作，从数据源端以及数据目的端读取新数据；响应于当前数据迁移状态属于第一状态，将新数据基于串行化写入方式写入数据目的端；在预设时长后关闭串行化写入方式，将新数据写入数据目的端；将数据源端的存量数据迁移至数据目的端。
[0006]在一些实施例中，从数据源端以及数据目的端读取新数据，包括：优先从数据目的端读取新数据；响应于从数据目的端未读取到新数据，从数据源端读取新数据。
[0007]在一些实施例中，响应于当前数据迁移状态属于第一状态，将新数据基于串行化写入方式写入数据目的端，包括：响应于确定存在第一锁，判断第一锁是否有效，其中，第一锁用于锁定数据写入权限；响应于确定第一锁有效，基于第一锁将新数据基于串行化写入方式写入数据目的端。
[0008]在一些实施例中，数据迁移方法还包括：响应于当前数据迁移状态属于第二状态，将新数据基于串行化写入方式写入数据源端。
[0009]在一些实施例中，响应于当前数据迁移状态属于第二状态，将新数据基于串行化写入方式写入数据源端，包括：响应于确定存在第二锁，判断第二锁是否有效，其中，第二锁用于锁定数据写入权限；响应于确定第二锁有效，基于第一锁将新数据基于串行化写入方式写入数据源端。
[0010]在一些实施例中，在开启双端读取操作之前，方法还包括：对将新数据的读写地址从数据源端切换至数据目的端的切换操作进行验证；响应于确定验证通过，为切换操作分配后端存储集群，其中，后端存储集群包括数据源端或者数据目的端。
[0011]在一些实施例中，数据迁移方法还包括：关闭双端读取操作，从数据目的端读取新数据。
[0012]根据本公开的第二方面，提供了一种数据迁移装置，包括：切换单元，被配置为将
新数据的读写地址从数据源端切换至数据目的端，其中，新数据是指数据生成端在数据迁移过程中生成的数据；双端读取单元，被配置为开启双端读取操作，从数据源端以及数据目的端读取新数据；第一写入单元，被配置为响应于当前数据迁移状态属于第一状态，将新数据基于串行化写入方式写入数据目的端；第二写入单元，被配置为在预设时长后关闭串行化写入方式，将新数据写入数据目的端；数据迁移单元，被配置为将数据源端的存量数据迁移至数据目的端。
[0013]在一些实施例中，双端读取单元，包括：第一读取模块，被配置为优先从数据目的端读取新数据；第二读取模块，被配置为响应于从数据目的端未读取到新数据，从数据源端读取新数据。
[0014]在一些实施例中，第一写入单元，包括：第一判断模块，被配置为响应于确定存在第一锁，判断第一锁是否有效，其中，第一锁用于锁定数据写入权限；第一写入模块，被配置为响应于确定第一锁有效，基于第一锁将新数据基于串行化写入方式写入数据目的端。
[0015]在一些实施例中，数据迁移装置还包括：第三写入单元，被配置为响应于当前数据迁移状态属于第二状态，将新数据基于串行化写入方式写入数据源端。
[0016]在一些实施例中，第三写入单元，包括：第二判断模块，被配置为响应于确定存在第二锁，判断第二锁是否有效，其中，第二锁用于锁定数据写入权限；第二写入模块，被配置为响应于确定第二锁有效，基于第一锁将新数据基于串行化写入方式写入数据源端。
[0017]在一些实施例中，在开启双端读取操作之前，装置还包括：对将新数据的读写地址从数据源端切换至数据目的端的切换操作进行验证；响应于确定验证通过，为切换操作分配后端存储集群，其中，后端存储集群包括数据源端或者数据目的端。
[0018]在一些实施例中，数据迁移装置还包括：关闭单元，被配置为关闭双端读取操作，从数据目的端读取新数据。
[0019]根据本公开的第三方面，本公开的实施例提供了一种电子设备，包括：一个或多个处理器：存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面提供的数据迁移方法或者实现如第二方面提供的用于预测信息的方法。
[0020]根据本公开的第四方面，本公开的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中，程序被处理器执行时实现如第一方面提供的数据迁移方法或者实现如第二方面提供的用于预测信息的方法。
[0021]本公开提供的数据迁移方法、装置，包括：将新数据的读写地址从数据源端切换至数据目的端；开启双端读取操作，从数据源端以及数据目的端读取新数据，响应于当前数据迁移状态属于第一状态，将新数据基于串行化写入方式写入数据目的端；在预设时长后关闭串行化写入方式，将新数据写入数据目的端；将数据源端的存量数据迁移至数据目的端，该方案能够应用于大规模的异构存储系统间的数据热迁移场景，可以避免数据迁移周期长尾问题和数据一致性问题，提高数据迁移服务可用性、性能及数据可靠性。
[0022]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0023]附图用于更好地理解本方案，不构成对本申请的限定。其中：
[0024]图1是本申请的实施例可以应用于其中的示例性系统架构图；
[0025]图2是根据本申请的数据迁移方法的一个实施例的流程图；
[0026]图3是根据本申请的数据迁移方法的另一个实施例的流程图；
[0027]图4是根据本申请的数据迁移方法中一个应用场景的流程图；
[0028]图5是根据本申请的数据迁移方法中一个应用场景的另一个流程图；
[0029]图6是根据本申请的数据迁移方法中一个应用场景中数据写入的流程示意图；
[0030]图7是根据本申请的数据迁移装置的一个实施例的结构示意图；
[0031]图8是用来实现本申请实施例的数据迁移方法的电子设备的框图。
具体实施方式
[0032]以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据迁移方法，包括：将新数据的读写地址从数据源端切换至数据目的端，其中，所述新数据是指数据生成端在数据迁移过程中生成的数据；开启双端读取操作，从所述数据源端以及所述数据目的端读取所述新数据；响应于当前数据迁移状态属于第一状态，将所述新数据基于串行化写入方式写入所述数据目的端；在预设时长后关闭串行化写入方式，将所述新数据写入所述数据目的端；将所述数据源端的存量数据迁移至所述数据目的端。2.根据权利要求1所述的方法，其中，所述从所述数据源端以及所述数据目的端读取所述新数据，包括：优先从所述数据目的端读取所述新数据；响应于从所述数据目的端未读取到所述新数据，从所述数据源端读取所述新数据。3.根据权利要求1所述的方法，其中，所述响应于当前数据迁移状态属于第一状态，将所述新数据基于串行化写入方式写入所述数据目的端，包括：响应于确定存在第一锁，判断所述第一锁是否有效，其中，所述第一锁用于锁定数据写入权限；响应于确定所述第一锁有效，基于所述第一锁将所述新数据基于串行化写入方式写入所述数据目的端。4.根据权利要求1所述的方法，其中，所述方法还包括：响应于当前数据迁移状态属于第二状态，将所述新数据基于串行化写入方式写入所述数据源端。5.根据权利要求4所述的方法，其中，所述响应于当前数据迁移状态属于第二状态，将所述新数据基于串行化写入方式写入所述数据源端，包括：响应于确定存在第二锁，判断所述第二锁是否有效，其中，所述第二锁用于锁定数据写入权限；响应于确定所述第二锁有效，基于所述第一锁将所述新数据基于串行化写入方式写入所述数据源端。6.根据权利要求1
‑
5之一所述的方法，其中，在开启双端读取操作之前，所述方法还包括：对将新数据的读写地址从数据源端切换至数据目的端的切换操作进行验证；响应于确定验证通过，为所述切换操作分配后端存储集群，其中，所述后端存储集群包括数据源端或者数据目的端。7.根据权利要求1
‑
5之一所述的方法，其中，在将所述数据源端的存量数据迁移至所述数据目的端之后，所述方法还包括：关闭双端读取操作，从所述数据目的端读取所述新数据。8.一种数据迁移装置，包括：切换单元，被配置为将新数据的读写地址从数据源端切换至数据目的端，其中，所述新数据是指数据生成端在数据迁移过程中生成的数据；双端读取单元，被配置为开启双端读取操作，从所述数据源端以及所述数据目的端读
取所述新数据；第一写...

【专利技术属性】
技术研发人员：吕洋，景磊，蔡庆明，陈雪，张旭，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：