数据迁移方法、装置、设备及存储介质制造方法及图纸

本申请实施例公开了一种数据迁移方法、装置、设备及存储介质。其中，该方法包括：根据预设的任务执行周期，确定目标数据迁移任务；其中，目标数据迁移任务中包括迁移方身份信息、通道连接参数和任务配置参数；根据迁移方身份信息，确定目标发送方和目标接收方；根据目标发送方和目标接收方的通道连接参数，建立与目标发送方之间的第一数据传输通道，以及与目标接收方之间的第二数据传输通道；根据任务配置参数，确定待迁移数据，基于第一数据传输通道获取目标发送方中的待迁移数据，将待迁移数据通过第二数据传输通道发送至目标接收方。本申请实施例实现了在复杂多样的迁移需求下对数据的迁移，提高了数据迁移的效率。提高了数据迁移的效率。提高了数据迁移的效率。

【技术实现步骤摘要】
数据迁移方法、装置、设备及存储介质


[0001]本申请实施例涉及大数据处理
，尤其涉及一种数据迁移方法、装置、设备及存储介质。

技术介绍

[0002]目前，随着大数据时代的来临，需要存储和处理的数据量不断提升，传统的数据库已经难以满足对海量数据的存储和处理，需要将海量数据迁移到大数据平台进行存储和处理。在数据迁移的过程中，通常会涉及到大量的复杂多样的数据迁移需求，而现有技术通常无法满足数据迁移过程中所涉及到的复杂多样的迁移需求，降低了数据迁移的效率，减小了用户在进行数据迁移过程中的使用体验感。

技术实现思路

[0003]本申请实施例提供一种数据迁移方法、装置、设备及存储介质，以实现在复杂多样的迁移需求下对数据的迁移。
[0004]第一方面，本申请实施例提供了一种数据迁移方法，该方法包括：
[0005]根据预设的任务执行周期，确定目标数据迁移任务；其中，所述目标数据迁移任务中包括迁移方身份信息、通道连接参数和任务配置参数；
[0006]根据所述迁移方身份信息，确定目标发送方和目标接收方；
[0007]根据所述目标发送方和目标接收方的通道连接参数，建立与目标发送方之间的第一数据传输通道，以及与目标接收方之间的第二数据传输通道；
[0008]根据所述任务配置参数，确定待迁移数据，基于第一数据传输通道获取所述目标发送方中的待迁移数据，将所述待迁移数据通过第二数据传输通道发送至所述目标接收方。
[0009]第二方面，本申请实施例还提供了数据迁移装置，该装置包括：
[0010]迁移任务确定模块，用于根据预设的任务执行周期，确定目标数据迁移任务；其中，所述目标数据迁移任务中包括迁移方身份信息、通道连接参数和任务配置参数；
[0011]收发方确定模块，用于根据所述迁移方身份信息，确定目标发送方和目标接收方；
[0012]传输通道建立模块，用于根据所述目标发送方和目标接收方的通道连接参数，建立与目标发送方之间的第一数据传输通道，以及与目标接收方之间的第二数据传输通道；
[0013]迁移数据发送模块，用于根据所述任务配置参数，确定待迁移数据，基于第一数据传输通道获取所述目标发送方中的待迁移数据，将所述待迁移数据通过第二数据传输通道发送至所述目标接收方。
[0014]第三方面，本申请实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如本申请实施例中任一所述的数据迁移方法。
[0015]第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机
程序，其中，该程序被处理器执行时实现如本申请实施例中任一所述的数据迁移方法。
[0016]本申请实施例通过根据预设的任务执行周期，确定目标数据迁移任务；根据迁移方身份信息，确定目标发送方和目标接收方；根据目标发送方和目标接收方的通道连接参数，建立数据迁移管理系统与目标发送方之间的第一数据传输通道，以及与目标接收方之间的第二数据传输通道；根据任务配置参数，确定待迁移数据，基于第一数据传输通道获取目标发送方中的待迁移数据，将待迁移数据通过第二数据传输通道发送至目标接收方。上述方案通过预先配置任务配置参数，将目标发送方的待迁移数据发送至目标接收方，实现了在复杂多样化迁移需求下，对数据进行迁移。根据自身实际需求，在任务配置参数中配置待迁移数据，满足了数据迁移多样化需求的同时，提高了数据迁移效率，以及增强了对数据迁移的管理强度。
附图说明
[0017]图1是本申请实施例一中的一种数据迁移方法的流程示意图；
[0018]图2是本申请实施例二中的一种数据迁移方法的流程示意图；
[0019]图3是本申请实施例三中的一种数据迁移方法的流程示意图；
[0020]图4是本申请实施例四中的一种数据迁移装置的结构框图；
[0021]图5是本申请实施例五中的一种电子设备的结构示意图。
具体实施方式
[0022]下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
[0023]实施例一
[0024]图1为本申请实施例一提供的一种数据迁移方法的流程示意图，本实施例可适用于数据库与文件系统之间进行数据迁移的情况，该方法可以由配置于数据迁移管理系统的数据迁移装置来执行，该装置可采用软件和/或硬件的方式实现，如图1所示，该方法具体包括如下步骤：
[0025]S110、根据预设的任务执行周期，确定目标数据迁移任务；其中，目标数据迁移任务中包括迁移方身份信息、通道连接参数和任务配置参数。
[0026]任务执行周期可以是执行数据迁移任务的时间周期，例如，任务执行周期可以是1天、1周、1月或1年等，具体可以由相关技术人员根据实际需求进行设定，不同数据迁移任务的任务执行周期可以相同或不同。示例性的，若存在数据迁移任务的任务执行周期为1天，且每天的任务开始时间为9:00，则每天9:00自动执行该数据迁移任务。
[0027]目标数据迁移任务可以是根据预设的任务执行周期确定的，在当前时间下所要执行的数据迁移任务。数据迁移任务的数量可以为至少一个，且数据迁移任务的任务执行周期可以相同或不同，因此，根据数据迁移任务的执行周期可以确定，在当前时间下，可以存在至少一个目标数据迁移任务。目标数据迁移任务中可以包括迁移方身份信息、通道连接参数和任务配置参数。其中，迁移方身份信息用于确定目标发送方和目标接收方，迁移方身份信息具体可以是能够表明发送方和接收方身份信息的标识信息；通道连接参数用于建立
与目标发送方和目标接收方的数据传输通道，通道连接参数具体可以是能够使得数据迁移管理系统分别与目标发送方和目标接收方建立通讯关系的连接参数；任务配置参数用于确定待迁移数据，具体可以是待迁移数据的源地址等参数。
[0028]示例性的，根据数据迁移任务预设的任务执行周期，在当前时间下，可以确定至少一个数据迁移任务，将至少一个数据迁移任务作为目标数据迁移任务。
[0029]S120、根据迁移方身份信息，确定目标发送方和目标接收方。
[0030]发送方可以是数据库或文件系统，文件系统可以是本地文件系统或分布式文件系统，相应的，接收方也可以是数据库或文件系统。示例性的，若发送方为数据库，则接收方可以为文件系统；若发送方为文件系统，则接收方可以为数据库，具体可以根据实际迁移需求对发送方和接收方进行确定。
[0031]目标发送方可以是从至少一个发送方中确定的用于进行数据发送的一方；目标接收方可以是从至少一个接收方中确定的用于进行数据接收的一方。迁移方身份信息可以包括目标发送方身份信息和目标接收方身份信息。以目标发送方为数据库，目标接收方为文件系统为例，目标发送方身份信息可以包括目标数据库名称或目标数据库用户名等本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据迁移方法，其特征在于，由数据迁移管理系统执行，所述方法包括：根据预设的任务执行周期，确定目标数据迁移任务；其中，所述目标数据迁移任务中包括迁移方身份信息、通道连接参数和任务配置参数；根据所述迁移方身份信息，确定目标发送方和目标接收方；根据所述目标发送方和目标接收方的通道连接参数，建立与目标发送方之间的第一数据传输通道，以及与目标接收方之间的第二数据传输通道；根据所述任务配置参数，确定待迁移数据，基于第一数据传输通道获取所述目标发送方中的待迁移数据，将所述待迁移数据通过第二数据传输通道发送至所述目标接收方。2.根据权利要求1所述的方法，其特征在于，根据预设的任务执行周期，确定目标数据迁移任务，包括：获取当前时间；根据所述当前时间和预设的候选数据迁移任务对应的任务执行周期，确定目标数据迁移任务。3.根据权利要求1所述的方法，其特征在于，在根据所述目标发送方和目标接收方的通道连接参数，建立与目标发送方之间的第一数据传输通道，以及与目标接收方之间的第二数据传输通道之后，还包括：向所述目标发送方和所述目标接收方发送文本信息获取指令；判断是否获取到所述目标发送方和所述目标接收方的文本信息，若是，则确定所述第一数据传输通道和所述第二数据传输通道建立成功。4.根据权利要求1所述的方法，其特征在于，所述任务配置参数包括目标数据位置信息参数和数据迁移量配置参数；相应的，根据所述任务配置参数，确定待迁移数据，包括：根据所述目标数据位置信息参数，从所述目标发送方中确定所述目标迁移数据；根据所述数据迁移量配置参数，确定是否对所述目标迁移数据进行全量传输；若否，根据预设的数据筛选规则，从所述目标迁移数据中确定待迁移数据。5.根据权利要求1所述的方法，其特征在于，所述任务配置参数包括数据压缩配置参数；相应的，在基于第一数据传输通道获取所述目标发送方中的待迁移数据之后，还包括：根据数据压缩配置参...

【专利技术属性】
技术研发人员：杨良志，白琳，汪志新，周光辉，杨建森，
申请(专利权)人：彩讯科技股份有限公司，
类型：发明
国别省市：