数据迁移方法、装置、电子设备和存储介质制造方法及图纸

本公开提供了一种数据迁移方法、装置、电子设备和存储介质，可以应用于计算机技术领域、大数据领域、金融领域或其他领域。该方法包括：响应于数据迁移请求，从源数据库中记录的待迁移数据表中确定第一目标字段；基于第一目标字段所存储的数据，确定第一目标字段所占用的字节数；基于第一目标字段所占用的字节数和第一目标字段与待迁移数据表的从属关系，更新数据迁移配置参数；以及执行数据迁移请求包括的数据迁移任务，以利用数据迁移工具，将源数据库中记录的待迁移数据迁移至目标数据库，其中，待迁移数据包括待迁移数据表所存储的数据。据。据。

【技术实现步骤摘要】
数据迁移方法、装置、电子设备和存储介质


[0001]本公开涉及计算机
、大数据领域和金融领域，更具体地，涉及一种数据迁移方法、装置、电子设备和存储介质。

技术介绍

[0002]数据迁移可以将一个数据库中的数据迁移至另一个数据库中，方便了用户进行系统更新或者设备更换，因此，在信息系统发展飞速的情况下，数据迁移也显得尤为重要。
[0003]目前现有的数据迁移工具有很多，但仍存在一定缺陷。例如，在使用数据复制服务(Data Replication Service，简称DRS)工具进行数据迁移时，若从oracle数据库向gauss数据库迁移，如果oracle有表数据含有大对象，则可能在迁移时发生内存泄露造成迁移任务的中断的问题。

技术实现思路

[0004]有鉴于此，本公开提供了一种数据迁移方法方法、装置、电子设备、可读存储介质和计算机程序产品。
[0005]本公开的一个方面提供了一种数据迁移方法，包括：
[0006]响应于数据迁移请求，从源数据库中记录的待迁移数据表中确定第一目标字段；
[0007]基于上述第一目标字段所存储的数据，确定上述第一目标字段所占用的字节数；
[0008]基于上述第一目标字段所占用的字节数和上述第一目标字段与上述待迁移数据表的从属关系，更新数据迁移配置参数；以及
[0009]执行上述数据迁移请求包括的数据迁移任务，以利用数据迁移工具，将上述源数据库中记录的待迁移数据迁移至目标数据库，其中，上述待迁移数据包括上述待迁移数据表所存储的数据。
[0010]根据本公开的实施例，上述响应于数据迁移请求，从源数据库中记录的待迁移数据表中确定第一目标字段，包括：响应于上述数据迁移请求，利用上述源数据库的系统视图，确定上述待迁移数据表中记录的多个数据字段各自的字段类型；以及从上述多个数据字段中确定满足预设条件的上述第一目标字段，其中，上述预设条件包括上述数据字段的字段类型为预设字段类型。
[0011]根据本公开的实施例，上述基于上述第一目标字段所占用的字节数和上述第一目标字段与上述待迁移数据表的从属关系，更新数据迁移配置参数，包括：基于上述第一目标字段所占用的字节数，确定第一字节数信息；基于上述第一目标字段所占用的字节数和上述第一目标字段与上述待迁移数据表的从属关系，确定第二字节数信息；基于上述第二字节数信息，确定第三字节数信息；以及分别利用上述第一字节数信息、上述第二字节数信息和上述第三字节数信息来更新上述数据迁移配置参数。
[0012]根据本公开的实施例，上述数据迁移配置参数包括进程配置参数、环境配置参数和任务配置参数；其中，上述分别利用上述第一字节数信息、上述第二字节数信息和上述第
三字节数信息来更新上述数据迁移配置参数，包括：利用第一预设命令，基于上述数据迁移请求包括的用户认证信息，登录与上述数据迁移工具关联的业务节点；利用上述第一字节数信息，更新上述业务节点的上述进程配置参数；利用第二预设命令，基于上述第二字节数信息来更新与上述业务节点关联的虚拟机的上述环境配置参数；以及利用上述第三字节数信息，更新上述数据迁移任务的任务配置参数。
[0013]根据本公开的实施例，上述基于上述第一目标字段所占用的字节数，确定第一字节数信息，包括：基于上述第一目标字段所占用的字节数，从上述第一目标字段中确定第二目标字段；以及基于上述第二目标字段所占用的字节数，确定上述第一字节数信息。
[0014]根据本公开的实施例，上述基于上述第一目标字段所占用的字节数和上述第一目标字段与上述待迁移数据表的从属关系，确定第二字节数信息，包括：基于上述第一目标字段与上述待迁移数据表的从属关系，将上述第一目标字段划分为至少一个字段集，上述字段集与上述待迁移数据表相对应；对于每个上述字段集，从上述字段集包括的第一目标字段中确定第三目标字段；以及基于上述至少一个字段集各自的上述第三目标字段所占用的字节数，确定上述第二字节数信息。
[0015]根据本公开的实施例，基于第二字节数信息，确定第三字节数信息，包括：基于数据迁移工具的固定参数和第二字节数信息，确定第四字节数信息；以及对第四字节数信息进行取整处理，得到第三字节数信息。
[0016]本公开的另一个方面提供了一种数据迁移装置，包括：
[0017]第一目标字段确定模块，用于响应于数据迁移请求，从源数据库中记录的待迁移数据表中确定第一目标字段；
[0018]字节数确定模块，用于基于上述第一目标字段所存储的数据，确定上述第一目标字段所占用的字节数；
[0019]配置参数更新模块，用于基于上述第一目标字段所占用的字节数和上述第一目标字段与上述待迁移数据表的从属关系，更新数据迁移配置参数；以及
[0020]数据迁移模块，用于执行上述数据迁移请求包括的数据迁移任务，以利用数据迁移工具，将上述源数据库中记录的待迁移数据迁移至目标数据库，其中，上述待迁移数据包括上述待迁移数据表所存储的数据。
[0021]本公开的另一方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个指令，其中，当所述一个或多个指令被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的方法。
[0022]本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
[0023]本公开的另一方面提供了一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
[0024]根据本公开的实施例，在进行数据迁移之前，可以检测源数据库中是否含有第一目标字段，并在确定包含目标字段的情况下，基于各个待迁移第一目标字段各自占用的字节数来更新数据迁移配置参数，并在完成参数配置后，进行从源数据库到目标数据库的数据迁移。其中，第一目标字段可以为大对象字段，通过使用大对象字段的存储参数来配置数据迁移配置参数，如内存大小等，可以使得单次数据迁移任务过程中，迁移的数据量会小于
数据迁移配置参数所限定的数据量，所以至少部分的克服了在数据迁移过程中，因迁移数据含有大对象字段而导致的内存溢出问题，更好的保障了数据迁移过程的安全性和数据的完整性。
附图说明
[0025]通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
[0026]图1示意性示出了根据本公开实施例的可以应用数据迁移方法和装置的示例性系统架构；
[0027]图2示意性示出了根据本公开实施例的数据迁移方法的流程图；
[0028]图3示意性示出了根据本公开实施例的第一目标字段确定的流程图；
[0029]图4示意性示出了根据本公开实施例的数据迁移配置参数更新流程图；
[0030]图5示意性示出了根据本公开实施例的数据迁移装置的框图；以及
[0031]图6示意性示出了根据本公开实施例的适于实现数据迁移方法的电子设备的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据迁移方法，包括：响应于数据迁移请求，从源数据库中记录的待迁移数据表中确定第一目标字段；基于所述第一目标字段所存储的数据，确定所述第一目标字段所占用的字节数；基于所述第一目标字段所占用的字节数和所述第一目标字段与所述待迁移数据表的从属关系，更新数据迁移配置参数；以及执行所述数据迁移请求包括的数据迁移任务，以利用数据迁移工具，将所述源数据库中记录的待迁移数据迁移至目标数据库，其中，所述待迁移数据包括所述待迁移数据表所存储的数据。2.根据权利要求1所述的方法，其中，所述响应于数据迁移请求，从源数据库中记录的待迁移数据表中确定第一目标字段，包括：响应于所述数据迁移请求，利用所述源数据库的系统视图，确定所述待迁移数据表中记录的多个数据字段各自的字段类型；以及从所述多个数据字段中确定满足预设条件的所述第一目标字段，其中，所述预设条件包括所述数据字段的字段类型为预设字段类型。3.根据权利要求1所述的方法，其中，所述基于所述第一目标字段所占用的字节数和所述第一目标字段与所述待迁移数据表的从属关系，更新数据迁移配置参数，包括：基于所述第一目标字段所占用的字节数，确定第一字节数信息；基于所述第一目标字段所占用的字节数和所述第一目标字段与所述待迁移数据表的从属关系，确定第二字节数信息；基于所述第二字节数信息，确定第三字节数信息；以及分别利用所述第一字节数信息、所述第二字节数信息和所述第三字节数信息来更新所述数据迁移配置参数。4.根据权利要求3所述的方法，其中，所述数据迁移配置参数包括进程配置参数、环境配置参数和任务配置参数；其中，所述分别利用所述第一字节数信息、所述第二字节数信息和所述第三字节数信息来更新所述数据迁移配置参数，包括：利用第一预设命令，基于所述数据迁移请求包括的用户认证信息，登录与所述数据迁移工具关联的业务节点；利用所述第一字节数信息，更新所述业务节点的所述进程配置参数；利用第二预设命令，基于所述第二字节数信息来更新与所述业务节点关联的虚拟机的所述环境配置参数；以及利用所述第三字节数信息，更新所述数据迁移任务的任务配置参数。5....

【专利技术属性】
技术研发人员：李博文，卫敏，华琪瑀，刘怡嘉，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：