一种数据迁移方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术提供了一种数据迁移方法、装置、电子设备和存储介质，该方法包括：获取待迁移数据的数据信息；根据待迁移数据的数据信息确定待迁移数据的迁移类型，其中，迁移类型包括全量迁移、增量迁移和全量增量迁移；按照确定好的迁移类型迁移数据。本发明专利技术可以通过将待迁移数据的数据信息将确定出迁移类型，迁移类型包括全量迁移、增量迁移和全量增量迁移，即考虑针对数据信息的不同，将数据库中的待迁移数据进行区分，并采用不同的迁移类型，从而提高了数据迁移过程的健壮性，提高了数据迁移的效率。率。率。

【技术实现步骤摘要】
一种数据迁移方法、装置、电子设备和存储介质


[0001]本专利技术涉及数据库
，尤其涉及一种数据迁移方法、装置、电子设备和存储介质。

技术介绍

[0002]随着互联网和计算机技术的迅速发展，越来越多的业务可以在网上进行，用户可以通过互联网向业务系统提交业务请求，业务系统根据接收的业务请求进行相应的业务处理，并向用户返回业务处理结果，在此过程中，业务系统会生成相应的业务数据，并将这些业务数据以数据记录的形式存储在该业务系统的数据库中。在实际应用中，为了提高业务处理能力，经常需要对业务系统进行更新。当要将原业务系统升级为新业务系统时，若新业务系统使用的数据库(称为：目标数据库)与原业务系统使用的数据库(称为：源数据库)不相同，则需要相应地将源数据库中的数据向目标数据库中迁移，以便于新业务系统能够正常地为用户服务。
[0003]数据迁移的实现可以分为三个阶段：数据迁移前的准备、数据迁移的实施和数据迁移后的校验。数据迁移的成功与否是新业务系统成功上线的重要前提，也是新业务系统今后稳定运行的有力保障。如果数据迁移失败，新业务系统将不能正常启用；如果数据迁移的质量较差，没能屏蔽全部的垃圾数据，则会严重影响新业务系统的稳定性，新业务系统一旦访问这些垃圾数据，可能会由这些垃圾数据产生新的错误数据,严重时还会导致系统异常等不可预知的异常。相反，成功的数据迁移可以有效地保障新业务系统的顺利运行，能够保留珍贵的历史数据。历史数据对于公司无疑都是一种非常珍贵的资源。特别是金融行业，其数据都是积累了上十年乃至几十年的数据，其数据量非常大，且冗余数据也比较多，这也给数据迁移工作带来了新的挑战。
[0004]要完成应用数据的迁移，需要对待迁移数据源进行详细的分析，包括数据的存储方式、数据量、数据的时间跨度；建立新旧系统数据库的数据字典；对旧系统的历史数据进行质量分析，新旧系统数据结构的差异分析；建立新老系统数据库表的映射关系，对无法映射字段的处理方法；开发、部属ETL工具，编写数据转换的测试计划和校验程序；制定数据转换的应急措施。
[0005]数据迁移可以采用系统切换前通过工具迁移、系统切换前采用手工录入、系统切换后通过新系统生成这三种方式完成。通过工具迁移的方式可以根据预案系统数据的某种抽象规则转换为新系统里的数据、序列，直接进行迁移，数据完全来源于源系统，数据迁移过程中需要手工整理和人工干预的情况很少，可以保证业务平滑过渡以及高准确性；通过手工录入的方式进行数据迁移，一般采取excel表格的形式清查并且录入系统数据，这种方式的数据完全来源于数据源，需要大量的人工干预，况且容易引发人为的数据错乱，可用性相比使用工具迁移较差。另一方面，金融行业数据有着数据量大，安全性要求高的特性，通过收工录入的方式迁移不满足该特性要求；通过新系统生成数据的方式进行数据迁移，在系统切换后，会通过新系统的相关功能利用系统中现有的数据生成新系统中的新数据，其
实施的前提是这些数据能够通过其他数据生成。面对金融行业数据关联性较高，历史数据生成方式难以回溯的特性，这种迁移方式也不适用于金融行业数据的迁移。因此，如何提高数据迁移的质量是行业难题。

技术实现思路

[0006]本专利技术提供了一种数据迁移方法、装置、电子设备和存储介质，目的在于提供一种提高数据迁移过程的健壮性，提高数据迁移效率和稳定性的方法及装置，解决目前数据迁移效率低的技术问题。
[0007]本专利技术一方面提供一种数据迁移方法，所述方法包括：
[0008]获取待迁移数据的数据信息；
[0009]根据所述待迁移数据的数据信息确定所述待迁移数据的迁移类型，其中，所述迁移类型包括全量迁移、增量迁移和全量增量迁移；
[0010]按照所述迁移类型迁移所述待迁移数据。
[0011]在一实施例中，所述获取待迁移数据的数据信息包括：
[0012]获取所述待迁移数据的表信息，其中，所述表信息包括表的数量、表的数据量和表的字段中的至少一个；
[0013]将所述表的数量、所述表的数据量和所述表的字段中的至少一个作为所述待迁移数据的数据信息。
[0014]在一实施例中，所述根据所述待迁移数据的数据信息确定所述待迁移数据的迁移类型包括：
[0015]根据所述待迁移数据的表信息，将所述待迁移数据划分为全量同步表和或增量同步表；
[0016]当将所述待迁移数据划分为全量同步表时，确定所述待迁移数据的迁移类型为全量迁移；
[0017]当将所述待迁移数据划分为增量同步表时，确定所述待迁移数据的迁移类型为增量迁移；
[0018]当将所述待迁移数据划分为全量同步表和增量同步表时，确定所述待迁移数据的迁移类型为全量增量迁移。
[0019]在一实施例中，所述按照所述迁移类型迁移所述待迁移数据包括：
[0020]当确定所述待迁移数据的迁移类型为全量迁移时，配置所述全量同步表的迁移条件；
[0021]建立所述全量同步表的迁移链路；
[0022]基于所述迁移条件和所述迁移链路迁移所述待迁移数据。
[0023]在一实施例中，按照所述迁移类型迁移所述待迁移数据包括：
[0024]当确定所述待迁移数据的迁移类型为全量增量迁移时，配置所述全量同步表和增量同步表的迁移条件；
[0025]建立所述全量同步表和增量同步表的迁移链路；
[0026]基于所述迁移条件和所述迁移链路迁移所述待迁移数据。
[0027]另一方面，本专利技术提供了一种数据迁移装置，所述装置包括：
[0028]获取模块，用于获取待迁移数据的数据信息；
[0029]确定模块，用于根据所述待迁移数据的数据信息确定所述待迁移数据的迁移类型，其中，所述迁移类型包括全量迁移、增量迁移和全量增量迁移；
[0030]迁移模块，用于按照所述迁移类型迁移所述待迁移数据。
[0031]在一实施例中，所述获取模块，具体用于：获取所述待迁移数据的表信息，其中，所述表信息包括表的数量、表的数据量和表的字段中的至少一个；
[0032]将所述表的数量、所述表的数据量和所述表的字段中的至少一个作为所述待迁移数据的数据信息。
[0033]在一实施例中，所述确定模块，具体用于；根据所述待迁移数据的表信息，将所述待迁移数据划分为全量同步表和或增量同步表；
[0034]当将所述待迁移数据划分为全量同步表时，确定所述待迁移数据的迁移类型为全量迁移；
[0035]当将所述待迁移数据划分为增量同步表时，确定所述待迁移数据的迁移类型为增量迁移；
[0036]当将所述待迁移数据划分为全量同步表和增量同步表时，确定所述待迁移数据的迁移类型为全量增量迁移。
[0037]在一实施例中，所述迁移模块，包括：
[0038]第一配置单元，用于当确定所述待迁移数据的迁移类型为全量迁移时，配置所述全量同步表的迁移条件；
[0039]第一链路建立单元，用于建立所述全量同步表的迁移链路；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据迁移方法，其特征在于，所述方法包括：获取待迁移数据的数据信息；根据所述待迁移数据的数据信息确定所述待迁移数据的迁移类型，其中，所述迁移类型包括全量迁移、增量迁移和全量增量迁移；按照所述迁移类型迁移所述待迁移数据。2.根据权利要求1所述的方法，其特征在于，所述获取待迁移数据的数据信息包括：获取所述待迁移数据的表信息，其中，所述表信息包括表的数量、表的数据量和表的字段中的至少一个；将所述表的数量、所述表的数据量和所述表的字段中的至少一个作为所述待迁移数据的数据信息。3.根据权利要求2所述的方法，其特征在于，所述根据所述待迁移数据的数据信息确定所述待迁移数据的迁移类型包括：根据所述待迁移数据的表信息，将所述待迁移数据划分为全量同步表和或增量同步表；当将所述待迁移数据划分为全量同步表时，确定所述待迁移数据的迁移类型为全量迁移；当将所述待迁移数据划分为增量同步表时，确定所述待迁移数据的迁移类型为增量迁移；当将所述待迁移数据划分为全量同步表和增量同步表时，确定所述待迁移数据的迁移类型为全量增量迁移。4.根据权利要求3所述的方法，其特征在于，所述按照所述迁移类型迁移所述待迁移数据包括：当确定所述待迁移数据的迁移类型为全量迁移时，配置所述全量同步表的迁移条件；建立所述全量同步表的迁移链路；基于所述迁移条件和所述迁移链路迁移所述待迁移数据。5.根据权利要求3所述的方法，其特征在于，按照所述迁移类型迁移所述待迁移数据包括：当确定所述待迁移数据的迁移类型为全量增量迁移时，配置所述全量同步表和增量同步表的迁移条件；建立所述全量同步表和增量同步表的迁移链路；基于所述迁移条件和所述迁移链路迁移所述待迁移数据。6.一种数据迁移装置，其特征在于，所述装置包括：获取模块，用于获取待迁移数据的数据信息；确定模块，用于根据所述待迁移数据的数据信息确定所述待迁移数据的迁移类型，其中，所述迁移类型包括全量迁移、增量迁移和全量增...

【专利技术属性】
技术研发人员：李承文，陈志国，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：