【技术实现步骤摘要】
本申请涉及大数据，特别涉及一种任务迁移方法及装置、电子设备、存储介质。
技术介绍
1、在大数据领域，企业大多数会使用hive sql或spark sql等作为离线批处理引擎，而由于技术更新迭代的原因，引擎版本或引擎类型通常需要进行迭代升级，当引擎版本或引擎类型迭代升级之后，通常需要对线上生产环境中大量运行很久的生产任务进行迁移，然而，由于版本更新、代码变更等原因，在从旧引擎中迁移任务到新引擎时往往存在不确定性，可能导致线上出现生产事故。相关技术中，一般是采取由人工整理旧引擎中的待迁移任务，并按批次进行迁移，迁移后，再由迁移人员根据经验对迁移后任务在新引擎中生成的数据进行校验，以确保迁移后任务生成的数据与在旧引擎中生成的数据保持一致。
技术实现思路
1、本申请提供一种任务迁移方法及装置、电子设备、存储介质，可以提升目标任务的迁移效率，以及保障迁移处理的准确性。
2、第一方面，本申请提供了一种任务迁移方法，该任务迁移方法包括：
3、获取第一引擎执行第一测试任务得到的第一测试结果，以及第二引擎执行第二测试任务得到的第二测试结果；其中，所述第一测试任务、所述第二测试任务为与目标任务具有相同数据处理流程的任务；
4、对所述第一测试结果中的数据进行数据类型转换处理，得到第三测试结果，以及对所述第二测试结果中的数据进行所述数据类型转换处理，得到第四测试结果，其中，所述数据类型转换处理用于将数据的数据类型转换为第一预设类型；
5、获取所述第三测试结果
6、根据所述第一校验值和所述第二校验值，得到校验结果，其中，所述校验结果用于表示所述第一执行结果和所述第二执行结果是否匹配；
7、根据所述校验结果，确定是否将所述目标任务从所述第一引擎迁移至所述第二引擎中。
8、第二方面，本申请提供了一种任务迁移装置，该任务迁移装置包括：
9、结果获取单元，用于获取第一引擎执行第一测试任务得到的第一测试结果，以及第二引擎执行第二测试任务得到的第二测试结果；其中，所述第一测试任务、所述第二测试任务为与目标任务具有相同数据处理流程的任务；
10、数据转换单元，用于对所述第一测试结果中的数据进行数据类型转换处理，得到第三测试结果，以及对所述第二测试结果中的数据进行所述数据类型转换处理，得到第四测试结果，其中，所述数据类型转换处理用于将数据的数据类型转换为第一预设类型；
11、校验值获取单元，用于获取所述第三测试结果的第一校验值，以及，获取所述第四测试结果的第二校验值；
12、校验结果获取单元，用于根据所述第一校验值和所述第二校验值，得到校验结果，其中，所述校验结果用于表示所述第一执行结果和所述第二执行结果是否匹配；
13、迁移处理单元，用于根据所述校验结果，确定是否将所述目标任务从所述第一引擎迁移至所述第二引擎中。
14、第三方面，本申请提供了一种电子设备，该电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序，一个或多个所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面的任务迁移方法。
15、第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序在被处理器执行时实现上述第一方面的任务迁移方法。
16、本申请所提供的实施例，针对第一引擎所执行的任务中，等待迁入第二引擎中的目标任务，为提升目标任务的迁移效率，本申请并不依赖于人工进行任务迁移，而是在得到与目标任务具有相同数据处理流程的第一测试任务和第二测试任务之后，通过获取第一引擎执行第一测试任务得到的第一测试结果，以及第二引擎执行第二测试任务得到的第二测试结果；之后，为了避免内容相同但格式不同的数据对校验结果带来干扰，本申请并不直接获取第一测试结果和第二测试结果的校验值，而是采取分别对第一测试结果和第二测试结果中的数据进行数据类型转换处理，得到第三测试结果和第四测试结果，再分别获取该第三测试结果的第一校验值和第四测试结果的第二校验值，根据该第一校验值和第二校验值比对第一测试结果和第二测试结果是否匹配，以根据得到的校验结果，确定是否将目标任务从第一引擎迁移至第二引擎中。
17、由于第一测试任务和第二测试任务之间仅在于所处的引擎不同，而其数据处理流程均与目标任务相同，因此，在确定是否将目标任务从第一引擎迁移入第二引擎之前，先获取该第一测试任务和第二测试任务，并将第一测试任务在旧引擎中执行，以及将第二测试任务在新引擎中执行，以避免直接在新引擎中执行目标任务对生产环境带来干扰。另外，为了保证校验结果的准确性，本申请在获取到第一测试结果和第二测试结果之后，并不是直接获取其校验值，而是对其各自包含的数据进行数据类型转换处理，以将其包含的数据均转换为第一预设类型，从而保障数据在内容和格式上的一致性，提升得到的校验结果的准确性，以进一步保障迁移处理的准确性。由此可知，基于本申请的实施例对待迁移的目标任务进行迁移，一方面可以提升目标任务的迁移效率，另一方面也可以保障迁移处理的准确性。
18、应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
本文档来自技高网...【技术保护点】
1.一种任务迁移方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述第一引擎执行所述第一测试任务后得到的第一测试结果写入第一数据库，所述第二引擎执行所述第二测试任务后得到的第二测试结果写入第二数据库；
3.根据权利要求1所述的方法，其特征在于，所述第一预设类型包括字符串类型；
4.根据权利要求3所述的方法，其特征在于，任一第一数据记录对应的第一目标字符串通过以下步骤得到：
5.根据权利要求4所述的方法，其特征在于，所述数据类型包括第二预设类型，所述第二预设类型包括由多个子数据组成的集合类型；
6.根据权利要求3所述的方法，其特征在于，所述获取所述第三测试结果的第一校验值，以及，获取所述第四测试结果的第二校验值，包括：
7.根据权利要求1所述的方法，其特征在于，所述根据所述校验结果，确定是否将所述目标任务从所述第一引擎迁移至所述第二引擎中，包括：
8.根据权利要求1所述的方法，其特征在于，所述目标任务的目标编码采用结构化查询语言编写，所述第一测试任务的编码通过将所述目标编码对应的
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序在被处理器执行时实现如权利要求1-8中任一项所述的任务迁移方法。
...【技术特征摘要】
1.一种任务迁移方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述第一引擎执行所述第一测试任务后得到的第一测试结果写入第一数据库，所述第二引擎执行所述第二测试任务后得到的第二测试结果写入第二数据库；
3.根据权利要求1所述的方法，其特征在于，所述第一预设类型包括字符串类型；
4.根据权利要求3所述的方法，其特征在于，任一第一数据记录对应的第一目标字符串通过以下步骤得到：
5.根据权利要求4所述的方法，其特征在于，所述数据类型包括第二预设类型，所述第二预设类型包括由多个子数据组成的集合类型；
6.根据权利要求3所述的方法，其特征在于，所述获取所述第三测试结果的第一校验值，...
【专利技术属性】
技术研发人员：吴孝科，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。