数据同步检测方法和装置制造方法及图纸

本申请公开了一种数据同步检测方法和装置，属于计算机技术领域。所述方法包括执行离线数据抽取定时任务，所述离线数据抽取定时任务用于每隔预设时间将待同步表中的数据同步至离线数据仓库表；调用数据库查询应用程序接口API，获取所述数据库查询API返回的值；根据所述数据库查询API返回的值，对所述待同步表和所述离线数据仓库表进行数据同步检测，得到数据同步检测结果。

【技术实现步骤摘要】
数据同步检测方法和装置
本申请属于计算机
，具体涉及一种数据同步检测方法和装置。
技术介绍
随着大数据技术的广泛应用，离线同步数据越来越普遍，尤其是从数据库离线抽取数据到数据仓库存储。同步数据需要进行检测是否成功，以及需要检测数据库表结构发生了变更，避免影响数据同步。现有的检测方式是根据同步数据任务返回码是否为0判断数据是否同步成功，在数据库表结构发生变化时，根据数据库表结构人工调整离线数据仓库表结构。根据同步数据任务返回码判断数据是否抽取成功，存在不够准确的缺陷，并且当数据库表结构发生变更，很多时候无法及时通知到数据仓库管理人员，导致数据同步失败，需要数据库管理人员及时通知，数据仓库管理员也需要手动调整离线数据仓库表结构，维护成本比较高。
技术实现思路
本申请实施例的目的是提供一种数据同步检测方法和装置，能够解决数据同步检测的精准度低和数据同步过程中人工维护成本高的问题。第一方面，本申请实施例提供了一种数据同步检测方法，该方法包括：执行离线数据抽取定时任务，所述离线数据抽取定时任务用于每隔预设时间将待同步表中的数据同步至离线数据仓库表；调用数据库查询应用程序接口API，获取所述数据库查询API返回的值；根据所述数据库查询API返回的值，对所述待同步表和所述离线数据仓库表进行数据同步检测，得到数据同步检测结果。第二方面，本申请实施例提供了一种数据同步检测装置，该装置包括：定时抽取模块，用于执行离线数据抽取定时任务，所述离线数据抽取定时任务用于每隔预设时间将待同步表中的数据同步至离线数据仓库表；数据查询模块，用于调用数据库查询应用程序接口API，获取所述数据库查询API返回的值；同步检测模块，用于根据所述数据库查询API返回的值，对所述待同步表和所述离线数据仓库表进行数据同步检测，得到数据同步检测结果。第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。在本申请实施例中，通过执行离线数据抽取定时任务将数据同步至离线数据仓库表，再通过数据库查询API的返回值进行数据同步检测，提高了数据抽取检测的精准度，减少了数据同步过程中的人工维护成本。附图说明图1是本申请提供的数据同步检测方法的流程示意图；图2是本申请提供的更新离线数据仓库表的表结构的流程示意图；图3是本申请提供的创建所述离线数据仓库表的流程示意图；图4为本申请提供的数据同步检测装置的结构示意图；图5为本申请提供的电子设备的结构示意图；图6为本申请提供的电子设备的硬件结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。下面结合附图，通过一些实施例及其应用场景对本申请实施例提供的数据同步检测方法进行详细地说明。本申请实施例提供的数据同步检测方法，执行主体为电子设备，本申请实施例提及的电子设备包括但不限于手机、平板电脑、电脑、可穿戴设备等。图1为本申请实施例提供的数据同步检测方法的流程示意图，如图1所示，该方法包括以下步骤：步骤100、执行离线数据抽取定时任务，所述离线数据抽取定时任务用于每隔预设时间将待同步表中的数据同步至离线数据仓库表。可选地，执行离线数据抽取定时任务进行数据同步，需要传入的参数包括：待同步表的表名、待同步表的数据库类型、待同步表的数据库IP和端口号、离线数据仓库表的表名和where条件。其中，where条件用于离线抽取数据判断。离线数据抽取定时任务根据传入的参数，每隔预设时间将待同步表中的数据同步至离线数据仓库表。步骤101、调用数据库查询应用程序接口API，获取所述数据库查询API返回的值。可选地，调用数据库查询应用程序接口(ApplicationProgrammingInterface，API)需要传入的参数包括：操作类型、待同步表的表名、待同步表的数据库类型、待同步表的数据库IP和端口号、离线数据仓库表的表名和where条件。其中，操作类型表示数据库查询API的查询操作类型，例如，建表、主键判断或者数量判断。可选地，电子设备调用数据库查询口API，根据传入的参数，获取所述数据库查询API返回的与所述传入的参数对应的值。该返回值为待同步表和离线数据仓库表中的数据信息，可以反映待同步表和离线数据仓库表中的数据信息是否一致。例如，传入的参数中操作类型为主键判断，所述数据库查询API返回的值为待同步表和离线数据仓库表的主键的最大值和最小值；或者，传入的参数中操作类型为数量判断，所述数据库查询API返回的值为待同步表和离线数据仓库表中符合where条件的记录的数量。步骤102、根据所述数据库查询API返回的值，对所述待同步表和所述离线数据仓库表进行数据同步检测，得到数据同步检测结果。可选地，根据所述数据库查询API返回的值，通过比较待同步表和离线数据仓库表中的信息是否一致，对所述待同步表和所述离线数据仓库表进行数据同步检测，得到数据同步检测结果。在本申请实施例中，通过执行离线数据抽取定时任务将数据同步至离线数据仓库表，再通过数据库查询API的返回值进行数据同步检测，提高了数据同步检测的精准度，减少了数据同步过程中的人工维护成本。可选地，所述数据库查询API返回的值，包括：在调用所述数据库查询API时传入的参数中操作类型是数量判断的情况下，所述数据库查询API返回的值为所述待同步表和所述离线数据仓库表中符合条件的记录的数量；例如，调用所述数据库查询API时传入的参数中操作类型是数量判断，where条件规定了查询条件，则API返回的值为待同步表和所述离线数据仓库表中分别满足where条件本文档来自技高网...

【技术保护点】
1.一种数据同步检测方法，其特征在于，包括：/n执行离线数据抽取定时任务，所述离线数据抽取定时任务用于每隔预设时间将待同步表中的数据同步至离线数据仓库表；/n调用数据库查询应用程序接口API，获取所述数据库查询API返回的值；/n根据所述数据库查询API返回的值，对所述待同步表和所述离线数据仓库表进行数据同步检测，得到数据同步检测结果。/n

【技术特征摘要】
1.一种数据同步检测方法，其特征在于，包括：
执行离线数据抽取定时任务，所述离线数据抽取定时任务用于每隔预设时间将待同步表中的数据同步至离线数据仓库表；
调用数据库查询应用程序接口API，获取所述数据库查询API返回的值；
根据所述数据库查询API返回的值，对所述待同步表和所述离线数据仓库表进行数据同步检测，得到数据同步检测结果。


2.根据权利要求1所述的数据同步检测方法，其特征在于，所述数据库查询API返回的值，包括：
在调用所述数据库查询API时传入的参数中操作类型是数量判断的情况下，所述数据库查询API返回的值为所述待同步表和所述离线数据仓库表中符合条件的记录的数量；
在调用所述数据库查询API时传入的参数中操作类型是主键判断的情况下，所述数据库查询API返回的值为所述待同步表和所述离线数据仓库表的主键取值范围。


3.根据权利要求1所述的数据同步检测方法，其特征在于，所述执行离线数据抽取定时任务之前，还包括：
获取数据库管理平台的元信息，根据所述元信息确定所述待同步表是否发生了结构变更；
在所述待同步表发生了结构变更的情况下，根据所述元信息生成表结构变更结构化查询语言sql，在所述离线数据仓库表执行所述表结构变更sql，更新所述离线数据仓库表的表结构。


4.根据权利要求1所述的数据同步检测方法，其特征在于，所述执行离线数据抽取定时任务之前，还包括：
判断是否存在所述离线数据仓库表；
在所述离线数据仓库表不存在的情况下，创建所述离线数据仓库表。


5.根据权利要求4所述的数据同步检测方法，其特征在于，所述创建所述离线数据仓库表，包括：
通过调用所述数据库查询API，获取所述待同步表的字段信息、表属性信息和第一建表sql，其中，调用所述数据库查询API时传入的参数中操作类型是建表；
根据所述离线数据仓库表的信息、所述待同步表的字段信息、表属性信息和第一建表sql，生成所述离线数据仓库表的第二建表sql；
执行所述离线数据仓库表的第二建表sql，创建所述离线数据仓库表。


6...

【专利技术属性】
技术研发人员：曾坤，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：广东;44