数据同步任务调度方法、装置、服务器及存储介质制造方法及图纸

本公开关于一种数据同步任务调度方法，该方法包括：获取待添加任务；所述待添加任务包括至少一条待同步记录；在同步任务队列的已添加任务中，确定所述待添加任务对应的目标任务；所述目标任务中包含有与所述待添加任务的待同步记录相重复的记录；记录所述待添加任务与所述目标任务之间的依赖关系；将所述待添加任务连同所述依赖关系添加至所述同步任务队列中；所述同步任务队列用于在数据同步过程中对多个所述已添加任务进行任务调度。本公开能够减少增量数据同步过程的延迟。

【技术实现步骤摘要】
数据同步任务调度方法、装置、服务器及存储介质
本公开涉及计算机
，尤其涉及一种数据同步任务调度方法、装置、电子设备及存储介质。
技术介绍
随着大数据处理在各行各业的广泛使用，业务对海量数据进行实时处理的需求越来越大，对数据处理在延迟性、吞吐量方面的要求越来越高。现有技术在对进行增量数据同步的过程中时，往往只是采用简单的并行处理，然而不同数据版本之间往往存在复杂地依赖关系，这使得在主库写入量较大的情况下，增量数据同步过程容易产生同步延迟过大的问题。
技术实现思路
本公开提供一种数据同步任务调度方法、装置、服务器及存储介质，以至少解决相关技术中增量数据同步过程容易产生同步延迟过大的问题。本公开的技术方案如下：根据本公开实施例的第一方面，提供一种数据同步任务调度方法，包括：获取待添加任务；所述待添加任务包括至少一条待同步记录；在同步任务队列的已添加任务中，确定所述待添加任务对应的目标任务；所述目标任务中包含有与所述待添加任务的待同步记录相重复的记录；记录所述待添加任务与所述目标任务之间的依赖关系；将所述待添加任务连同所述依赖关系添加至所述同步任务队列中；所述同步任务队列用于在数据同步过程中对多个所述已添加任务进行任务调度。在一种可能实现方式中，所述在所述同步任务队列的已添加任务中，确定所述待添加任务的目标任务，包括：根据所述待添加任务对应的待同步记录，遍历各个所述已添加任务对应的待同步记录,得到目标记录；其中，所述目标记录为与所述待添加任务对应的待同步记录相重复的记录；将所述目标记录对应的已添加任务，作为所述待添加任务的目标任务。在一种可能实现方式中，所述记录所述待添加任务与所述目标任务之间的依赖关系，包括：将所述目标任务添加至所述待添加任务对应的依赖任务列表；所述依赖任务列表用于记录优先级高于所述待添加任务的优先级的任务；和/或，将所述待添加任务添加至所述目标任务对应的被依赖任务列表；所述被依赖任务列表用于记录优先级低于所述目标任务的优先级的任务。在一种可能实现方式中，所述将所述待添加任务连同所述依赖关系添加至所述同步任务队列中的步骤之后，还包括：当接收到任务执行请求后，确定所述同步任务队列中各个所述已添加任务的优先级；按照各个所述已添加任务的优先级，依次执行各个所述已添加任务；修改已执行的所述已添加任务与未执行的所述已添加任务之间的依赖关系。在一种可能实现方式中，所述修改已执行的所述已添加任务与未执行的所述已添加任务之间的依赖关系，包括：当完成执行所述目标任务后，在所述待添加任务对应的依赖任务列表中移除所述目标任务。在一种可能实现方式中，所述修改已执行的所述已添加任务与未执行的所述已添加任务之间的依赖关系，包括：当完成执行所述目标任务后，将所述目标任务对应的被依赖任务列表设置为空列表。在一种可能实现方式中，在所述获取待添加任务的步骤之后，还包括：获取针对所述同步任务队列的待同步记录速查表；所述待同步记录速查表为所述同步任务队列中所有的所述已添加任务对应的待同步记录；当确定所述待同步记录列表中不存在与所述待添加任务对应的待同步记录一致的记录时，则设置所述待添加任务的优先级高于所述已添加任务的优先级。根据本公开实施例的第二方面，提供一种数据同步任务调度装置，其特征在于，包括：获取单元，被配置为执行获取待添加任务；所述待添加任务包括至少一条待同步记录；查询单元，被配置为执行在同步任务队列的已添加任务中，确定所述待添加任务对应的目标任务；所述目标任务中包含有与所述待添加任务的待同步记录相重复的记录；记录单元，被配置为执行记录所述待添加任务与所述目标任务之间的依赖关系；添加单元，被配置为执行将所述待添加任务连同所述依赖关系添加至所述同步任务队列中；所述同步任务队列用于在数据同步过程中对多个所述已添加任务进行任务调度。在一种可能实现方式中，所述查询单元，具体被配置为执行根据所述待添加任务对应的待同步记录，遍历各个所述已添加任务对应的待同步记录,得到目标记录；其中，所述目标记录为与所述待添加任务对应的待同步记录相重复的记录；将所述目标记录对应的已添加任务，作为所述待添加任务的目标任务。在一种可能实现方式中，所述记录单元，具体被配置为执行将所述目标任务添加至所述待添加任务对应的依赖任务列表；所述依赖任务列表用于记录优先级高于所述待添加任务的优先级的任务；和/或，将所述待添加任务添加至所述目标任务对应的被依赖任务列表；所述被依赖任务列表用于记录优先级低于所述目标任务的优先级的任务。在一种可能实现方式中，所述一种数据同步任务调度装置，还包括：接收单元，被配置为执行当接收到任务执行请求后，确定所述同步任务队列中各个所述已添加任务的优先级；执行单元，被配置为执行按照各个所述已添加任务的优先级，依次执行各个所述已添加任务；修改单元，被配置为执行修改已执行的所述已添加任务与未执行的所述已添加任务之间的依赖关系。在一种可能实现方式中，所述修改单元，具体被配置为执行当完成执行所述目标任务后，在所述待添加任务对应的依赖任务列表中移除所述目标任务。在一种可能实现方式中，所述修改单元，具体被配置为执行当完成执行所述目标任务后，将所述目标任务对应的被依赖任务列表设置为空列表。在一种可能实现方式中，所述一种数据同步任务调度装置，还包括：速查单元，被配置为执行获取针对所述同步任务队列的待同步记录速查表；所述待同步记录速查表为所述同步任务队列中所有的所述已添加任务对应的待同步记录；设置单元，被配置为执行当确定所述待同步记录列表中不存在与所述待添加任务对应的待同步记录一致的记录时，则设置所述待添加任务的优先级高于所述已添加任务的优先级。根据本公开实施例的第三方面，提供一种服务器，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如第一方面或第一方面的任一种可能实现方式所述的数据同步任务调度方法。根据本公开实施例的第四方面，提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面的任一种可能实现方式所述的数据同步任务调度方法。根据本公开实施例的第五方面，提供一种计算机程序产品，所述程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，设备的至少一个处理器从所述可读存储介质读取并执行所述计算机程序，使得设备执行第一方面的任一项实施例中所述的数据同步任务调度方法。本公开的实施例提供的技术方案至少带来以下有益效果：通过获取包括至少一条待同步记录的待添加任务；待添加任务包括至少一条待同步记录；然后在同步任务队列的已添加任务中，确定包含有与待添加任务的待同步记录相重复的记录的目标任务；并记录待添加任务与目标任务之间的依赖关系；并将待添加任务连同依赖关系添加至同步任务队列中；以在数据同步过程中对多个本文档来自技高网...

【技术保护点】
1.一种数据同步任务调度方法，其特征在于，包括：/n获取待添加任务；所述待添加任务包括至少一条待同步记录；/n在同步任务队列的已添加任务中，确定所述待添加任务对应的目标任务；所述目标任务中包含有与所述待添加任务的待同步记录相重复的记录；/n记录所述待添加任务与所述目标任务之间的依赖关系；/n将所述待添加任务连同所述依赖关系添加至所述同步任务队列中；所述同步任务队列用于在数据同步过程中对多个所述已添加任务进行任务调度。/n

【技术特征摘要】
1.一种数据同步任务调度方法，其特征在于，包括：
获取待添加任务；所述待添加任务包括至少一条待同步记录；
在同步任务队列的已添加任务中，确定所述待添加任务对应的目标任务；所述目标任务中包含有与所述待添加任务的待同步记录相重复的记录；
记录所述待添加任务与所述目标任务之间的依赖关系；
将所述待添加任务连同所述依赖关系添加至所述同步任务队列中；所述同步任务队列用于在数据同步过程中对多个所述已添加任务进行任务调度。


2.根据权利要求1所述的数据同步任务调度方法，其特征在于，所述在所述同步任务队列的已添加任务中，确定所述待添加任务的目标任务，包括：
根据所述待添加任务对应的待同步记录，遍历各个所述已添加任务对应的待同步记录,得到目标记录；其中，所述目标记录为与所述待添加任务对应的待同步记录相重复的记录；
将所述目标记录对应的已添加任务，作为所述待添加任务的目标任务。


3.根据权利要求1所述的数据同步任务调度方法，其特征在于，所述记录所述待添加任务与所述目标任务之间的依赖关系，包括：
将所述目标任务添加至所述待添加任务对应的依赖任务列表；所述依赖任务列表用于记录优先级高于所述待添加任务的优先级的任务；
和/或，
将所述待添加任务添加至所述目标任务对应的被依赖任务列表；所述被依赖任务列表用于记录优先级低于所述目标任务的优先级的任务。


4.根据权利要求3所述的数据同步任务调度方法，其特征在于，所述将所述待添加任务连同所述依赖关系添加至所述同步任务队列中的步骤之后，还包括：
当接收到任务执行请求后，确定所述同步任务队列中各个所述已添加任务的优先级；
按照各个所述已添加任务的优先级，依次执行各个所述已添加任务；
修改已执行的所述已添加任务与未执行的所述已添加任务之间的依赖关系。


5.根据权利要求4所述的数据同步任务调度方法，其特征在于，所述修改已执行的所...

【专利技术属性】
技术研发人员：肖彪，任飞子，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京;11