用于执行数据处理任务的方法及装置制造方法及图纸

本公开的实施例公开了用于执行数据处理任务的方法及装置，涉及云计算技术领域。该方法的一具体实施方式包括：响应于监测到数据库中存在未被执行的待处理任务，获取上述待处理任务，并为上述待处理任务配置当前执行器标识；执行上述待处理任务，并间隔设定时间向上述数据库发送对应上述待处理任务的运行状态反馈信息，上述运行状态反馈信息包括时间戳，上述时间戳用于标识执行上述待处理任务时的监测时间；响应于执行完成上述待处理任务，向上述数据库发送任务完成信息。该实施方式将待处理任务的运行状态反馈信息直接保存在数据库，实现了对待处理任务的执行状态的及时监控，有利于提高待处理任务的执行效率。有利于提高待处理任务的执行效率。有利于提高待处理任务的执行效率。

【技术实现步骤摘要】
用于执行数据处理任务的方法及装置


[0001]本公开的实施例涉及云计算
，具体涉及用于执行数据处理任务的方法及装置。

技术介绍

[0002]作业引擎是可以供用户定义作业、发起作业及查询作业执行结果的数据处理系统。常见的作业引擎一般包括数据库、任务分发器和多个任务执行器。其中，数据库用于存放待处理任务；任务分发器用于从数据库中调取待处理任务，并将待处理任务分发给对应的任务执行器。
[0003]当单个任务执行器出现故障(如网络中断或重启)时，由任务分发器重新将出现故障的任务执行器上的任务调度至其它任务执行器上执行。

技术实现思路

[0004]本公开的实施例提出了用于执行数据处理任务的方法及装置。
[0005]第一方面，本公开的实施例提供了一种用于执行数据处理任务的方法，该方法包括：响应于监测到数据库中存在未被执行的待处理任务，获取上述待处理任务，并为上述待处理任务配置当前执行器标识；执行上述待处理任务，并间隔设定时间向上述数据库发送对应上述待处理任务的运行状态反馈信息，上述运行状态反馈信息包括时间戳，上述时间戳用于标识执行上述待处理任务时的监测时间；响应于执行完成上述待处理任务，向上述数据库发送任务完成信息。
[0006]在一些实施例中，上述数据库包括对应上述待处理任务的任务过期时间，其中，上述任务过期时间用于表征标识执行完成上述待处理任务所需要的时间，以及，上述执行上述待处理任务，包括：根据上述任务过期时间和上述待处理任务的数据处理量为上述待处理任务分配第一数据处理线程。<br/>[0007]在一些实施例中，上述运行状态反馈信息还包括任务进度信息，上述任务进度信息包括以下至少一项：上述待处理任务的进程信息、上述待处理任务当前执行的指令、上述待处理任务的进程位置标签。
[0008]在一些实施例中，上述方法包括：响应于上述待处理任务的当前执行器标识为其他执行器，删除上述待处理任务；监测上述数据库中的其他待处理任务的任务过期时间和运行状态反馈信息。
[0009]第二方面，本公开的实施例提供了一种用于执行数据处理任务的方法，该方法包括：监测数据库中的待处理任务的任务过期时间和运行状态反馈信息，其中，上述任务过期时间用于表征标识执行完成上述待处理任务所需要的时间，上述运行状态反馈信息包括时间戳，上述时间戳用于标识执行上述待处理任务时的监测时间；响应于上述任务过期时间晚于上述时间戳，继续监测上述待处理任务的任务过期时间和运行状态反馈信息，否则，执行上述待处理任务。
[0010]在一些实施例中，上述待处理任务标记有对应的当前执行器标识，以及，上述执行上述待处理任务，包括：将上述当前执行器标识修改为本地执行器标识。
[0011]在一些实施例中，上述运行状态反馈信息还包括任务进度信息，上述任务进度信息包括以下至少一项：上述待处理任务的进程信息、上述待处理任务当前执行的指令、上述待处理任务的进程位置标签，以及，上述执行上述待处理任务，包括：根据上述任务进度信息确定上述待处理任务的剩余数据处理量；根据上述任务过期时间和剩余数据处理量为上述待处理任务分配第二数据处理线程。
[0012]第三方面，本公开的实施例提供了一种用于执行数据处理任务的装置，该装置包括：任务获取单元，响应于监测到数据库中存在未被执行的待处理任务，被配置成获取上述待处理任务，并为上述待处理任务配置当前执行器标识；第一执行单元，被配置成执行上述待处理任务，并间隔设定时间向上述数据库发送对应上述待处理任务的运行状态反馈信息，上述运行状态反馈信息包括时间戳，上述时间戳用于标识执行上述待处理任务时的监测时间；完成信息发送单元，响应于执行完成上述待处理任务，被配置成向上述数据库发送任务完成信息。
[0013]在一些实施例中，上述数据库包括对应上述待处理任务的任务过期时间，其中，上述任务过期时间用于表征标识执行完成上述待处理任务所需要的时间，以及，上述第一执行单元包括：第一执行子单元，被配置成根据上述任务过期时间和上述待处理任务的数据处理量为上述待处理任务分配第一数据处理线程。
[0014]在一些实施例中，上述运行状态反馈信息还包括任务进度信息，上述任务进度信息包括以下至少一项：上述待处理任务的进程信息、上述待处理任务当前执行的指令、上述待处理任务的进程位置标签。
[0015]在一些实施例中，上述装置包括：任务删除单元，响应于上述待处理任务的当前执行器标识为其他执行器，被配置成删除上述待处理任务；第一任务监测单元，被配置成监测上述数据库中的其他待处理任务的任务过期时间和运行状态反馈信息。
[0016]第四方面，本公开的实施例提供了一种用于执行数据处理任务的装置，该装置包括：第二任务监测单元，被配置成监测数据库中的待处理任务的任务过期时间和运行状态反馈信息，其中，上述任务过期时间用于表征标识执行完成上述待处理任务所需要的时间，上述运行状态反馈信息包括时间戳，上述时间戳用于标识执行上述待处理任务时的监测时间；第二执行单元，被配置成响应于上述任务过期时间晚于上述时间戳，继续监测上述待处理任务的任务过期时间和运行状态反馈信息，否则，执行上述待处理任务。
[0017]在一些实施例中，上述待处理任务标记有对应的当前执行器标识，以及，上述第二执行单元包括：标识修改子单元，被配置成将上述当前执行器标识修改为本地执行器标识。
[0018]在一些实施例中，上述运行状态反馈信息还包括任务进度信息，上述任务进度信息包括以下至少一项：上述待处理任务的进程信息、上述待处理任务当前执行的指令、上述待处理任务的进程位置标签，以及，上述第二执行单元包括：剩余数据处理量确定子单元，被配置成根据上述任务进度信息确定上述待处理任务的剩余数据处理量；第二执行子单元，被配置成根据上述任务过期时间和剩余数据处理量为上述待处理任务分配第二数据处理线程。
[0019]第五方面，本公开的实施例提供了一种电子设备，包括：一个或多个处理器；存储
器，其上存储有一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器执行上述第一方面的用于执行数据处理任务的方法或第二方面的用于执行数据处理任务的方法。
[0020]第六方面，本公开的实施例提供了一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述第一方面的用于执行数据处理任务的方法或第二方面的用于执行数据处理任务的方法。
[0021]本公开的实施例提供的用于执行数据处理任务的方法及装置，在监测到数据库中存在未被执行的待处理任务后，获取上述待处理任务，并为上述待处理任务配置当前执行器标识；然后执行上述待处理任务，并间隔设定时间向上述数据库发送对应上述待处理任务的运行状态反馈信息；最后在执行完成上述待处理任务后，向上述数据库发送任务完成信息。本申请将待处理任务的运行状态反馈信息直接保存在数据库，实现了对待处理任务的执行状态的及时监控，有利于提高待处理任务的执行效率。
附图说明
[0022]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于执行数据处理任务的方法，包括：响应于监测到数据库中存在未被执行的待处理任务，获取所述待处理任务，并为所述待处理任务配置当前执行器标识；执行所述待处理任务，并间隔设定时间向所述数据库发送对应所述待处理任务的运行状态反馈信息，所述运行状态反馈信息包括时间戳，所述时间戳用于标识执行所述待处理任务时的监测时间；响应于执行完成所述待处理任务，向所述数据库发送任务完成信息。2.根据权利要求1所述的方法，其中，所述数据库包括对应所述待处理任务的任务过期时间，其中，所述任务过期时间用于表征标识执行完成所述待处理任务所需要的时间，以及所述执行所述待处理任务，包括：根据所述任务过期时间和所述待处理任务的数据处理量为所述待处理任务分配第一数据处理线程。3.根据权利要求1所述的方法，其中，所述运行状态反馈信息还包括任务进度信息，所述任务进度信息包括以下至少一项：所述待处理任务的进程信息、所述待处理任务当前执行的指令、所述待处理任务的进程位置标签。4.根据权利要求1至3任意一项所述的方法，其中，所述方法包括：响应于所述待处理任务的当前执行器标识为其他执行器，删除所述待处理任务；监测所述数据库中的其他待处理任务的任务过期时间和运行状态反馈信息。5.一种用于执行数据处理任务的方法，包括：监测数据库中的待处理任务的任务过期时间和运行状态反馈信息，其中，所述任务过期时间用于表征标识执行完成所述待处理任务所需要的时间，所述运行状态反馈信息包括时间戳，所述时间戳用于标识执行所述待处理任务时的监测时间；响应于所述任务过期时间晚于所述时间戳，继续监测所述待处理任务的任务过期时间和运行状态反馈信息，否则，执行所述待处理任务。6.根据权利要求5所述的方法，其中，所述待处理任务标记有对应的当前执行器标识，以及所述执行所述待处理任务，包括：将所述当前执行器标识修改为本地执行器标识。7.根据权利要求6所述的方法，其中，所述运行状态反馈信息还包括任务进度信息，所述任务进度信息包括以下至少一项：所述待处理任务的进程信息、所述待处理任务当前执行的指令、所述待处理任务的进程位置标签，以及所述执行所述待处理任务，包括：根据所述任务进度信息确定所述待处理任务的剩余数据处理量；根据所述任务过期时间和剩余数据处理量为所述待处理任务分配第二数据处理线程。8.一种用于执行数据处理任务的装置，包括：任务获取单元，响应于监测到数据库中存在未被执行的待处理任务，被配置成获取所述待处理任务，并为所述待处理任务配置当前执行器标识；第一执行单元，被配置成执行所述待处理任务，并间隔设定时间向所述数据库发送对应所述待处理任务的运行状态反馈信息，所述运行状态反馈信息包括时间戳，所述时间戳
用于...

【专利技术属性】
技术研发人员：陈骅骏，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：