一种处理批量任务的方法及设备技术

本申请的目的是提供一种处理批量任务的方法及设备，本申请通过在任务中心端基于任务创建用户发起的创建请求批量创建待处理任务，获取任务处理用户发送的启动请求，基于所述启动请求启动所述待处理任务；根据所述待处理任务确定对应的任务参数，根据所述任务参数对所述待处理任务进行初始化处理，得到待处理任务队列，以使得任务处理用户监听所述待处理任务队列并基于所述待处理任务队列处理对应的待处理任务；获取任务处理用户基于所述待处理任务队列上报的任务确认队列，根据任务确认队列中每一项当前任务对应的执行结果对所述当前任务进行标记，根据所述标记对对应的当前任务进行相应处理。从而通过任务参数高效控制任务，提升了用户体验。提升了用户体验。提升了用户体验。

【技术实现步骤摘要】
一种处理批量任务的方法及设备


[0001]本申请涉及计算机领域，尤其涉及一种处理批量任务的方法及设备。

技术介绍

[0002]在现有技术中，针对批量任务处理通常使用直接处理批量任务或异步处理批量任务这两种方式。而直接处理批量任务需要等待任务结果，任务一旦开始无法控制任务进程；异步处理批量任务时，若任务中途中断，那么任务失败，同样地，任务一旦开始就无法控制任务进程。

技术实现思路

[0003]本申请的一个目的是提供一种处理批量任务的方法及设备，解决现有技术中直接处理批量任务开始后无法控制和异步处理批量任务中途中断即任务失败的问题。
[0004]根据本申请的一个方面，提供了一种处理批量任务的方法，应用于任务中心，该方法包括：
[0005]基于任务创建用户发起的创建请求批量创建待处理任务，获取任务处理用户发送的启动请求，基于所述启动请求启动所述待处理任务；
[0006]根据所述待处理任务确定对应的任务参数，根据所述任务参数对所述待处理任务进行初始化处理，得到待处理任务队列，以使得任务处理用户监听所述待处理任务队列并基于所述待处理任务队列处理对应的待处理任务；
[0007]获取任务处理用户基于所述待处理任务队列上报的任务确认队列，根据任务确认队列中每一项当前任务对应的执行结果对所述当前任务进行标记，根据所述标记对对应的当前任务进行相应处理。
[0008]可选地，所述任务参数包括任务执行方式和任务交互数据量，其中，所述任务执行方式包括并行或串行，
[0009]根据所述任务参数对所述待处理任务进行初始化处理，得到待处理任务队列，包括：
[0010]当所述任务执行方式为并行时，则根据任务交互数据量对所述待处理任务进行拆分得到对应的多个子任务，根据所述待处理任务和对应的多个子任务确定待处理任务队列；
[0011]当所述任务执行方式为串行时，则将所述待处理任务直接加入待处理任务队列。
[0012]可选地，所述根据任务交互数据量对所述待处理任务进行拆分得到对应的多个子任务，根据所述待处理任务和对应的多个子任务确定待处理任务队列，包括：
[0013]根据任务包含的数据量和任务交互数据量的比值确定所述待处理任务拆分得到的子任务数量，将拆分得到的子任务以及子任务数据写入预设格式的任务表中，以使得待处理任务及待处理任务数据与子任务及子任务数据一一对应，其中，所述多个子任务均为独立任务。
[0014]可选地，所述执行结果包括执行成功或执行失败，根据任务确认队列中每一项当前任务对应的执行结果对所述当前任务进行标记，包括：
[0015]当所述执行结果为成功时，对执行成功的当前任务标记为执行成功；
[0016]当所述执行结果为失败时，对执行失败的当前任务标记为执行失败。
[0017]可选地，所述当前任务包括单一子任务，所述根据所述标记对对应的当前任务进行相应处理，包括：
[0018]根据执行成功的标记将子任务移出任务确认队列，与所述子任务关联的待处理任务被所述任务处理用户持续监听；
[0019]根据执行失败的标记将所述子任务移出任务确认队列，与所述子任务关联的待处理任务不被所述任务处理用户监听到。
[0020]可选地，所述任务参数还包括任务超时时间，所述获取任务处理用户上传的任务确认队列之后，还包括：
[0021]任务确认队列中的任意当前任务在大于等于任务超时时间的时间值内并未获取到任务处理用户的反馈数据，则不接收所述当前任务的上报信息，将超时的当前任务从所述任务确认队列移入所述待处理任务队列中。
[0022]可选地，所述方法还包括：
[0023]当所有任务均执行完毕后，将所有任务处理用户上报的任务数据汇总写入预设格式的任务表中，并根据所有任务对应的任务参数完成任务通知处理。
[0024]根据本申请的另一个方面，还提供了一种处理批量任务的方法，应用于任务处理用户端，该方法包括：
[0025]获取任务中心中的任务参数，其中，所述任务参数由所述任务中心根据任务创建用户发起的针对于创建的待处理任务的启动请求所启动的待处理任务对应的任务参数；
[0026]根据所述任务参数监听任务中心中的待处理任务队列，将监听到的待处理任务加入任务确认队列，对任务确认队列中的当前任务进行执行得到执行结果；
[0027]向任务中心上报所述任务确认队列及当前任务对应的执行结果，以使得任务中心根据任务确认队列中每一项当前任务对应的执行结果对所述当前任务进行标记，根据所述标记对对应的当前任务进行相应处理。
[0028]可选地，所述任务参数包括任务类型和任务并发数量，根据所述任务参数监听任务中心中的待处理任务队列，包括：
[0029]根据所述任务并发数量监听所述待处理任务队列，根据所述任务类型筛选出待处理任务队列中具有处理权限的待处理任务。
[0030]可选地，所述监听到的待处理任务包括单一子任务，将监听到的待处理任务加入任务确认队列，包括：
[0031]将监听到的单一子任务加入任务确认队列，获取所述单一子任务对应的任务表和任务数据。
[0032]可选地，向任务中心上报所述任务确认队列及当前任务对应的执行结果，包括：
[0033]将单一子任务对应的执行结果及任务数据写入与所述子任务关联的待处理任务的任务表对应位置中，得到更新后的待处理任务的任务表；
[0034]将所述任务确认队列及所述更新后的待处理任务的任务表向任务中心上报。
[0035]根据本申请的另一个方面，还提供了一种用于处理批量任务的设备，该设备包括：
[0036]根据本申请的再一个方面，还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如前述任一项所述的方法。
[0037]根据本申请的又一个方面，还提供了一种用于处理批量任务的设备，该设备包括：
[0038]一个或多个处理器；以及
[0039]存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行如前述任一项所述方法的操作。
[0040]与现有技术相比，本申请通过在任务中心端基于任务创建用户发起的创建请求批量创建待处理任务，获取任务处理用户发送的启动请求，基于所述启动请求启动所述待处理任务；根据所述待处理任务确定对应的任务参数，根据所述任务参数对所述待处理任务进行初始化处理，得到待处理任务队列，以使得任务处理用户监听所述待处理任务队列并基于所述待处理任务队列处理对应的待处理任务；获取任务处理用户基于所述待处理任务队列上报的任务确认队列，根据任务确认队列中每一项当前任务对应的执行结果对所述当前任务进行标记，根据所述标记对对应的当前任务进行相应处理。从而异步处理批量任务的同时，通过任务参数控制任务的启停、发布速度、并发机制和重试机制，提升了用户体验，无需等待任务完成即可完成对任务的执行情况、进度预览，提升了效率，且保障了任务的执行。
附图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种处理批量任务的方法，应用于任务中心，其中，所述方法包括：基于任务创建用户发起的创建请求批量创建待处理任务，获取任务处理用户发送的启动请求，基于所述启动请求启动所述待处理任务；根据所述待处理任务确定对应的任务参数，根据所述任务参数对所述待处理任务进行初始化处理，得到待处理任务队列，以使得任务处理用户监听所述待处理任务队列并基于所述待处理任务队列处理对应的待处理任务；获取任务处理用户基于所述待处理任务队列上报的任务确认队列，根据任务确认队列中每一项当前任务对应的执行结果对所述当前任务进行标记，根据所述标记对对应的当前任务进行相应处理。2.根据权利要求1所述的方法，其中，所述任务参数包括任务执行方式和任务交互数据量，其中，所述任务执行方式包括并行或串行，根据所述任务参数对所述待处理任务进行初始化处理，得到待处理任务队列，包括：当所述任务执行方式为并行时，则根据任务交互数据量对所述待处理任务进行拆分得到对应的多个子任务，根据所述待处理任务和对应的多个子任务确定待处理任务队列；当所述任务执行方式为串行时，则将所述待处理任务直接加入待处理任务队列。3.根据权利要求2所述的方法，其中，所述根据任务交互数据量对所述待处理任务进行拆分得到对应的多个子任务，根据所述待处理任务和对应的多个子任务确定待处理任务队列，包括：根据任务包含的数据量和任务交互数据量的比值确定所述待处理任务拆分得到的子任务数量，将拆分得到的子任务以及子任务数据写入预设格式的任务表中，以使得待处理任务及待处理任务数据与子任务及子任务数据一一对应，其中，所述多个子任务均为独立任务。4.根据权利要求1所述的方法，其中，所述执行结果包括执行成功或执行失败，根据任务确认队列中每一项当前任务对应的执行结果对所述当前任务进行标记，包括：当所述执行结果为成功时，对执行成功的当前任务标记为执行成功；当所述执行结果为失败时，对执行失败的当前任务标记为执行失败。5.根据权利要求1所述的方法，其中，所述当前任务包括单一子任务，所述根据所述标记对对应的当前任务进行相应处理，包括：根据执行成功的标记将子任务移出任务确认队列，与所述子任务关联的待处理任务被所述任务处理用户持续监听；根据执行失败的标记将所述子任务移出任务确认队列，与所述子任务关联的待处理任务不被所述任务处理用户监听到。6.根据权利要求1所述的方法，其中，所述任务参数还包括任务超时时间，所述...

【专利技术属性】
技术研发人员：刘新杰，
申请(专利权)人：上海万物新生环保科技集团有限公司，
类型：发明
国别省市：