一种任务处理方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种任务处理方法、装置、电子设备及存储介质，涉及云计算技术领域。具体实现方案为：确定待处理任务对应的多个待处理子任务，获取执行待处理子任务时需要请求的外部服务对应的服务提供服务器的每秒查询率；基于每秒查询率为各计算节点服务器分配待处理子任务；其中为各计算节点服务器分配的待处理子任务的数量总和不超过每秒查询率；根据为各计算节点服务器分配的待处理子任务分别向各计算节点服务器发送任务分配消息，以使各计算节点服务器根据接收到的任务分配消息，通过访问服务提供服务器执行对应的待处理子任务。本申请的技术方案减少了任务处理失败的次数，减少了任务反复分配投入的时间成本，进而提高了任务处理效率。

A task processing method, device, electronic equipment and storage medium

The application discloses a task processing method, an apparatus, an electronic device and a storage medium, and relates to the technical field of cloud computing. The specific implementation scheme is as follows: determine the multiple pending subtasks corresponding to the pending tasks, obtain the query rate per second of the service providing server corresponding to the external service required to request when executing the pending subtasks; assign the pending subtasks to each computing node server based on the query rate per second, wherein the total number of the pending subtasks assigned to each computing node server does not exceed Query rate per second; send task allocation messages to each computing node server according to the pending subtasks assigned to each computing node server, so that each computing node server can execute the corresponding pending subtasks through the access service provider server according to the received task allocation messages. The technical scheme of the application reduces the number of task processing failures, reduces the time cost of repeated task allocation input, and further improves the task processing efficiency.

【技术实现步骤摘要】
一种任务处理方法、装置、电子设备及存储介质
本申请涉及数据处理
，尤其涉及云计算

技术介绍
云服务系统就是利用云计算技术和思想构建起来的系统平台，用于提供数据计算、以及数据存储等服务。当采用云服务系统提供服务时，云服务系统会接收到待处理任务，并将待处理任务分配至相应的服务提供服务器。由于服务提供服务器在同一时间处理任务的能力有限，所以时常出现任务处理失败的情况。举例说明，智能物流系统(IntelligentLogisticsSystem，ILS)是以百度地图引擎和地理大数据为基础，以高性能的自研调度算法为核心的智能物流云服务系统，为多种运输场景的派单排线提供解决方案。当智能调度系统中的服务器接收到用户输入的目的网点后，会基于预先建立的路网矩阵进行路径规划，并输出规划好的自由配送路径。然而在执行路网矩阵构建任务时，通常存在调用路网矩阵构建服务器处理任务失败的情况，需要进行任务的再次下发和处理，降低了任务处理效率，给用户带来了较差的使用体验。申请内容本申请提供一种任务处理方法、装置、电子设备及存储介质，以减少任务处理时间，提高任务处理效率。第一方面，本申请实施例提供了一种任务处理方法，应用于主节点服务器，包括：确定待处理任务对应的多个待处理子任务，并获取执行所述待处理子任务时需要请求的外部服务所对应的服务提供服务器的每秒查询率；基于所述每秒查询率为所述主节点服务器所对应的各计算节点服务器分配待处理子任务；其中，为各计算节点服务器所分配的待处理子任务的数量总和不超过所述每秒查询率；根据为各计算节点服务器分配的待处理子任务分别向对应的计算节点服务器发送任务分配消息，以使各计算节点服务器根据接收到的任务分配消息，通过访问所述服务提供服务器执行对应的待处理子任务。上述申请中的一个实施例具有如下有益效果：能够减少任务处理时间，提高任务处理效率。通过对服务提供服务器的每秒查询率的获取，并基于每秒查询率进行待处理任务对应的多个待处理子任务的任务分配，使得服务提供服务器能够有效响应计算节点服务器在执行待处理子任务时对应的访问操作，既保证了待处理子任务的处理效率，又兼顾了服务提供服务器的处理能力，所以克服了服务提供服务器由于无法及时处理任务导致任务处理失败的技术问题，从而减少了任务处理失败的次数，减少了任务反复分配投入的时间成本，进而提高了任务处理效率。可选的，所述待处理任务为待处理路网任务，所述待处理路网任务中包含有多个网点；相应的，所述确定待处理任务对应的多个待处理子任务，包括：根据所述多个网点确定需要获取路网信息的网点对，将确定的每个网点对分别作为一个待处理子任务；相应的，所述需要请求的外部服务包括用于提供所述网点对之间的路网信息的服务。上述可选方式可以将基于服务提供服务器的每秒查询率进行待处理路网任务对应的多个网点对的分配及任务分配消息的发送，使得服务提供服务器能够根据接收的任务分配信息提供网点对之间的路网信息，从而减少了提供路网信息服务时所耗费的时间，提高了服务提供效率。可选的，在根据为各计算节点服务器分配的待处理子任务分别向对应的计算节点服务器发送任务分配消息之后，还包括：若存在未被分配的待处理子任务，则返回执行待处理子任务分配操作，直至所有待处理子任务被分配完成。上述可选方式可以在待处理子任务未完全被分配的情况下，继续触发待处理子任务的分配操作，保证了待处理任务被分配的完整度。可选的，在所有待处理子任务被分配完成之后，还包括：查询用于存储子任务执行结果的数据库，以确定各待处理子任务是否被成功执行，并存储确定结果；查询所述确定结果，并在所述确定结果中存在未被成功执行的待处理子任务时，返回执行待处理子任务分配操作，直至所述确定结果中各待处理子任务被成功执行或满足任务分配停止条件。上述可选方式通过在待处理子任务被执行过程中，对各待处理子任务执行结果的查询确定，以在存在未被成功执行的待处理子任务时，重新进行该待处理子任务的分配操作，保证待处理任务中各待处理子任务处理过程的有效性。可选的，基于所述每秒查询率为所述节点服务器所对应的各计算节点服务器分配待处理子任务，包括：确定所述计算节点服务器的数量，并根据所述每秒查询率与所确定数量的比值确定各计算节点服务器对应的子任务分配数量；分别为各计算节点服务器从所述多个待处理子任务中选取所述子任务分配数量的待处理子任务，进行任务分配。上述可选方式通过计算节点服务器的数量，确定各计算节点服务器对应的子任务分配数量，进而根据子任务分配数量为各计算节点服务器进行待处理子任务的选取和分配，实现了主节点服务器对应的各计算节点服务器的任务均衡化，避免了由于计算节点服务器的任务不均衡导致某一计算节点服务器宕机带来的影响，从而间接提高了任务处理效率。可选的，分别为各计算节点服务器从所述多个待处理子任务中选取所述子任务分配数量的待处理子任务，包括：若所述待处理任务的数量为多个，则依据轮询机制或任务优先级，确定为各计算节点服务器选取待处理子任务时所对应的待处理任务。上述可选方式通过轮训机制或任务优先级的方式进行待处理任务的选取，完善了存在多个待处理任务时的待处理子任务的分配机制，保证了待处理任务的有序分配。可选的，根据为各计算节点服务器分配的待处理子任务分别向对应的计算节点服务器发送任务分配消息，包括：根据为各计算节点服务器分配的待处理子任务，向消息队列MQ集群中的中心节点发送针对各计算节点服务器的任务分配消息，以使各计算节点服务器从所述中心节点中的ActiveMQ读取自身的任务分配消息；或者，根据为各计算节点服务器分配的待处理子任务，分别采用zeroMQ机制向对应的计算节点服务器发送任务分配消息。上述可选方式通过设置消息队列进行任务分配消息的发送，通过异步处理提高了系统性能和削峰、降低了主节点服务器和计算节点服务器所构成系统的耦合性。可选的，根据为各计算节点服务器分配的待处理子任务分别向对应的计算节点服务器发送任务分配消息，包括：根据为各计算节点服务器分配的待处理子任务，分别按照设定速率向对应的计算节点服务器发送任务分配消息。上述可选方式通过对主节点服务器进行任务分配消息发送时的发送速率进行设定，避免了任务分配消息发送过快导致的消息阻塞现象的发生，从而提高了任务分配效率。第二方面，本申请实施例还提供了一种任务处理方法，应用于计算节点服务器，包括：获取主节点服务器根据为所述计算节点服务器分配的待处理子任务所发送的任务分配消息；其中，所述待处理子任务来自同一待处理任务，所述待处理子任务的数量与所述主节点服务器为其他计算节点服务器分配的待处理子任务的数量的总和，不超过执行所述待处理子任务时需要请求的外部服务所对应的服务提供服务器的每秒查询率；根据所述任务分配消息，访问所述服务提供服务器，以执行所述任务分配消息对应的待处理子任本文档来自技高网...

【技术保护点】
1.一种任务处理的方法，应用于主节点服务器，其特征在于，包括：/n确定待处理任务对应的多个待处理子任务，并获取执行所述待处理子任务时需要请求的外部服务所对应的服务提供服务器的每秒查询率；/n基于所述每秒查询率为所述主节点服务器所对应的各计算节点服务器分配待处理子任务；其中，为各计算节点服务器所分配的待处理子任务的数量总和不超过所述每秒查询率；/n根据为各计算节点服务器分配的待处理子任务分别向对应的计算节点服务器发送任务分配消息，以使各计算节点服务器根据接收到的任务分配消息，通过访问所述服务提供服务器执行对应的待处理子任务。/n

【技术特征摘要】
1.一种任务处理的方法，应用于主节点服务器，其特征在于，包括：
确定待处理任务对应的多个待处理子任务，并获取执行所述待处理子任务时需要请求的外部服务所对应的服务提供服务器的每秒查询率；
基于所述每秒查询率为所述主节点服务器所对应的各计算节点服务器分配待处理子任务；其中，为各计算节点服务器所分配的待处理子任务的数量总和不超过所述每秒查询率；
根据为各计算节点服务器分配的待处理子任务分别向对应的计算节点服务器发送任务分配消息，以使各计算节点服务器根据接收到的任务分配消息，通过访问所述服务提供服务器执行对应的待处理子任务。


2.根据权利要求1所述的方法，其特征在于，所述待处理任务为待处理路网任务，所述待处理路网任务中包含有多个网点；
相应的，所述确定待处理任务对应的多个待处理子任务，包括：
根据所述多个网点确定需要获取路网信息的网点对，将确定的每个网点对分别作为一个待处理子任务；
相应的，所述需要请求的外部服务包括用于提供所述网点对之间的路网信息的服务。


3.根据权利要求1所述的方法，其特征在于，在根据为各计算节点服务器分配的待处理子任务分别向对应的计算节点服务器发送任务分配消息之后，还包括：
若存在未被分配的待处理子任务，则返回执行待处理子任务分配操作，直至所有待处理子任务被分配完成。


4.根据权利要求3所述的方法，其特征在于，在所有待处理子任务被分配完成之后，还包括：
查询用于存储子任务执行结果的数据库，以确定各待处理子任务是否被成功执行，并存储确定结果；
查询所述确定结果，并在所述确定结果中存在未被成功执行的待处理子任务时，返回执行待处理子任务分配操作，直至所述确定结果中各待处理子任务被成功执行或满足任务分配停止条件。


5.根据权利要求1所述的方法，其特征在于，所述基于所述每秒查询率为所述节点服务器所对应的各计算节点服务器分配待处理子任务，包括：
确定所述计算节点服务器的数量，并根据所述每秒查询率与所确定数量的比值确定各计算节点服务器对应的子任务分配数量；
分别为各计算节点服务器从所述多个待处理子任务中选取所述子任务分配数量的待处理子任务，进行任务分配。


6.根据权利要求5所述的方法，其特征在于，所述分别为各计算节点服务器从所述多个待处理子任务中选取所述子任务分配数量的待处理子任务，包括：
若所述待处理任务的数量为多个，则依据轮询机制或任务优先级，确定为各计算节点服务器选取待处理子任务时所对应的待处理任务。


7.根据权利要求1所述的方法，其特征在于，所述根据为各计算节点服务器分配的待处理子任务分别向对应的计算节点服务器发送任务分配消息，包括：
根据为各计算节点服务器分配的待处理子任务，向消息队列MQ集群中的中心节点发送针对各计算节点服务器的任务分配消息，以使各计算节点服务器从所述中心节点中的ActiveMQ读取自身的任务分配消息；或者，
根据为各计算节点服务器分配的待处理子任务，分别采用zeroMQ机制向对应的计算节点服务器发送任务分配消息。


8.根据权利要求1-7任一项所述的方法，其特征在于，所述根据为各计算节点服务器分配的待处理子任务分别向对应的计算节点服务器发送任务分配消息，包括：
根据为各计算节点服务器分配的待处理子任务，分别按照设定速率向对应的计算节点服务器发送任务分配消息。


9.一种任务处理方法，其特征在于，应用于计算节点服务器，包括：
获取主节点服务器根据为所述计算节点服务器分配的待处理子任务所发送的任务分配消息；其中，所述待处理子任务来自同一待处理任务，所述待处理子任务的数量与所述主节点服务器为其他计算节点服务器分配的待处理子任务的数量的总和，不超过执行所述待处理子任务时需要请求的外部服务所对应的服务提供服务器的每秒查询率；
根据所述任务分...

【专利技术属性】
技术研发人员：刘振兴，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11