任务处理方法技术

本说明书实施例提供任务处理方法

【技术实现步骤摘要】
任务处理方法、问答处理方法及任务处理系统


[0001]本说明书实施例涉及计算机
，特别涉及一种任务处理方法
。

技术介绍

[0002]随着神经网络模型技术的发展，用于任务处理的任务处理模型可以对待处理任务进行高效
、
准确的任务处理
。
[0003]目标，由于任务处理模型的模型参数规模巨大，例如，用于自然语言处理的任务处理模型的模型参数规模可以达到
TB
级别
(2^40
字节
)
甚至
PB
级别
(2^50
字节
)。
请求端通过向任务处理平台发送任务处理请求，任务处理平台通过调用任务处理模型完成任务处理
。
[0004]然而，由于任务处理模型一般部署在以
GPU(Graphic Processing Unit
，图像处理单元，又称为显卡
)、NPU(Neural
‑
network Processing Unit
，神经网络模型处理单元
)
这样的并行处理硬件上
。
如果一次只对一个任务处理请求进行处理，无法充分利用任务处理模型的模型性能，而如果一次对大量的任务处理请求进行处理，又容易在达到处理瓶颈后，多余的任务处理请求长时间处于等待状态，造成高延迟的问题
。
如何合理调度来实现大吞吐量场景下高效地调用任务处理模型完成任务处理，降低延迟，同时，充分利用任务处理模型的模型性能是一个重要的问题
。
因此，亟需一种有效优化任务处理的延迟
、
吞吐率和模型性能利用率的任务处理方法
。

技术实现思路

[0005]有鉴于此，本说明书实施例提供了一种任务处理方法
。
本说明书一个或者多个实施例同时涉及一种问答处理方法，一种任务处理装置，一种问答处理装置，一种任务处理系统，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷
。
[0006]根据本说明书实施例的第一方面，提供了一种任务处理方法，应用于任务处理平台的调度端，任务处理平台包括调度端
、
任务队列和任务容器，任务队列用于存储任务处理请求，包括：
[0007]从任务队列中获取至少一个任务处理请求，并将至少一个任务处理请求添加至任务容器中；
[0008]识别任务容器的容器指标是否达到对应的预设指标阈值，其中，容器指标包括任务容器中任务处理请求的数目和添加时间至少一项，添加时间为将至少一个任务处理请求添加至任务容器中已消耗的时间；
[0009]在达到预设指标阈值的情况下，将任务容器调度至目标处理节点，以使目标处理节点利用任务处理模型对任务容器中的各任务处理请求进行处理，得到任务处理结果，其中，目标处理节点为多个初始处理节点中处于空闲状态的任务处理节点
。
[0010]根据本说明书实施例的第二方面，提供了一种问答处理方法，应用于问答平台的调度端，问答平台包括调度端
、
任务队列和任务容器，任务队列用于存储问答处理请求，包
括：
[0011]从任务队列中获取至少一个问答处理请求，并将至少一个问答处理请求添加至任务容器中；
[0012]识别任务容器的容器指标是否达到对应的预设指标阈值，其中，容器指标包括任务容器中任务处理请求的数目和添加时间至少一项，添加时间为将至少一个任务处理请求添加至任务容器中已消耗的时间；
[0013]在达到预设指标阈值的情况下，将任务容器调度至目标处理节点，以使目标处理节点利用问答模型对任务容器中各问答处理请求的问题文本进行处理，得到并反馈答复文本至对应的请求端，其中，目标处理节点为多个初始处理节点中处于空闲状态的任务处理节点
。
[0014]根据本说明书实施例的第三方面，提供了一种任务处理装置，应用于任务处理平台的调度端，任务处理平台包括调度端
、
任务队列和任务容器，任务队列用于存储任务处理请求，包括：
[0015]第一添加模块，被配置为从任务队列中获取至少一个任务处理请求，并将至少一个任务处理请求添加至任务容器中；
[0016]第一识别模块，被配置为识别任务容器的容器指标是否达到对应的预设指标阈值，其中，容器指标包括任务容器中任务处理请求的数目和添加时间至少一项，添加时间为将至少一个任务处理请求添加至任务容器中已消耗的时间；
[0017]第一处理模块，被配置为在达到预设指标阈值的情况下，将任务容器调度至目标处理节点，以使目标处理节点利用任务处理模型对任务容器中的各任务处理请求进行处理，得到任务处理结果，其中，目标处理节点为多个初始处理节点中处于空闲状态的任务处理节点
。
[0018]根据本说明书实施例的第四方面，提供了一种问答处理装置，应用于问答平台的调度端，问答平台包括调度端
、
任务队列和任务容器，任务队列用于存储问答处理请求，包括：
[0019]第二添加模块，被配置为从任务队列中获取至少一个问答处理请求，并将至少一个问答处理请求添加至任务容器中；
[0020]第二识别模块，被配置为识别任务容器的容器指标是否达到对应的预设指标阈值，其中，容器指标包括任务容器中任务处理请求的数目和添加时间至少一项，添加时间为将至少一个任务处理请求添加至任务容器中已消耗的时间；
[0021]第二处理模块，被配置为在达到预设指标阈值的情况下，将任务容器调度至目标处理节点，以使目标处理节点利用问答模型对任务容器中各问答处理请求的问题文本进行处理，得到并反馈答复文本至对应的请求端，其中，目标处理节点为多个初始处理节点中处于空闲状态的任务处理节点
。
[0022]根据本说明书实施例的第五方面，提供了一种任务处理系统，包括调度端
、
任务队列
、
任务容器和多个任务处理节点，任务队列用于存储任务处理请求，任务处理节点上部署有任务处理模型；
[0023]调度端，用于从任务队列中获取至少一个任务处理请求，并将至少一个任务处理请求添加至任务容器中，识别任务容器的容器指标是否达到对应的预设指标阈值，在达到
预设指标阈值的情况下，将任务容器调度至目标处理节点，其中，容器指标包括任务容器中任务处理请求的数目和添加时间至少一项，添加时间为将至少一个任务处理请求添加至任务容器中已消耗的时间；
[0024]目标处理节点，用于接收任务容器，利用任务处理模型，对任务容器中的各任务处理请求进行处理，得到任务处理结果
。
[0025]根据本说明书实施例的第六方面，提供了一种计算设备，包括：
[0026]存储器和处理器；
[0027]所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种任务处理方法，应用于任务处理平台的调度端，所述任务处理平台包括所述调度端
、
任务队列和任务容器，所述任务队列用于存储任务处理请求，包括：从所述任务队列中获取至少一个任务处理请求，并将所述至少一个任务处理请求添加至所述任务容器中；识别所述任务容器的容器指标是否达到对应的预设指标阈值，其中，所述容器指标包括所述任务容器中任务处理请求的数目和添加时间至少一项，所述添加时间为将所述至少一个任务处理请求添加至所述任务容器中已消耗的时间；在达到所述预设指标阈值的情况下，将所述任务容器调度至目标处理节点，以使所述目标处理节点利用任务处理模型对所述任务容器中的各任务处理请求进行处理，得到任务处理结果，其中，所述目标处理节点为多个初始处理节点中处于空闲状态的任务处理节点
。2.
根据权利要求1所述的方法，所述预设指标阈值包括预设数目阈值或预设时间窗口；所述识别所述任务容器的容器指标是否达到对应的预设指标阈值，包括：在所述容器指标包括数目的情况下，识别所述任务容器中任务处理请求的数目是否达到所述预设数目阈值；在所述容器指标包括时间的情况下，识别所述添加时间是否达到所述预设时间窗口
。3.
根据权利要求2所述的方法，所述容器指标包括所述任务容器中任务处理请求的数目和添加时间；所述在达到所述预设指标阈值的情况下，将所述任务容器调度至目标处理节点，包括：在所述数目达到所述预设数目阈值或者所述时间达到所述预设时间窗口的情况下，将所述任务容器调度至目标处理节点
。4.
根据权利要求3所述的方法，在所述识别所述任务容器的容器指标是否达到对应的预设指标阈值之后，还包括：在所述数目未达到所述预设数目阈值且所述时间未达到所述预设时间窗口的情况下，返回执行所述从所述任务队列中获取至少一个任务处理请求的步骤
。5.
根据权利要求1‑4任一项所述的方法，在所述将所述任务容器调度至目标处理节点之前，还包括：获取多个初始处理节点的任务处理状态；从任务处理状态为空闲状态的初始处理节点中，确定目标处理节点
。6.
根据权利要求5所述的方法，所述获取多个初始处理节点的任务处理状态，包括：向多个初始处理节点发送状态获取请求，接收各初始处理节点反馈的任务处理状态；相应地，所述将所述任务容器调度至目标处理节点，包括：将所述任务容器发送至所述目标处理节点
。7.
根据权利要求1‑4任一项所述的方法，所述将所述任务容器调度至目标处理节点，包括：响应于目标处理节点发送的任务调度请求，将所述任务容器发送至所述目标处理节点，其中，所述任务调度请求为所述目标处理节点响应于任务处理状态变换为空闲状态发送的
。8.
根据权利要求1‑4任一项所述的方法，在所述将所述任务容器调度至目标处理节点之后，还包括：

【专利技术属性】
技术研发人员：周躜，王凯，
申请(专利权)人：杭州阿里云飞天信息技术有限公司，
类型：发明
国别省市：