【技术实现步骤摘要】
本说明书实施例涉及人工智能，特别涉及一种任务处理方法。
技术介绍
1、随着机器学习技术的发展，通过大规模样本训练得到的任务处理模型，可以基于输入的任务信息处理目标任务，得到对应的任务处理结果。由于任务处理模型的参数规模较大，需要部署在算力性能和存储性能更强的任务处理平台。
2、目前，可以将任务处理模型部署在并行处理单元，例如，图形处理单元(gpu，graphics processingunit)、npu(neural processing unit，神经处理单元)、tpu(tensorprocessing unit，张量处理单元)、fpga硬件(field programmable gatearray，现场可编程门阵列硬件)、asic硬件(application specific integrated circuit，专用集成电路硬件)。调度并行处理单元来基于任务信息处理目标任务，并行处理单元由于其自身的并行架构(例如，图形处理单元包括多套并行的cache、控制模块和大量算术逻辑单元(alu，arithmetic and logic unit))，适配了任务处理模型对高算力的需求，成为了任务处理模型部署的主流硬件。
3、然而，由于并行处理单元在任务处理平台上的数量往往受限，在并行处理单元过载的情况下，会造成处理拥塞，提升了任务处理的延时，降低了任务处理的效率和可用性，降低了客户端的用户体验，因此，亟需一种高效率和高可用性的任务处理方法。
技术实现思路
1、有
2、根据本说明书实施例的第一方面，提供了一种任务处理方法，应用于任务处理平台中的调度单元，任务处理平台包括调度单元、至少一个并行处理单元和至少一个串行处理单元，并行处理单元和串行处理单元均部署有任务处理模型；该方法包括：
3、接收客户端发送的任务信息；
4、将任务信息调度至目标并行处理单元，以触发目标并行处理单元调用任务处理模型基于任务信息处理目标任务；
5、获取目标并行处理单元的负载信息；
6、在基于负载信息确定目标并行处理单元过载的情况下，将过载任务信息调度至目标串行处理单元，以触发目标串行处理单元调用任务处理模型基于任务信息处理目标任务。
7、根据本说明书实施例的第二方面，提供了一种问答方法，应用于问答平台中的调度单元，问答平台包括调度单元、至少一个并行处理单元和至少一个串行处理单元，并行处理单元和串行处理单元均部署有问答模型；该方法包括：
8、接收客户端发送的问题文本；
9、将问答文本调度至目标并行处理单元，以触发目标并行处理单元调用问答模型基于问答文本处理问答任务，得到对应的答复文本；
10、获取目标并行处理单元的负载信息；
11、在基于负载信息确定目标并行处理单元过载的情况下，将过载问答文本调度至目标串行处理单元，以触发目标串行处理单元调用问答模型基于问答文本处理问答任务，得到对应的答复文本。
12、根据本说明书实施例的第三方面，提供了一种任务处理装置，应用于任务处理平台中的调度单元，任务处理平台包括调度单元、至少一个并行处理单元和至少一个串行处理单元，并行处理单元和串行处理单元均部署有任务处理模型；该装置包括：
13、第一虚拟服务接入点，被配置为接收客户端发送的任务信息；
14、第一应用编程接口，被配置为将任务信息调度至目标并行处理单元，以触发目标并行处理单元调用任务处理模型基于任务信息处理目标任务；
15、第一负载信息服务模块，被配置为获取目标并行处理单元的负载信息；
16、第一应用编程接口，被配置为在基于负载信息确定目标并行处理单元过载的情况下，将过载任务信息调度至目标串行处理单元，以触发目标串行处理单元调用任务处理模型基于任务信息处理目标任务。
17、根据本说明书实施例的第四方面，提供了一种问答装置，应用于问答平台中的调度单元，问答平台包括调度单元、至少一个并行处理单元和至少一个串行处理单元，并行处理单元和串行处理单元均部署有问答模型；该装置包括：
18、第二虚拟服务接入点，被配置为接收客户端发送的问题文本；
19、第二应用编程接口，被配置为将问答文本调度至目标并行处理单元，以触发目标并行处理单元调用问答模型基于问答文本处理问答任务，得到对应的答复文本；
20、第二负载信息服务模块，被配置为获取目标并行处理单元的负载信息；
21、第二应用编程接口，被配置为在基于负载信息确定目标并行处理单元过载的情况下，将过载问答文本调度至目标串行处理单元，以触发目标串行处理单元调用问答模型基于问答文本处理问答任务，得到对应的答复文本。
22、根据本说明书实施例的第五方面，提供了一种任务处理平台，包括调度单元、至少一个并行处理单元和至少一个串行处理单元，并行处理单元和串行处理单元均部署有任务处理模型；
23、调度单元，用于接收客户端发送的任务信息，将任务信息调度至目标并行处理单元，获取目标并行处理单元的负载信息，在基于负载信息确定目标并行处理单元过载的情况下，将过载任务信息调度至目标串行处理单元；
24、目标并行处理单元，用于接收调度单元调度的任务信息，调用任务处理模型，基于任务信息处理目标任务；
25、目标串行处理单元，用于接收调度单元调度的过载任务信息，调用任务处理模型，基于过载任务信息处理目标任务。
26、根据本说明书实施例的第六方面，提供了一种计算设备，包括：
27、存储器和处理器；
28、所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述方法的步骤。
29、根据本说明书实施例的第七方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述方法的步骤。
30、根据本说明书实施例的第八方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述方法的步骤。
31、本说明书一个实施例中，提供了一种任务处理方法，应用于任务处理平台中的调度单元，任务处理平台包括调度单元、至少一个并行处理单元和至少一个串行处理单元，并行处理单元和串行处理单元均部署有任务处理模型；该方法包括：接收客户端发送的任务信息；将任务信息调度至目标并行处理单元，以触发目标并行处理单元调用任务处理模型基于任务信息处理目标任务；获取目标并行处理单元的负载信息；在基于负载信息确定目标并行处理单元过载的情况下，将过载任务信息调度至目标串行处理单元，以触发目标串行处理本文档来自技高网...
【技术保护点】
1.一种任务处理方法，应用于任务处理平台中的调度单元，所述任务处理平台包括所述调度单元、至少一个并行处理单元和至少一个串行处理单元，并行处理单元和所述中心处理单元均部署有任务处理模型；所述方法包括：
2.根据权利要求1所述的方法，在所述获取所述目标并行处理单元的负载信息之前，还包括：
3.根据权利要求2所述的方法，所述基于所述第一初始负载信息和所述任务信息，对所述目标并行处理单元进行资源调整，包括：
4.根据权利要求1所述的方法，所述在基于所述负载信息确定所述目标并行处理单元过载的情况下，将过载任务信息调度至目标串行处理单元，包括：
5.根据权利要求1所述的方法，在将过载任务信息调度至目标串行处理单元之后，还包括：
6.根据权利要求5所述的方法，所述基于所述第二初始负载信息和所述过载任务信息，对所述目标串行处理单元进行资源调整，包括：
7.根据权利要求1所述的方法，所述获取所述目标并行处理单元的负载信息，包括：
8.根据权利要求1-7任一项所述的方法，所述至少一个并行处理单元和至少一个串行处理单元
9.根据权利要求8所述的方法，在所述将过载任务信息调度至所述目标集群中的目标串行处理单元之后，还包括：
10.根据权利要求1所述的方法，所述方法还包括：
11.一种问答方法，应用于问答平台中的调度单元，所述问答平台包括所述调度单元、至少一个并行处理单元和至少一个串行处理单元，并行处理单元和串行处理单元均部署有问答模型；所述方法包括：
12.一种任务处理平台，包括调度单元、至少一个并行处理单元和至少一个串行处理单元，并行处理单元和串行处理单元均部署有任务处理模型；
13.一种计算设备，包括：
14.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至11任意一项所述方法的步骤。
...【技术特征摘要】
1.一种任务处理方法，应用于任务处理平台中的调度单元，所述任务处理平台包括所述调度单元、至少一个并行处理单元和至少一个串行处理单元，并行处理单元和所述中心处理单元均部署有任务处理模型；所述方法包括：
2.根据权利要求1所述的方法，在所述获取所述目标并行处理单元的负载信息之前，还包括：
3.根据权利要求2所述的方法，所述基于所述第一初始负载信息和所述任务信息，对所述目标并行处理单元进行资源调整，包括：
4.根据权利要求1所述的方法，所述在基于所述负载信息确定所述目标并行处理单元过载的情况下，将过载任务信息调度至目标串行处理单元，包括：
5.根据权利要求1所述的方法，在将过载任务信息调度至目标串行处理单元之后，还包括：
6.根据权利要求5所述的方法，所述基于所述第二初始负载信息和所述过载任务信息，对所述目标串行处理单元进行资源调整，包括：
7.根据权利要求1所述的方法，所述获取所述目标并行处理单元的负载信息，包括：
8...
【专利技术属性】
技术研发人员：蔡寅翔，王凯，周躜，张欣，
申请(专利权)人：杭州阿里云飞天信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。