【技术实现步骤摘要】
本申请涉及人工智能，尤其涉及一种请求处理方法、电子设备、存储介质及程序产品。
技术介绍
1、随着人工智能（artificial intelligence，ai）和机器学习（machine learning）技术的迅速发展，大规模预训练模型（可以表示为大语言模型（large language model，llm），简称大模型），比如gpt-4、palm等，凭借其强大的多模态处理能力和广泛的应用前景，已成为ai研究和应用的核心。大模型的典型应用是大模型推理，大模型推理是利用训练好的大模型进行实际任务处理，是将大模型的潜力转化为实际价值的关键环节，在智能问答、自动代码生成、医疗诊断、自动驾驶等领域发挥着重要作用，极大提升了各类智能应用的性能和用户体验。
2、大模型推理通常涉及巨大的计算量和复杂的资源管理，特别是在处理高并发的推理请求时，如何高效地分配计算资源、降低响应时间、提升整体服务质量，是目前亟需解决的技术难题。在相关技术中，在处理推理请求时，大多基于任务排队和先来先服务的策略进行推理请求的调度。然而，这种方案的灵活性较差，无法兼顾用户需求和资源利用效率，导致系统性能和用户体验受到影响。
技术实现思路
1、本申请提供一种请求处理方法、电子设备、存储介质及程序产品，用于解决在使用大模型处理推理请求时，如何高效地分配计算资源，降低响应时间，提升整体服务质量的问题。
2、为解决上述技术问题，本申请是这样实现的：
3、第一方面，提供一种请求处理方法，包括：
4、接收推理请求，所述推理请求用于请求使用大模型进行模型推理；
5、将所述推理请求加入请求队列，所述请求队列用于存放多个推理请求；
6、根据所述多个推理请求的推理信息，确定所述多个推理请求的优先级，所述推理信息包括所述多个推理请求的任务难度、等待时间和对应的用户等级；
7、根据所述多个推理请求的优先级，从所述多个推理请求中选择至少一个推理请求进行一次推理阶段的模型推理。
8、第二方面，提供一种电子设备，包括：
9、处理器；
10、用于存储所述处理器可执行指令的存储器；
11、其中，所述处理器被配置为执行所述指令，以实现如第一方面所述的方法。
12、第三方面，提供一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面所述的方法。
13、第四方面，提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如第一方面所述的方法中的部分或全部步骤。
14、在本申请实施例中，在接收到推理请求后，可以将推理请求加入请求队列，请求队列用于存放多个推理请求，然后根据该多个推理请求的任务难度、等待时间和对应的用户等级，确定多个推理请求的优先级，根据优先级，从多个推理请求中选择至少一个推理请求进行一次推理阶段的模型推理。由于在对推理请求进行处理时，可以综合考虑推理请求的任务难度、等待时间和对应的用户等级这三个因素来确定推理请求的优先级，并根据优先级选择至少一个推理请求进行推理，因此，不仅可以实现对推理请求的抢占式调度，还可以兼顾用户需求和资源利用率，从而提高系统的整体性能和稳定性。此外，在根据优先级选择至少一个推理请求后，在对至少一个推理请求进行推理时，由于可以进行一次推理阶段的模型推理，比如一次预填充或一次解码，因此，可以实现对推理请求的迭代级别的优先级调度，从而可以进一步优化资源分配，降低响应时间，提升整体服务质量。本申请实施例通过优化推理服务的调度机制，可以显著增强系统的适应性和可靠性，进而推动大模型在各个领域的广泛应用和普及。
本文档来自技高网...【技术保护点】
1.一种请求处理方法，包括：
2.如权利要求1所述的方法，所述根据所述多个推理请求的推理信息，确定所述多个推理请求的优先级，包括：
3.如权利要求2所述的方法，所述推理请求的任务难度与以下至少一项有关：
4.如权利要求3所述的方法，所述根据所述推理请求的任务难度，确定第一优先级，包括：
5.如权利要求4所述的方法，所述根据所述提示词长度、所述最大输出长度和所述请求长度上限，确定所述第一优先级，包括：
6.如权利要求4所述的方法，所述根据所述大模型对所述推理请求的剩余解码次数和所述大模型可以推理的请求长度上限，确定所述第一优先级，包括：
7.如权利要求2所述的方法，所述第一参数和所述第二参数与时间忍耐阈值相关，所述时间忍耐阈值可调，通过调整所述时间忍耐阈值调整所述第一参数和所述第二参数；
8.如权利要求1所述的方法，所述请求队列包括第一队列、第二队列和第三队列，所述第一队列用于存放未进行预填充的推理请求，所述第二队列用于存放已完成预填充阶段且处于解码阶段的推理请求，所述第三队列用于存放处于解码阶段被
9.如权利要求8所述的方法，所述根据所述第一队列中的推理请求的优先级，从所述第一队列中选择至少一个推理请求进行一次预填充阶段的模型推理，包括：
10.如权利要求9所述的方法，所述从优先级最高的推理请求开始，依次判断本轮次是否能够推理所述推理请求，包括：
11.如权利要求9所述的方法，所述方法还包括：
12.如权利要求8至11任一项所述的方法，在根据所述第一队列中的推理请求的优先级，从所述第一队列中选择至少一个推理请求进行一次预填充阶段的模型推理之前，所述方法还包括：
13.如权利要求12所述的方法，所述方法还包括：
14.如权利要求8、11和13中任一项所述的方法，所述根据所述第二队列中的推理请求的优先级，从所述第二队列中选择至少一个推理请求进行一次解码阶段的模型推理，包括：
15.如权利要求14所述的方法，对于任一被执行资源抢占的推理请求，所述方法还包括以下任一项：
16.如权利要求14所述的方法，所述方法还包括以下至少一项：
17.如权利要求14所述的方法，在根据所述第二队列中的推理请求的优先级，从所述第二队列中选择至少一个推理请求进行一次解码阶段的模型推理之前，所述方法还包括：
18.如权利要求17所述的方法，所述方法还包括：
19.如权利要求16或18所述的方法，所述根据所述第三队列中的推理请求的优先级，从所述第三队列中选择至少一个推理请求进行一次解码阶段的模型推理，包括：
20.如权利要求1所述的方法，在从所述多个推理请求中选择至少一个推理请求进行一次推理阶段的模型推理后，所述方法还包括：
21.一种电子设备，包括：
22.一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至20任一项所述的方法。
23.一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如权利要求1至20任一项所述的方法中的部分或全部步骤。
...【技术特征摘要】
1.一种请求处理方法，包括：
2.如权利要求1所述的方法，所述根据所述多个推理请求的推理信息，确定所述多个推理请求的优先级，包括：
3.如权利要求2所述的方法，所述推理请求的任务难度与以下至少一项有关：
4.如权利要求3所述的方法，所述根据所述推理请求的任务难度，确定第一优先级，包括：
5.如权利要求4所述的方法，所述根据所述提示词长度、所述最大输出长度和所述请求长度上限，确定所述第一优先级，包括：
6.如权利要求4所述的方法，所述根据所述大模型对所述推理请求的剩余解码次数和所述大模型可以推理的请求长度上限，确定所述第一优先级，包括：
7.如权利要求2所述的方法，所述第一参数和所述第二参数与时间忍耐阈值相关，所述时间忍耐阈值可调，通过调整所述时间忍耐阈值调整所述第一参数和所述第二参数；
8.如权利要求1所述的方法，所述请求队列包括第一队列、第二队列和第三队列，所述第一队列用于存放未进行预填充的推理请求，所述第二队列用于存放已完成预填充阶段且处于解码阶段的推理请求，所述第三队列用于存放处于解码阶段被抢占资源的推理请求；所述根据所述多个推理请求的优先级，从所述多个推理请求中选择至少一个推理请求进行一次推理阶段的模型推理，包括：
9.如权利要求8所述的方法，所述根据所述第一队列中的推理请求的优先级，从所述第一队列中选择至少一个推理请求进行一次预填充阶段的模型推理，包括：
10.如权利要求9所述的方法，所述从优先级最高的推理请求开始，依次判断本轮次是否能够推理所述推理请求，包括：
11.如权利要求9所述的方法，所述方法还包括：
12.如权利...
【专利技术属性】
技术研发人员：周祥生，肖萍，屠要峰，徐进，高洪，王壮，何荣荣，钟斌，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。