【技术实现步骤摘要】
本申请涉及计算机，特别是涉及一种配置方法、系统、设备、程序产品及存储介质。
技术介绍
1、随着大型语言模型(large language model，llm)在自然语言处理领域的广泛应用，其推理服务的部署与配置成为了运维人员面临的一项重要任务。
2、llm模型的工作原理复杂，涉及大量的数学运算和数据处理，对计算资源的需求也呈现出高度的动态性和多样性。在推理过程中，模型需要根据输入文本生成相应的输出，这一过程中涉及到模型的加载、推理计算、内存管理等多个环节，每个环节都对计算资源有着不同的需求。例如，模型的加载阶段可能需要大量的磁盘写入/输出操作，而推理计算阶段则可能消耗大量的中央处理器(central processing unit，cpu)和图形处理器(graphicsprocessing unit，gpu)资源。
3、然而，由于运维人员对llm模型的工作原理及其资源需求特点不熟悉，他们在配置推理服务时往往难以做出最优选择。一方面，如果资源配置过低，可能导致服务性能下降，无法满足用户的实时性和准确性需求；另一方面，如果资源配置过高，虽然可以确保服务性能，但将增加不必要的硬件开支，造成资源的浪费。
技术实现思路
1、基于上述问题，本申请提供了一种配置方法、系统、设备、程序产品及存储介质。
2、本申请实施例公开了如下技术方案：
3、本申请实施例第一方面提供了一种配置方法，包括：
4、获取大型语言模型llm类型和需求信息；>
5、基于所述llm类型和所述需求信息生成配置参数；
6、基于所述配置参数创建测试服务；
7、利用测试脚本对所述测试服务进行压力测试，得到压测结果；
8、基于所述压测结果，对所述配置参数进行调整，得到符合预设性能要求的配置参数。
9、在一种可能的实现方式中，所述利用测试脚本对所述测试服务进行压力测试，得到压测结果，包括：
10、利用监控脚本收集所述测试服务运行过程中产生的性能指标；
11、针对每个性能指标，将所述性能指标与对应的预设性能条件进行比对，得到不符合预设性能条件的性能指标，作为压测结果。
12、在一种可能的实现方式中，所述针对每个性能指标，将所述性能指标与对应的预设性能条件进行比对，得到不符合预设性能条件的性能指标，作为压测结果，包括：
13、针对每个性能指标，将所述性能指标与对应的预设扩容条件和预设缩容条件进行比对，得到符合预设扩容条件，和/或，符合预设缩容条件的性能指标，作为压测结果，所述压测结果用于指示对性能指标对应的配置参数进行扩容操作或缩容操作。
14、在一种可能的实现方式中，所述基于所述配置参数创建测试服务之后，还包括：
15、基于所述配置参数设置所述测试服务对应的测试环境；
16、所述利用测试脚本对所述测试服务进行压力测试，得到压测结果包括：
17、在设置得到的测试环境中，利用测试脚本对所述测试服务进行压力测试。
18、在一种可能的实现方式中，所述利用测试脚本对所述测试服务进行压力测试，得到压测结果之前，还包括：
19、若所述需求信息指示目标应用场景，调用所述目标应用场景对应的测试脚本。
20、在一种可能的实现方式中，所述利用测试脚本对所述测试服务进行压力测试，得到压测结果之前，还包括：
21、若所述需求信息未指示应用场景，从预先构建的脚本库中调用与所述需求信息匹配度符合预设匹配标准的脚本模板；
22、基于所述需求信息对所述脚本模板进行调整，得到所述需求信息对应的测试脚本。
23、本申请实施例第一方面提供了一种配置系统，包括：
24、获取单元，用于获取大型语言模型llm类型和需求信息；
25、生成单元，用于基于所述llm类型和所述需求信息生成配置参数；
26、创建单元，用于基于所述配置参数创建测试服务；
27、测试单元，用于利用测试脚本对所述测试服务进行压力测试，得到压测结果；
28、调整单元，用于基于所述压测结果，对所述配置参数进行调整，得到符合预设性能要求的配置参数。
29、本申请实施例第三方面提供了一种电子设备，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如前述第一方面所述的配置方法。
30、本申请实施例第四方面提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，所述计算机执行如前述第一方面所述的配置方法。
31、本申请实施例第五方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如前述第一方面所述的配置方法。
32、相较于现有技术，本申请具有以下有益效果：
33、通过收集llm类型及用户具体的需求信息，确保了后续操作都有明确的目标导向。基于获取到的llm类型及用户具体的需求信息，生成初始的配置参数。这种方式避免了人工配置可能带来的误差，同时也考虑到了不同硬件资源之间的最佳搭配，从而提高了配置的成功率和合理性。使用生成的配置参数，创建一个临时的测试服务。这个测试服务用于模拟实际的生产环境，以便进行后续的压力测试。利用测试脚本对所述测试服务进行压力测试，得到压测结果，模拟了极端条件下的负载情况，以此来检验稳定性和响应能力，由此识别出那些在正常情况下不易察觉但会影响用户体验的性能瓶颈。根据测试反馈的压测结果调整配置参数，直至满足预先设定的性能标准，保证了最终调整得到的配置参数既能实现高性能和高稳定性，又符合用户的需求。本申请有效地解决了由于缺乏专业知识造成的资源配置难题，同时大幅提升了工作效率和服务质量，使得即使是非专业的运维团队，只通过输入llm类型和需求便能轻松完成复杂的llm部署任务。
本文档来自技高网...【技术保护点】
1.一种配置方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述利用测试脚本对所述测试服务进行压力测试，得到压测结果，包括：
3.根据权利要求2所述的方法，其特征在于，所述针对每个性能指标，将所述性能指标与对应的预设性能条件进行比对，得到不符合预设性能条件的性能指标，作为压测结果，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述配置参数创建测试服务之后，还包括：
5.根据权利要求1所述的方法，其特征在于，所述利用测试脚本对所述测试服务进行压力测试，得到压测结果之前，还包括：
6.根据权利要求1所述的方法，其特征在于，所述利用测试脚本对所述测试服务进行压力测试，得到压测结果之前，还包括：
7.一种配置系统，其特征在于，包括：
8.一种电子设备，其特征在于，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-6任一项所述的配置方法。
9.一种计算机程序产品，其特征在于，当所述计算机
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如权利要求1-6任一项所述的配置方法。
...【技术特征摘要】
1.一种配置方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述利用测试脚本对所述测试服务进行压力测试，得到压测结果，包括：
3.根据权利要求2所述的方法，其特征在于，所述针对每个性能指标，将所述性能指标与对应的预设性能条件进行比对，得到不符合预设性能条件的性能指标，作为压测结果，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述配置参数创建测试服务之后，还包括：
5.根据权利要求1所述的方法，其特征在于，所述利用测试脚本对所述测试服务进行压力测试，得到压测结果之前，还包括：
6.根据权利要求1所述的方法，其特征在于，所述利用测...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。