【技术实现步骤摘要】
本申请涉及领域，具体涉及一种基于大语言模型的任务处理方法、装置、设备及介质。
技术介绍
1、近年来，随着人工智能技术的飞速发展，大规模语言模型(large languagemodels，llms)在自然语言处理、机器翻译、智能问答等领域展现出了巨大的潜力和应用价值。这些模型凭借其强大的语言理解和生成能力，正在改变着人机交互的方式，并在各行各业中得到广泛应用。然而，随着模型规模的不断扩大和应用场景的日益复杂，大模型的运营面临着诸多挑战，主要表现在以下几个方面：
2、资源消耗问题：大规模语言模型通常需要消耗大量的计算资源和能源。例如，gpt-3这样的模型包含数千亿个参数，在训练和推理过程中都需要大量的gpu资源和电力支持。这不仅带来了高昂的运营成本，还造成了显著的环境负担。目前，许多研究都在致力于如何在保证模型性能的同时，降低资源消耗，但这仍然是一个亟待解决的难题。
3、推理效率低下：大模型在处理复杂任务时，往往需要较长的推理时间，这在实时性要求较高的应用场景中可能会导致用户体验下降。尽管有研究提出了模型压缩、知识蒸馏等方法来提高推理速度，但这些方法通常会在一定程度上牺牲模型的性能，难以在效率和性能之间取得完美平衡。
4、任务适应性不足：大模型虽然在广泛的任务上表现出色，但对于特定领域或复杂的任务可能存在适应性不足的问题。这导致在处理某些专业性强或结构复杂的任务时，可能需要额外的微调或专门的模型版本，增加了模型维护和部署的复杂性。
5、资源分配不合理：在实际应用中，不同的任务对计算资源
6、并行处理能力不足：复杂任务通常可以被分解为多个子任务，理论上这些子任务可以并行处理以提高效率。但是，现有的大模型运营方法在任务拆解和并行处理方面的能力还比较有限，难以充分利用硬件的并行计算能力。
7、为了应对这些挑战，研究者们提出了多种解决方案。例如，模型量化技术被用来降低模型的存储和计算需求；模型剪枝方法则通过去除不重要的神经元来减小模型规模；分布式训练和推理技术被广泛应用于提高大模型的处理效率。此外，一些研究尝试通过多模型融合或模型动态选择的方式来提高系统的任务适应性。
8、然而，这些方法通常只能解决部分问题，缺乏一个统一的框架来全面提升大模型的运营效率。特别是在动态任务处理、资源智能分配以及任务并行执行等方面，现有技术仍存在明显的不足。
技术实现思路
1、为了解决上述问题，本申请提出了一种方法、设备及介质，其中方法包括：
2、通过大语言模型将目标任务进行拆解，以得到多个子任务以及所述多个子任务分别对应的子任务信息；根据所述子任务信息，确定所述多个子任务分别对应的步骤编号、任务描述、前置步骤编号、任务类别以及任务难度；基于所述多个子任务分别对应的任务描述、任务类别以及任务难度，确定所述多个子任务分别对应的执行模型；使用执行模型，执行所述多个子任务，以得到所述多个子任务的子执行结果；对所述多个子任务的子执行结果进行整合，以得到所述目标任务的执行结果。
3、在一个示例中，基于所述多个子任务分别对应的任务描述、任务类别以及任务难度，确定所述多个子任务分别对应的执行模型，具体包括：在所述多个子任务选择任一子任务，作为目标子任务；基于所述目标子任务的任务描述以及任务类别，确定执行所述目标子任务对应的执行工具；基于所述目标子任务对应的任务难度，确定所述目标子任务对应执行模型的模型尺寸；基于所述执行工具以及所述模型尺寸，在预设模型池中选择目标执行模型；遍历所述多个子任务，直至所述多个子任务都确定了对应的执行模型。
4、在一个示例中，所述预设模型池中维护有多个不同专业化方向以及不同参数规模的大语言模型。
5、在一个示例中，所述使用执行模型，执行所述多个子任务，具体包括：将所述预设模型池中与所述目标子任务对应模型尺寸的执行模型作为所述目标子任务的理想模型；若确定所述目标子任务的执行模型时，所述理想模型处于被调用状态，则基于所述目标子任务的任务难度以及模型尺寸，在所述预设模型池中挑选模型尺寸相近的预设模型作为所述目标子任务的待执行模型；在执行所述目标子任务时，判断所述理想模型是否处于被调用状态；若所述理想模型处于被调用状态，则通过所述待执行模型执行所述目标子任务；若所述理想模型处于空闲状态，则通过所述理想模型执行所述目标子任务。
6、在一个示例中，所述使用执行模型，执行所述多个子任务之前，具体包括：基于所述多个子任务分别对应的步骤编号以及前置步骤编号，确定所述多个子任务对应的多条单线执行顺序；基于所述多个子任务对应的多条单线执行顺序，以及空闲线程数量，确定所述多个子任务的串并行执行序列；基于所述串并行执行序列，以及所述执行模型，执行所述多个子任务。
7、在一个示例中，所述对所述多个子任务的子执行结果进行整合，以得到所述目标任务的执行结果，具体包括：根据所述串并行执行序列，将所述多个子任务的子执行结果中确定中间执行结果；将所述中间执行结果按照所述串并行执行序列输入至下一子任务的执行模型中，直至得到多个执行序列分别对应的序列结果；将所述多个执行序列分别对应的序列结果进行整合，以得到所述目标任务的执行结果。
8、在一个示例中，所述任务类别包括tool类型以及chat类型，所述tool类型的任务为需要通过调用各类执行工具完成的任务。
9、本申请还提供了一种基于大语言模型的任务处理方法装置，包括：拆解模块，通过大语言模型将目标任务进行拆解，以得到多个子任务以及所述多个子任务分别对应的子任务信息；子任务信息模块，根据所述子任务信息，确定所述多个子任务分别对应的步骤编号、任务描述、前置步骤编号、任务类别以及任务难度；执行模型模块，基于所述多个子任务分别对应的任务描述、任务类别以及任务难度，确定所述多个子任务分别对应的执行模型；执行模块，使用执行模型，执行所述多个子任务，以得到所述多个子任务的子执行结果；整合模块，对所述多个子任务的子执行结果进行整合，以得到所述目标任务的执行结果。
10、本申请还提供了一种基于大语言模型的任务分解处理设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行：通过大语言模型将目标任务进行拆解，以得到多个子任务以及所述多个子任务分别对应的子任务信息；根据所述子任务信息，确定所述多个子任务分别对应的步骤编号、任务描述、前置步骤编号、任务类别以及任务难度；基于所述多个子任务分别对应的任务描述、任务类别以及任务难度，确定所述多个子任务分别对应的执行模型；使用执行模型，执行所述多个子任务，以得到所述多个子任务的子执行结果；对所述本文档来自技高网...
【技术保护点】
1.一种基于大语言模型的任务分解处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，基于所述多个子任务分别对应的任务描述、任务类别以及任务难度，确定所述多个子任务分别对应的执行模型，具体包括：
3.根据权利要求2所述的方法，其特征在于，所述预设模型池中维护有多个不同专业化方向以及不同参数规模的大语言模型。
4.根据权利要求2所述的方法，其特征在于，所述使用执行模型，执行所述多个子任务，具体包括：
5.根据权利要求1所述的方法，其特征在于，所述使用执行模型，执行所述多个子任务之前，具体包括：
6.根据权利要求5所述的方法，其特征在于，所述对所述多个子任务的子执行结果进行整合，以得到所述目标任务的执行结果，具体包括：
7.根据权利要求1所述的方法，其特征在于，所述任务类别包括TOOL类型以及Chat类型，所述TOOL类型的任务为需要通过调用各类执行工具完成的任务。
8.一种基于大语言模型的任务处理方法装置，其特征在于，包括：
9.一种基于大语言模型的任务分解处理设备，其
10.一种非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：
...【技术特征摘要】
1.一种基于大语言模型的任务分解处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，基于所述多个子任务分别对应的任务描述、任务类别以及任务难度，确定所述多个子任务分别对应的执行模型，具体包括：
3.根据权利要求2所述的方法，其特征在于，所述预设模型池中维护有多个不同专业化方向以及不同参数规模的大语言模型。
4.根据权利要求2所述的方法，其特征在于，所述使用执行模型，执行所述多个子任务，具体包括：
5.根据权利要求1所述的方法，其特征在于，所述使用执行模型，执行所述多个子任务之前，具体包括：...
【专利技术属性】
技术研发人员：展恩昊，李雪，段强，
申请(专利权)人：山东浪潮科学研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。