【技术实现步骤摘要】
本申请涉及语言大模型的提示词工程领域，具体涉及一种语言大模型训练方法、系统、设备及计算机可读存储介质。
技术介绍
1、“语言大模型”是指大规模语言模型(large language model，llms)，是一种参数规模较大的语言模型，旨在通过大量的文本数据进行训练，从而达到理解和生成人类语言目的，可执行包括文本总结、翻译、情感分析等在内的广泛任务。近来，语言大模型在多个领域展现出了卓越的性能。这些模型在处理大部分自然语言处理任务时有出色的表现，但在复杂推理任务中经常因推理能力有限而受到批评，目前，语言大模型在复杂的推理任务中仍面临如下挑战和不足，比如处理模糊和歧义性信息的能力不足以及在多步推理过程中维持逻辑连贯性和精确性的挑战。这要求模型需要具备抗干扰能力，以保持推理的连贯性和准确性，但现有模型能力在这方面存在限制，这一限制无法通过简单地扩大语言大模型参数规模来解决。因此，随着模型规模的增大，如何有效辅助模型过滤无关信息、加强逻辑推理能力的高效提示词策略已成为十分迫切的需求。
2、此外，随着思维链(chain-of-thought，cot)提示词策略被证明在大多数推理任务中对效果有显著提升，大量与思维链相关的工作不断涌现，该类方法通过修改提示词策略从不同的方面进一步提升思维链的性能。然而，该类方法的研究者将精力集中在如何引导模型产生更正确的推理路径和计算结果，忽视了模型是否正确理解了问题的本质这一关键因素。这涉及到模型准确地把握问题的核心以及对解答问题所需信息的深入理解。考虑到在现有的研究中，这个关键的方面并未受到
技术实现思路
1、本申请提供一种语言大模型训练方法、系统、设备及计算机可读存储介质，可以解决现有技术中存在的语言大模型无法准确理解问题本质导致问题回复不准确的技术问题。
2、第一方面，本申请实施例提供语言大模型训练方法，其特征在于，所述语言大模型训练方法包括：
3、获取训练数据集，该数据集中包含多种类型的任务实例，每个任务实例中均包括任务问题数据和任务答案数据；
4、将第一提示词模板与任务问题数据拼接后输入语言大模型进行处理，得到核心问题，第一提示词模板包括获取核心问题提示；
5、将第二提示词模板与任务问题数据拼接后输入语言大模型进行处理，得到核心问题的解题信息，第二提示词模板包括获取核心问题的解题信息提示；
6、将第三提示词模板与任务问题数据拼接后输入语言大模型进行处理，得到初始答案，第三提示词模板包括获取核心问题的初始答案提示、核心问题、以及解题信息；
7、将第四提示词模板输入语言大模型进行处理，得到最终答案，第四提示词模板包括任务问题数据、核心问题、解题信息、初始答案、以及从初始答案中获取最终答案提示；
8、根据最终答案和任务答案数据对语言大模型进行优化。
9、结合第一方面，在一种实施方式中，所述第一提示词模板、第二提示词模板、以及第三提示词模板均拼接在任务问题数据尾部。
10、结合第一方面，在一种实施方式中，所述训练数据集中的任务实例类型包括算术推理、常识推理、以及逻辑推理。
11、结合第一方面，在一种实施方式中，所述从初始答案中获取最终答案提示中包括相应任务实例的类型以及该类型的预设答案格式。
12、第二方面，本申请实施例提供了一种语言大模型训练系统，所述语言大模型训练系统包括：
13、数据集获取模块，其用于获取训练数据集，该数据集中包含多种类型的任务实例，每个任务实例中均包括任务问题数据和任务答案数据；
14、第一数据处理模块，其用于将第一提示词模板与任务问题数据拼接后输入语言大模型进行处理，得到核心问题，第一提示词模板包括获取核心问题提示；
15、第二数据处理模块，其用于将第二提示词模板与任务问题数据拼接后输入语言大模型进行处理，得到核心问题的解题信息，第二提示词模板包括获取核心问题的解题信息提示；
16、第三数据处理模块，其用于将第三提示词模板与任务问题数据拼接后输入语言大模型进行处理，得到初始答案，第三提示词模板包括获取核心问题的初始答案提示、核心问题、以及解题信息；
17、第四数据处理模块，其用于将第四提示词模板输入语言大模型进行处理，得到最终答案，第四提示词模板包括任务问题数据、核心问题、解题信息、初始答案、以及从初始答案中获取最终答案提示；
18、模型优化模块，其用于根据最终答案和任务答案数据对语言大模型进行优化。
19、结合第二方面，在一种实施方式中，所述第一数据处理模块将第一提示词模板拼接在任务问题数据尾部；
20、所述第二数据处理模块将第二提示词模板拼接在任务问题数据尾部；
21、所述第三数据处理模块将第三提示词模板拼接在任务问题数据尾部。
22、结合第二方面，在一种实施方式中，所述训练数据集中的任务实例类型包括算术推理、常识推理、以及逻辑推理。
23、结合第二方面，在一种实施方式中，所述从初始答案中获取最终答案提示中包括相应任务实例的类型以及该类型的预设答案格式。
24、第三方面，本申请实施例提供了一种语言大模型训练设备，所述语言大模型训练设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的语言大模型训练程序，其中所述语言大模型训练程序被所述处理器执行时，实现所述的语言大模型训练方法的步骤。
25、第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有语言大模型训练程序，其中所述语言大模型训练程序被处理器执行时，实现所述的语言大模型训练方法的步骤。
26、本申请实施例提供的技术方案带来的有益效果包括：
27、本专利技术的提示词策略有两个优点，第一，它可以提高语言大模型的抗干扰能力和深入理解问题的能力，从而使语言大模型在各类复杂任务中准确推理核心问题得到满意答案；第二，它在不扩语言大模型规模情况下，能够有效辅助语言大模型过滤无关信息，从而在保持模型效率的同时提高其推理的精度和适用性。
本文档来自技高网...【技术保护点】
1.一种语言大模型训练方法，其特征在于，所述语言大模型训练方法包括：
2.如权利要求1所述的语言大模型训练方法，其特征在于，所述第一提示词模板、第二提示词模板、以及第三提示词模板均拼接在任务问题数据尾部。
3.如权利要求1所述的语言大模型训练方法，其特征在于，所述训练数据集中的任务实例类型包括算术推理、常识推理、以及逻辑推理。
4.如权利要求1所述的语言大模型训练方法，其特征在于，所述从初始答案中获取最终答案提示中包括相应任务实例的类型以及该类型的预设答案格式。
5.一种语言大模型训练系统，其特征在于，所述语言大模型训练系统包括：
6.如权利要求5所述的语言大模型训练系统，其特征在于，所述第一数据处理模块将第一提示词模板拼接在任务问题数据尾部；
7.如权利要求5所述的语言大模型训练系统，其特征在于，所述训练数据集中的任务实例类型包括算术推理、常识推理、以及逻辑推理。
8.如权利要求5所述的语言大模型训练系统，其特征在于，所述从初始答案中获取最终答案提示中包括相应任务实例的类型以及该类型的预设答案格
9.一种语言大模型训练设备，其特征在于，所述语言大模型训练设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的语言大模型训练程序，其中所述语言大模型训练程序被所述处理器执行时，实现如权利要求1至4中任一项所述的语言大模型训练方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有语言大模型训练程序，其中所述语言大模型训练程序被处理器执行时，实现如权利要求1至7中任一项所述的语言大模型训练方法的步骤。
...【技术特征摘要】
1.一种语言大模型训练方法，其特征在于，所述语言大模型训练方法包括：
2.如权利要求1所述的语言大模型训练方法，其特征在于，所述第一提示词模板、第二提示词模板、以及第三提示词模板均拼接在任务问题数据尾部。
3.如权利要求1所述的语言大模型训练方法，其特征在于，所述训练数据集中的任务实例类型包括算术推理、常识推理、以及逻辑推理。
4.如权利要求1所述的语言大模型训练方法，其特征在于，所述从初始答案中获取最终答案提示中包括相应任务实例的类型以及该类型的预设答案格式。
5.一种语言大模型训练系统，其特征在于，所述语言大模型训练系统包括：
6.如权利要求5所述的语言大模型训练系统，其特征在于，所述第一数据处理模块将第一提示词模板拼接在任务问题数据尾部；
7.如权利...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。