【技术实现步骤摘要】
本申请实施例涉及机器学习，特别涉及一种模型训练方法、装置、计算机设备及存储介质。
技术介绍
1、大型语言模型(在本申请中简称大模型)可以用来处理很多常见nlp(naturallanguage processing，自然语言处理)任务，依靠大模型广阔的知识量和强大的语言理解能力，在一些场景中，可以通过调整输入的指令来满足最新需求，更加灵活。
2、然而大模型的推理速度慢，难以满足大规模数据处理要求，同时线上推理成本很高，是专用nlp模型的十倍或百倍以上。专门训练的nlp模型不仅具有推理速度和成本的优势，通常也可以达到接近大模型或更高的准确率，
3、但目前训练一个nlp模型需要算法工程师根据业务需求进行数据选择、模型选择、模型训练，需求响应速度慢，人力成本和时间成本都更高，从而使得模型训练效率较低。
技术实现思路
1、本申请实施例提供了一种模型训练方法、装置、计算机设备及存储介质，可以实现模型训练过程的自动化，提高模型训练效率。该技术方案如下：
2、一方面，提供了一种模型训练方法，所述方法包括：
3、通过大模型对接收到的用户指令文本进行解析，得到目标任务描述以及示例训练样本组，所述示例训练样本组中包含任务样本以及任务样本标签；所述用户指令文本用于指示对所述目标任务描述的模型进行训练；
4、基于样本扩充基础进行样本扩充，得到训练样本集；所述样本扩充基础包含以下至少之一：所述目标任务描述以及所述示例训练样本组；
5、基于
6、基于所述训练样本集对所述目标基础模型进行训练，得到目标模型，所述目标模型用于处理所述目标任务描述对应的自然语言处理任务。
7、另一方面，提供了一种模型训练装置，所述装置包括：
8、文本解析模块，用于通过大模型对接收到的用户指令文本进行解析，得到目标任务描述以及示例训练样本组，所述示例训练样本组中包含任务样本以及任务样本标签；所述用户指令文本用于指示对所述目标任务描述的模型进行训练；
9、样本扩充模块，用于基于样本扩充基础进行样本扩充，得到训练样本集；所述样本扩充基础包含以下至少之一：所述目标任务描述以及所述示例训练样本组；
10、模型获取模块，用于基于所述目标任务描述从预先构建的基础模型库中获取所述目标任务描述对应的目标基础模型；
11、模型训练模块，用于基于所述训练样本集对所述目标基础模型进行训练，得到目标模型，所述目标模型用于处理所述目标任务描述对应的自然语言处理任务。
12、在一种可能的实现方式中，所述样本扩充模块，包括：
13、数据集筛选子模块，用于在所述样本扩充基础包含所述目标任务描述的情况下，基于所述目标任务描述从预先构建的数据集库中筛选出至少两个候选数据集；
14、第一分数获取子模块，用于将至少两个候选数据集的数据集元信息分别与所述目标任务描述输入到数据集推荐模型中，得到至少两个候选数据集分别与所述目标任务描述之间的第一匹配分数；所述数据集推荐模型是通过第一正样本集与第一负样本集训练得到的；所述第一正样本集中包含样本数据集的数据集元信息以及与样本数据集相匹配的任务描述标签；所述第一负样本集中包含样本数据集的数据集元信息以及与样本数据集不匹配的任务描述标签；
15、第一筛选子模块，用于基于至少两个候选数据集各自对应的所述第一匹配分数筛选得到目标数据集；
16、数据集构建子模块，用于基于所述目标任务描述对所述目标数据集进行字段筛选得到训练样本组，以构建所述训练样本集。
17、在一种可能的实现方式中，所述数据集筛选子模块，用于，
18、基于所述目标任务描述中的关键词对所述数据集库中的数据集进行筛选，得到至少两个候选数据集；
19、或者，
20、计算所述目标任务描述与所述数据集库中的各个数据集之间的向量相似度，并基于所述数据集库中的各个数据集各自对应的向量相似度筛选得到至少两个候选数据集。
21、在一种可能的实现方式中，所述样本扩充模块，包括：
22、样本组获取子模块，用于在所述样本扩充基础包含所述示例训练样本组的情况下，将所述样本扩充指令输入到所述大模型中，获得所述大模型输出的与所述示例训练样本组类型一致的训练样本组；
23、所述样本集构建子模块，用于基于所述大模型输出的训练样本组构建所述训练样本集。
24、在一种可能的实现方式中，所述模型获取模块，包括：
25、第二分数获取子模块，用于将所述基础模型库包含的各个基础模型的模型元信息分别与所述目标任务描述输入到基础模型推荐模型中，得到各个基础模型分别与所述目标任务描述之间的第二匹配分数；所述基础模型推荐模型是通过第二正样本集与第二负样本集训练得到的；所述第二正样本集中包含样本基础模型的模型元信息以及与样本基础模型相匹配的任务描述标签；所述第二负样本集中包含样本基础模型的模型元信息以及与样本基础模型不匹配的任务描述标签；
26、第二筛选子模块，用于基于各个基础模型分别与所述目标任务描述之间的第二匹配分数筛选得到所述目标基础模型。
27、在一种可能的实现方式中，所述装置还包括：
28、评估指标获取模块，用于将基于所述目标任务描述构建的所述模型评估指标生成指令输入到预先训练好的大模型中，获得所述大模型输出的模型评估指标。
29、在一种可能的实现方式中，所述装置还包括：
30、模型评估模块，用于基于所述模型评估指标评价所述目标模型的模型效果。
31、另一方面，提供了一种计算机设备，所述计算机设备包含处理器和存储器，所述存储器存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行以实现上述的模型训练方法。
32、另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述计算机程序由处理器加载并执行以实现上述的模型训练方法。
33、另一方面，提供了一种计算机程序产品，所述计算机程序产品包括至少一条计算机程序，所述计算机程序由处理器加载并执行以实现上述各种可选实现方式中提供的模型训练方法。
34、本申请提供的技术方案可以包括以下有益效果：
35、本申请实施例提供的模型训练方法，计算机设备通过大模型接收并解析用户指令文本获得目标任务描述以及示例训练样本组，并基于目标任务描述和/或示例训练样本组进行样本扩充，以得到训练样本集；根据目标任务描述从预先构建的基础模型库中获取目标任务描述对应的目标基础模型；通过训练样本集对目标基础模型进行模型训练，得到用于处理目标任务描述对应的自然语言处理任务的目标模型。通过上述方法，计算机设备可以利用大模型的知识和语言理解能力将样本选择、补充样本生成、模型选择以及模型训练过程本文档来自技高网...
【技术保护点】
1.一种模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在所述样本扩充基础包含所述目标任务描述的情况下，所述基于样本扩充基础进行样本扩充，得到训练样本集，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述目标任务描述从预先构建的数据集库中筛选出至少两个候选数据集，包括：
4.根据权利要求1所述的方法，其特征在于，在所述样本扩充基础包含所述示例训练样本组的情况下，所述基于样本扩充基础进行样本扩充，得到训练样本集，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于所述目标任务描述从预先构建的基础模型库中获取所述目标任务描述对应的目标基础模型，包括：
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
7.根据权利要求6所述的方法，其特征在于，在基于所述训练样本集对所述目标基础模型进行训练，得到目标模型之后，所述方法还包括：
8.一种模型训练装置，其特征在于，所述装置包括：
9.一种计算机设备，其特征在于，所述计算机设备包括处理
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求1至7任一所述的模型训练方法。
...【技术特征摘要】
1.一种模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在所述样本扩充基础包含所述目标任务描述的情况下，所述基于样本扩充基础进行样本扩充，得到训练样本集，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述目标任务描述从预先构建的数据集库中筛选出至少两个候选数据集，包括：
4.根据权利要求1所述的方法，其特征在于，在所述样本扩充基础包含所述示例训练样本组的情况下，所述基于样本扩充基础进行样本扩充，得到训练样本集，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于所述目标任务描述从预先构建的基础模型库中获取所述目标任务描述对应的目标基础模型，包括：
【专利技术属性】
技术研发人员：李涛，王喆，
申请(专利权)人：麒麟合盛网络技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。