System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及人工智能,特别是涉及一种样本数据生成方法、装置、电子设备及存储介质。
技术介绍
1、在人工智能领域,大语言模型是大型语言模型(large language modeling,llm)的简称,是指使用大量文本数据训练的深度学习模型,可以生成自然语言文本或理解语言文本的含义,大语言模型可以处理多种自然语言任务,例如文本分类、问答、对话等。
2、目前,可以通过多种获取方式来得到用于训练大语言模型的样本数据,例如,可以通过人工构建方式得到高质量的样本数据,但是人工构建方式无法高效地得到多样化的样本数据,又例如,可以通过在线平台采集大量的样本数据,但是样本数据的质量普遍较低,需要耗费较多的时间进行数据清洗,可见,传统的样本数据获取方式无法高效地得到高质量且多样化的样本数据,亟需一种能够高效地得到高质量且多样化的样本数据的方法。
技术实现思路
1、以下是对本申请详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
2、本申请实施例提供了一种样本数据生成方法、装置、电子设备及存储介质,能够高效地得到高质量且多样化的样本数据。
3、一方面,本申请实施例提供了一种样本数据生成方法,包括:
4、获取用于提示第一大语言模型生成问题指令的第一提示文本,调用所述第一大语言模型基于所述第一提示文本进行问题指令预测,生成初始问题指令;
5、将所述初始问题指令作为首个输入至第二大语言模型的问题指令,调用所述第二大语言模型与第三大语言模
6、基于所述初始问题指令、多轮对话中的所述目标问题指令以及多轮对话中的所述目标回答文本,构建样本数据。
7、另一方面,本申请实施例还提供了一种样本数据生成装置,包括:
8、第一生成模块,用于获取用于提示第一大语言模型生成问题指令的第一提示文本,调用所述第一大语言模型基于所述第一提示文本进行问题指令预测,生成初始问题指令;
9、第二生成模块,用于将所述初始问题指令作为首个输入至第二大语言模型的问题指令,调用所述第二大语言模型与第三大语言模型进行多轮对话,其中,所述第二大语言模型用于根据输入的问题指令生成目标回答文本,所述第三大语言模型用于根据所述目标回答文本生成输入至所述第二大语言模型的目标问题指令;
10、样本构建模块,用于基于所述初始问题指令、多轮对话中的所述目标问题指令以及多轮对话中的所述目标回答文本,构建样本数据。
11、进一步,所述候选文本的知识粒度类型的数量为至少一种,上述第二生成模块还用于:
12、获取第一角色定义文本和第二角色定义文本,其中,所述第一角色定义文本用于提示所述第二大语言模型在所述多轮对话中作为针对目标任务的回答方,所述第二角色定义文本用于提示所述第三大语言模型在所述多轮对话中作为提问方,所述目标任务为基于所述样本数据进行训练的下游任务;
13、将所述第一角色定义文本输入至所述第二大语言模型,将所述第二角色定义文本输入至所述第三大语言模型。
14、进一步,上述第二生成模块具体用于:
15、将所述初始问题指令输入第二大语言模型进行回答预测,生成首个对话轮次的目标回答文本;
16、构建用于提示第三大语言模型每当接收到所述目标回答文本时根据所述目标回答文本生成问题指令的第二提示文本;
17、将所述第二提示文本和首个所述对话轮次的所述目标回答文本输入所述第三大语言模型进行问题指令预测,生成下一个对话轮次的目标问题指令;
18、将下一个所述对话轮次的所述目标问题指令输入至所述第二大语言模型再次进行回答预测,直至所述对话轮次的数量等于预设的数量阈值。
19、进一步,上述第二生成模块具体用于:
20、将所述初始问题指令添加至所述第二提示文本,得到目标提示文本;
21、将所述目标提示文本和首个所述对话轮次的所述目标回答文本输入所述第三大语言模型进行问题指令预测,生成下一个对话轮次的目标问题指令,其中,所述目标提示文本用于提示所述第三大语言模型根据各个输入至所述第二大语言模型的问题指令,以及各个所述对话轮次的目标回答文本生成问题指令。
22、进一步,上述第一生成模块具体用于:
23、获取目标任务的任务信息,其中,所述目标任务为基于所述样本数据进行训练的下游任务;
24、基于所述任务信息,构建用于提示第一大语言模型根据所述任务信息生成问题指令的第一提示文本。
25、进一步,上述第一生成模块具体用于:
26、根据所述任务信息,在预设的任务树中确定与所述任务信息匹配的目标节点,其中,所述任务树包括多层节点,各个所述节点均携带有各自的候选关键词;
27、将所述目标节点所携带的所述候选关键词作为目标关键词,根据所述目标关键词,构建用于提示第一大语言模型根据所述任务信息生成问题指令的第一提示文本。
28、进一步,上述第一生成模块具体用于:
29、当所述目标节点所在层级为目标层级时,根据所述目标关键词,构建用于提示第一大语言模型根据所述任务信息生成问题指令的第一提示文本,其中,所述目标层级为所述任务树中根节点所在层级的后一个层级;
30、或者,当所述目标节点所在层级为所述目标层级之后的层级时,在所述任务树中确定与所述目标节点关联的关联节点,将所述关联节点所携带的所述候选关键词作为关联关键词,根据所述关联关键词和所述目标关键词,构建用于提示第一大语言模型根据所述任务信息生成问题指令的第一提示文本,其中,所述关联节点所在层级位于所述目标节点所在层级之前。
31、进一步,所述任务树中根节点所在层级的后一个层级为目标层级,位于所述目标层级的节点携带有第三角色定义文本,上述第一生成模块还用于:
32、将与所述目标节点关联且位于所述目标层级的节点作为目标角色定义节点,将所述目标角色定义节点所携带的所述第三角色定义文本作为目标角色定义文本,其中,所述目标角色定义文本用于提示所述第一大语言模型作为针对所述目标任务的提问方;
33、将所述目标角色定义文本输入至所述第一大语言模型。
34、进一步,所述初始问题指令的数量为多个,样本数据生成装置还包括第三生成模块,第三生成模块具体用于:
35、从多个所述初始问题指令中随机采样出第一问题指令;
36、基于预设的扩展策略构建用于提示第一大语言模型按照所述扩展策略进行指令扩展的第三提示文本;
37、将所述第三提示文本和所述第一问题指令输入所述第一大语言模型,对所述第一问题指令进行指令扩展,生成第一扩展问题指令,将所述第一扩展问题指令作为所述初始问题指令。
38、进本文档来自技高网...
【技术保护点】
1.一种样本数据生成方法,其特征在于,包括:
2.根据权利要求1所述的样本数据生成方法,其特征在于,所述将所述初始问题指令作为首个输入至第二大语言模型的问题指令之前,所述样本数据生成方法还包括:
3.根据权利要求1所述的样本数据生成方法,其特征在于,所述将所述初始问题指令作为首个输入至第二大语言模型的问题指令,调用所述第二大语言模型与第三大语言模型进行多轮对话,包括:
4.根据权利要求3所述的样本数据生成方法,其特征在于,所述将所述第二提示文本和首个所述对话轮次的所述目标回答文本输入所述第三大语言模型进行问题指令预测,生成下一个对话轮次的目标问题指令,包括:
5.根据权利要求1所述的样本数据生成方法,其特征在于,所述获取用于提示第一大语言模型生成问题指令的第一提示文本,包括:
6.根据权利要求5所述的样本数据生成方法,其特征在于,所述基于所述任务信息,构建用于提示第一大语言模型根据所述任务信息生成问题指令的第一提示文本,包括:
7.根据权利要求6所述的样本数据生成方法,其特征在于,所述根据所述目标关键词,构建
8.根据权利要求6所述的样本数据生成方法,其特征在于,所述任务树中根节点所在层级的后一个层级为目标层级,位于所述目标层级的节点携带有第三角色定义文本,所述将所述目标节点所携带的所述候选关键词作为目标关键词之前,所述样本数据生成方法还包括:
9.根据权利要求1所述的样本数据生成方法,其特征在于,所述初始问题指令的数量为多个,所述将所述初始问题指令作为首个输入至第二大语言模型的问题指令之前,所述样本数据生成方法还包括:
10.根据权利要求9所述的样本数据生成方法,其特征在于,所述扩展策略的数量为多个,所述对所述第一问题指令进行指令扩展,生成扩展问题指令,包括:
11.根据权利要求1所述的样本数据生成方法,其特征在于,所述初始问题指令的数量为多个,所述将所述初始问题指令作为首个输入至第二大语言模型的问题指令之前,所述样本数据生成方法还包括:
12.根据权利要求1所述的样本数据生成方法,其特征在于,所述调用所述第一大语言模型基于所述第一提示文本进行问题指令预测之前,所述样本数据生成方法还包括:
13.根据权利要求1所述的样本数据生成方法,其特征在于,所述调用所述第一大语言模型基于所述第一提示文本进行问题指令预测,生成初始问题指令,包括:
14.一种样本数据生成装置,其特征在于,包括:
15.一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至13任意一项所述的样本数据生成方法。
16.一种计算机可读存储介质,所述存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至13任意一项所述的样本数据生成方法。
17.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至13任意一项所述的样本数据生成方法。
...【技术特征摘要】
1.一种样本数据生成方法,其特征在于,包括:
2.根据权利要求1所述的样本数据生成方法,其特征在于,所述将所述初始问题指令作为首个输入至第二大语言模型的问题指令之前,所述样本数据生成方法还包括:
3.根据权利要求1所述的样本数据生成方法,其特征在于,所述将所述初始问题指令作为首个输入至第二大语言模型的问题指令,调用所述第二大语言模型与第三大语言模型进行多轮对话,包括:
4.根据权利要求3所述的样本数据生成方法,其特征在于,所述将所述第二提示文本和首个所述对话轮次的所述目标回答文本输入所述第三大语言模型进行问题指令预测,生成下一个对话轮次的目标问题指令,包括:
5.根据权利要求1所述的样本数据生成方法,其特征在于,所述获取用于提示第一大语言模型生成问题指令的第一提示文本,包括:
6.根据权利要求5所述的样本数据生成方法,其特征在于,所述基于所述任务信息,构建用于提示第一大语言模型根据所述任务信息生成问题指令的第一提示文本,包括:
7.根据权利要求6所述的样本数据生成方法,其特征在于,所述根据所述目标关键词,构建用于提示第一大语言模型根据所述任务信息生成问题指令的第一提示文本,包括:
8.根据权利要求6所述的样本数据生成方法,其特征在于,所述任务树中根节点所在层级的后一个层级为目标层级,位于所述目标层级的节点携带有第三角色定义文本,所述将所述目标节点所携带的所述候选关键词作为目标关键词之前,所述样本数据生成方法还包括:
9.根据权利要求1所述的样本数据生成...
【专利技术属性】
技术研发人员:杨震,谢若冰,安子豪,孙兴武,连凤宗,康战辉,
申请(专利权)人:腾讯科技深圳有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。