System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请实施例涉及但不限于金融科技,尤其涉及一种提示生成方法、装置、电子设备及计算机可读存储介质。
技术介绍
1、随着社会经济的不断发展,科技的不断进步,人们的生活水平不断提高;在金融行业中,已经越来越多地利用智能问答系统来对用户所提出的问题进行回答处理;目前,智能问答系统通常基于通用语言模型来实现,通用语言模型是一种能够处理多种自然语言处理任务的大型神经网络模型;通用语言模型具有一定的少样本能力,即使没有针对特定任务的训练数据,也能通过提示或示例来完成任务;然而,少样本性能受到示例质量和数量的影响,容易产生错误的输出,进而影响智能回答系统的准确性。
技术实现思路
1、以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
2、为了解决上述
技术介绍
中提到的问题,本申请实施例提供了一种提示生成方法、装置、电子设备及计算机可读存储介质,能够提升通用语言模型在零样本和少样本场景下的性能,使得输出更加准确,从而可以提高智能回答系统的准确性,给用户带来了更加良好的使用体验。
3、第一方面,本申请实施例提供了一种提示生成方法,包括:
4、获取无标签数据集和任务类型信息;
5、将所述无标签数据集输入至预训练的通用语言模型进行推理处理,得到候选响应信息;
6、将所述无标签数据集与所述候选响应信息进行拼接处理,得到候选伪示例;
7、根据所述任务类型信息从预设的选择器中选取目标评分函数;
8、根据所述
9、根据所述通用语言模型对所述目标伪示例进行预测处理,得到预测提示信息。
10、根据本申请的一些实施例,所述将所述无标签数据集输入至预训练的通用语言模型进行推理处理,得到候选响应信息,包括:
11、对所述无标签数据集进行预处理得到预处理数据;
12、将所述预处理数据转换为多维向量数据;
13、将所述多维向量数据输入至所述通用语言模型的自注意力机制网络模型进行并行化计算处理,得到所述候选响应信息。
14、根据本申请的一些实施例,所述根据所述任务类型信息从预设的选择器中选取目标评分函数,包括以下之一:
15、在所述任务类型信息为分类任务信息的情况下,将所述选择器中的负熵评分函数确定为所述目标评分函数;
16、在所述任务类型信息为短文本生成任务信息的情况下,将所述选择器中的一致性评分函数确定为所述目标评分函数;
17、在所述任务类型信息为长文本生成任务信息的情况下,将所述选择器中的双语评估评分函数确定为所述目标评分函数。
18、根据本申请的一些实施例,在所述目标评分函数为所述负熵评分函数的情况下,所述根据所述目标评分函数对所述候选伪示例进行筛选处理得到目标伪示例,包括:
19、基于所述负熵评分函数对所述候选伪示例中的每一个伪示例进行类别概率计算处理,得到第一评分值,其中,所述第一评分值与所述伪示例一一对应;
20、将所述第一评分值最高的所述伪示例作为所述目标伪示例。
21、根据本申请的一些实施例,在所述目标评分函数为所述一致性评分函数的情况下,所述根据所述目标评分函数对所述候选伪示例进行筛选处理得到目标伪示例,包括:
22、基于所述一致性评分函数对所述候选伪示例中的每一个伪示例进行余弦相似度计算处理,得到第二评分值,其中,所述第二评分值与所述伪示例一一对应;
23、将所述第二评分值最高的所述伪示例作为所述目标伪示例。
24、根据本申请的一些实施例,在所述双语评估评分函数为所述目标评分函数的情况下,所述根据所述目标评分函数对所述候选伪示例进行筛选处理得到目标伪示例,包括:
25、基于所述双语评估评分函数对所述候选伪示例中的每一个伪示例进行评价指标计算处理,得到第三评分值,其中,所述第三评分值与所述伪示例一一对应;
26、将所述第三评分值最高的所述伪示例作为所述目标伪示例。
27、根据本申请的一些实施例,所述根据所述通用语言模型对所述目标伪示例进行预测处理,得到预测提示信息,包括:
28、对所述目标伪示例进行特征提取得到伪示例特征信息;
29、对所述伪示例特征信息进行池化处理得到降维特征信息;
30、对所述降维特征信息进行分类预测处理得到所述预测提示信息。
31、第二方面,本申请实施例还提供了一种提示生成装置,所述装置包括:
32、第一处理模块,用于获取无标签数据集和任务类型信息;
33、第二处理模块,用于将所述无标签数据集输入至预训练的通用语言模型进行推理处理,得到候选响应信息;
34、第三处理模块,用于将所述无标签数据集与所述候选响应信息进行拼接处理,得到候选伪示例;
35、第四处理模块,用于根据所述任务类型信息从预设的选择器中选取目标评分函数;
36、第五处理模块,用于根据所述目标评分函数对所述候选伪示例进行筛选处理得到目标伪示例;
37、第六处理模块,用于根据所述通用语言模型对所述目标伪示例进行预测处理,得到预测提示信息。
38、第三方面,本申请实施例还提供了一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上第一方面所述的提示生成方法。
39、第四方面,本申请实施例还提供了一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行如上第一方面所述的提示生成方法。
40、根据本申请提供的实施例的提示生成方法,至少具有如下有益效果:在进行提示生成的过程中,首先获取无标签数据集和任务类型信息;接着将无标签数据集输入到预训练的通用语言模型中进行推理处理就可以得到候选响应信息;接着将无标签数据集与候选响应信息进行拼接处理就可以得到候选伪示例;接着根据任务类型信息从预设的选择器中选取目标评分函数;接着根据目标评分函数对得到的候选伪示例进行筛选处理就可以得到目标伪示例;最后根据通用语言模型对目标伪示例进行预测处理就可以得到预测提示信息;通过上述技术方案,基于任务类型信息从预设的选择器中选取目标评分函数,接着后续就可以根据对应的目标评分函数筛选得到目标伪示例,最后就可以利用通用语言模型对目标伪示例进行预测处理就可以得到对应的预测提示信息,使得提示信息的生成能够更加准确,从而可以提高智能回答系统的准确性,给用户带来了更加良好的使用体验,并且还能够提升通用语言模型在零样本和少样本场景下的性能。
本文档来自技高网...【技术保护点】
1.一种提示生成方法,其特征在于,所述方法包括:
2.根据权利要求1所述的提示生成方法,其特征在于,所述将所述无标签数据集输入至预训练的通用语言模型进行推理处理,得到候选响应信息,包括:
3.根据权利要求1所述的提示生成方法,其特征在于,所述根据所述任务类型信息从预设的选择器中选取目标评分函数,包括以下之一:
4.根据权利要求3所述的提示生成方法,其特征在于,在所述目标评分函数为所述负熵评分函数的情况下,所述根据所述目标评分函数对所述候选伪示例进行筛选处理得到目标伪示例,包括:
5.根据权利要求3所述的提示生成方法,其特征在于,在所述目标评分函数为所述一致性评分函数的情况下,所述根据所述目标评分函数对所述候选伪示例进行筛选处理得到目标伪示例,包括:
6.根据权利要求3所述的提示生成方法,其特征在于,在所述双语评估评分函数为所述目标评分函数的情况下,所述根据所述目标评分函数对所述候选伪示例进行筛选处理得到目标伪示例,包括:
7.根据权利要求1所述的提示生成方法,其特征在于,所述根据所述通用语言模型对所述目标伪示
8.一种提示生成装置,其特征在于,包括:
9.一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的提示生成方法。
10.一种计算机可读存储介质,存储有计算机可执行指令,其特征在于,所述计算机可执行指令用于执行权利要求1至7中任意一项所述的提示生成方法。
...【技术特征摘要】
1.一种提示生成方法,其特征在于,所述方法包括:
2.根据权利要求1所述的提示生成方法,其特征在于,所述将所述无标签数据集输入至预训练的通用语言模型进行推理处理,得到候选响应信息,包括:
3.根据权利要求1所述的提示生成方法,其特征在于,所述根据所述任务类型信息从预设的选择器中选取目标评分函数,包括以下之一:
4.根据权利要求3所述的提示生成方法,其特征在于,在所述目标评分函数为所述负熵评分函数的情况下,所述根据所述目标评分函数对所述候选伪示例进行筛选处理得到目标伪示例,包括:
5.根据权利要求3所述的提示生成方法,其特征在于,在所述目标评分函数为所述一致性评分函数的情况下,所述根据所述目标评分函数对所述候选伪示例进行筛选处理得到目标伪示例,包括:
【专利技术属性】
技术研发人员:凌天东,王健宗,程宁,
申请(专利权)人:平安科技深圳有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。