System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 文本生成方法、模型训练方法、装置及电子设备制造方法及图纸_技高网

文本生成方法、模型训练方法、装置及电子设备制造方法及图纸

技术编号:40394898 阅读:6 留言:0更新日期:2024-02-20 22:24
本申请实施例公开了一种文本生成方法、模型训练方法、装置及电子设备,该方法包括:获取样本文本和样本风格信息,将样本风格信息构建的样本提示文本和样本文本组合后输入第一大语言模型,将样本文本改写为标签文本,利用第二大语言模型将样本文本改写为预测文本,由于第一大语言模型的参数量大于第二大语言模型的参数量,通过预测文本和标签文本确定的模型损失训练第二大语言模型,使得第二大语言模型可以继承第一大语言模型在文本风格迁移任务上的优势,通过泛化性能较高的第二大语言模型处理文本风格迁移任务,能够有效处理各种风格类型的文本风格迁移任务,还能够提高文本风格迁移结果的质量,可广泛应用于云技术、人工智能、智慧交通等场景。

【技术实现步骤摘要】

本申请涉及计算机,特别是涉及一种文本生成方法、模型训练方法、装置及电子设备


技术介绍

1、相关技术中,通常是采用转换模型处理文本风格迁移任务,将待转换文本输入已训练的风格迁移模型,基于风格迁移模型将待转换文本的文本风格从当前风格迁移至指定风格,其中,风格迁移模型是基于已标注的训练数据集训练得到的,由于训练数据集中标注数据的多样性通常有限,导致风格迁移模型的泛化能力不足,无法有效处理各种风格类型的文本风格迁移任务,文本风格迁移结果的质量较低。


技术实现思路

1、以下是对本申请详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

2、本申请实施例提供了一种文本生成方法、模型训练方法、装置及电子设备,通过泛化性能较高的第二大语言模型处理文本风格迁移任务,能够有效处理各种风格类型的文本风格迁移任务,还能够提高文本风格迁移结果的质量。

3、一方面,本申请实施例提供了一种文本生成方法,包括:

4、获取样本文本和样本风格信息,根据所述样本风格信息构建样本提示文本;

5、将所述样本提示文本和所述样本文本组合后输入第一大语言模型,对所述样本文本进行风格迁移,生成标签文本;

6、将所述样本提示文本和所述样本文本组合后输入第二大语言模型,对所述样本文本进行风格迁移,生成预测文本,其中,所述第一大语言模型的参数量大于所述第二大语言模型的参数量;

7、根据所述预测文本和对应的所述标签文本确定模型损失,根据所述模型损失训练所述第二大语言模型;

8、获取待改写文本和目标风格信息,根据所述目标风格信息构建目标提示文本,将所述目标提示文本和所述待改写文本组合后输入训练后的所述第二大语言模型,对所述待改写文本进行风格迁移,生成改写结果文本。

9、另一方面,本申请实施例还提供了一种文本生成装置,包括:

10、第一获取模块,用于获取样本文本和样本风格信息,根据所述样本风格信息构建样本提示文本;

11、第一生成模块,用于将所述样本提示文本和所述样本文本组合后输入第一大语言模型,对所述样本文本进行风格迁移,生成标签文本;

12、第二生成模块,用于将所述样本提示文本和所述样本文本组合后输入第二大语言模型,对所述样本文本进行风格迁移,生成预测文本,其中,所述第一大语言模型的参数量大于所述第二大语言模型的参数量;

13、第一训练模块,用于根据所述预测文本和所述标签文本确定模型损失,根据所述模型损失训练所述第二大语言模型;

14、第三生成模块,用于获取待改写文本和目标风格信息,根据所述目标风格信息构建目标提示文本,将所述目标提示文本和所述待改写文本组合后输入训练后的所述第二大语言模型,对所述待改写文本进行风格迁移,生成改写结果文本。

15、进一步,上述第一获取模块具体用于:

16、构建用于提示参照所述样本风格信息进行风格迁移的第一风格约束指令,将所述第一风格约束指令作为样本提示文本;

17、或者,构建用于提示参照所述样本风格信息进行风格迁移的第一风格约束指令,根据所述样本风格信息从预设的候选召回库中召回第一示例文本,将所述第一风格约束指令和所述第一示例文本组合后作为样本提示文本;

18、或者,根据所述样本风格信息从预设的候选召回库中召回第一示例文本,构建用于提示参照所述第一示例文本的风格进行风格迁移的第一提示指令,将所述第一提示指令和所述第一示例文本组合后作为样本提示文本。

19、进一步,上述第一获取模块具体用于:

20、在多个预设的候选召回库中确定与所述样本风格信息匹配的第一目标召回库,其中,所述第一目标召回库包括多个第一原始文本和各个所述第一原始文本对应的参考改写文本;

21、在各个所述第一原始文本中筛选出与所述样本文本关联的第一关联文本;

22、将所述第一关联文本和对应的所述参考改写文本组合后作为第一示例文本。

23、进一步,上述第一获取模块具体用于:

24、在各个所述第一原始文本中筛选出与所述样本文本相似的第一关联文本;

25、或者,根据所述样本文本确定第一关键词,在各个所述第一原始文本中筛选出包含所述第一关键词的第一关联文本。

26、进一步,上述第一获取模块具体用于:

27、为各个所述第一原始文本和对应的所述参考改写文本的组合结果分别创建候选节点,得到知识图;

28、计算任意两个所述第一原始文本之间的关联性,得到对应的两个所述候选节点之间的第一关联性分数;

29、分别计算各个所述第一原始文本和所述样本文本之间的关联性,得到各个所述候选节点和所述样本文本之间的第二关联性分数;

30、根据所述第二关联性分数在各个所述候选节点中确定初级节点,根据所述初级节点与其他所述候选节点之间的所述第一关联性分数,在其他所述候选节点中确定关联节点;

31、将所述初级节点对应的所述第一原始文本,以及所述关联节点对应的所述第一原始文本均作为第一关联文本。

32、进一步,上述第三生成模块具体用于:

33、构建用于提示参照所述目标风格信息进行风格迁移的第二风格约束指令,将所述第二风格约束指令作为目标提示文本;

34、或者,构建用于提示参照所述目标风格信息进行风格迁移的第二风格约束指令,根据所述目标风格信息从预设的候选召回库中召回第二示例文本,将所述第二风格约束指令和所述第二示例文本组合后作为目标提示文本;

35、或者,获取与所述目标风格信息匹配的第二示例文本,构建用于提示参照所述第二示例文本的风格进行风格迁移的第二提示指令,将所述第二提示指令和所述第二示例文本组合后作为目标提示文本。

36、进一步,上述第三生成模块具体用于:

37、在多个预设的候选召回库中确定与所述目标风格信息匹配的第二目标召回库,其中,所述第二目标召回库包括多个第二原始文本和各个所述第二原始文本对应的参考改写文本;

38、在各个所述第二原始文本中筛选出与所述待改写文本关联的第二关联文本;

39、根据所述第二关联文本和对应的所述参考改写文本进行组合,得到第二示例文本。

40、进一步,上述第三生成模块具体用于:

41、响应于输入操作,获取基于所述输入操作输入的与所述目标风格信息匹配的第二示例文本;

42、或者,根据所述目标风格信息从预设的候选召回库中召回第二示例文本。

43、进一步,上述第二生成模块具体用于:

44、确定所述标签文本的质量指标,其中,所述质量指标包括事实一致性程度或者文本吸引程度中的至少一种,所述事实一致性程度用于指示所述标签文本和对应的所述样本文本之间的一致性;

45、将所述质量指标小于或者等于指标阈值的所述标签文本过滤,将过滤剩余后的所述标签文本对应的所述样本文本本文档来自技高网...

【技术保护点】

1.一种文本生成方法,其特征在于,包括:

2.根据权利要求1所述的文本生成方法,其特征在于,所述根据所述样本风格信息构建样本提示文本,包括:

3.根据权利要求2所述的文本生成方法,其特征在于,所述根据所述样本风格信息从预设的候选召回库中召回第一示例文本,包括:

4.根据权利要求3所述的文本生成方法,其特征在于,所述在各个所述第一原始文本中筛选出与所述样本文本关联的第一关联文本,包括:

5.根据权利要求3所述的文本生成方法,其特征在于,所述在各个所述第一原始文本中筛选出与所述样本文本关联的第一关联文本,包括:

6.根据权利要求1所述的文本生成方法,其特征在于,所述根据所述目标风格信息构建目标提示文本,包括:

7.根据权利要求6所述的文本生成方法,其特征在于,所述根据所述目标风格信息从预设的候选召回库中召回第二示例文本,包括:

8.根据权利要求6所述的文本生成方法,其特征在于,所述获取与所述目标风格信息匹配的第二示例文本,包括:

9.根据权利要求1所述的文本生成方法,其特征在于,所述将所述样本提示文本和所述样本文本组合后输入第二大语言模型,包括:

10.一种模型训练方法,其特征在于,包括:

11.一种文本生成装置,其特征在于,包括:

12.一种模型训练装置,其特征在于,包括:

13.一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至9任意一项所述的文本生成方法,或者实现权利要求10所述的模型训练方法。

14.一种计算机可读存储介质,所述存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至9任意一项所述的文本生成方法,或者实现权利要求10所述的模型训练方法。

15.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至9任意一项所述的文本生成方法,或者实现权利要求10所述的模型训练方法。

...

【技术特征摘要】

1.一种文本生成方法,其特征在于,包括:

2.根据权利要求1所述的文本生成方法,其特征在于,所述根据所述样本风格信息构建样本提示文本,包括:

3.根据权利要求2所述的文本生成方法,其特征在于,所述根据所述样本风格信息从预设的候选召回库中召回第一示例文本,包括:

4.根据权利要求3所述的文本生成方法,其特征在于,所述在各个所述第一原始文本中筛选出与所述样本文本关联的第一关联文本,包括:

5.根据权利要求3所述的文本生成方法,其特征在于,所述在各个所述第一原始文本中筛选出与所述样本文本关联的第一关联文本,包括:

6.根据权利要求1所述的文本生成方法,其特征在于,所述根据所述目标风格信息构建目标提示文本,包括:

7.根据权利要求6所述的文本生成方法,其特征在于,所述根据所述目标风格信息从预设的候选召回库中召回第二示例文本,包括:

8.根据权利要求6所述的文本生成方法,其特征在于,所述获取与所述目标风格信息匹配的第二示...

【专利技术属性】
技术研发人员:刘星言王皓冉陈默陈祺安东岳杜楠
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1