【技术实现步骤摘要】
本专利技术涉及计算机领域,具体而言,涉及一种文本转换方法和装置、存储介质及电子设备。
技术介绍
1、机器翻译能够让人与人的沟通不受语言的限制,进而促进各国家各地区的经济文化交流,有利于各种知识的互相传播。现有的机器翻译通常都基于传统的transformer模型。为了得到更好的翻译效果,通常需要提供更多的高质量的数据,或者提升模型的参数量,比如增加模型的层数。
2、在模型的层数较高的情况下,通过transformer模型进行机器翻译的效果会显著下降。也就是说,现有的文本转换方法存在转换效果较差的技术问题。
3、针对上述的问题,目前尚未提出有效的解决方案。
技术实现思路
1、本专利技术实施例提供了一种文本转换方法和装置、存储介质及电子设备,以至少解决现有的文本转换方法存在转换效果较差的技术问题。
2、根据本专利技术实施例的一个方面,提供了一种文本转换方法,包括:获取对待转换的第一文本序列进行特征提取得到的目标文本特征;重复如下步骤,直至遍历特征解码模型中的n个特征解码层,其中,上述特征解码模型用于根据上述目标文本特征确定与上述第一文本序列匹配的第二文本序列,上述特征解码层中包括第一残差提取模块和第一特征生成模块,上述n为大于或等于2的整数:获取第i-1个特征解码层输出的第i-1个参考解码特征,并将上述第i-1个参考解码特征输入第i个特征解码层中的上述第一残差提取模块,得到第i个残差解码特征,其中,上述i为大于1且小于或等于n的整数;获取与上述第i个特
3、根据本专利技术实施例的另一个方面,提供了一种文本转换模型的训练方法,包括:获取对待转换的第一样本文本序列进行特征提取得到的目标样本文本特征;重复如下步骤,直至遍历训练中的特征解码模型中的n个特征解码层,其中,上述训练中的特征解码模型用于根据上述目标样本文本特征确定与上述第一样本文本序列匹配的第二样本文本序列,上述特征解码层中包括第一残差提取模块和第一特征生成模块,上述n为大于或等于2的整数:获取第i-1个特征解码层输出的第i-1个参考解码特征,并将上述第i-1个参考解码特征输入第i个特征解码层中的上述第一残差提取模块,得到第i个残差解码特征,其中,上述i为大于1且小于或等于n的整数;获取与上述第i个特征解码层匹配的第一权重参数和第二权重参数,其中,上述第一权重参数用于指示上述第i-1个参考解码特征的特征权重,上述第二权重参数用于指示上述第i个残差解码特征的特征权重,上述第一权重参数与上述第二权重参数之间的比值大于或等于第一目标阈值;在上述第一特征生成模块中,根据上述第一权重参数、第二权重参数确定上述第i-1个参考解码特征和上述第i个残差解码特征的加权解码特征,并将上述加权解码特征确定为上述第i个特征解码层输出的第i个参考解码特征;在上述i与上述n相等的情况下,基于上述第i个参考解码特征确定与上述第一样本文本序列匹配的上述第二样本文本序列;在根据上述第二样本文本确定上述训练中的特征解码模型满足收敛条件的情况下,将上述训练中的特征解码模型确定为目标特征解码模型。
4、根据本专利技术实施例的又一方面,还提供了一种文本转换装置,包括:获取单元,用于获取对待转换的第一文本序列进行特征提取得到的目标文本特征;遍历单元,用于重复如下步骤,直至遍历特征解码模型中的n个特征解码层,其中,上述特征解码模型用于根据上述目标文本特征确定与上述第一文本序列匹配的第二文本序列,上述特征解码层中包括第一残差提取模块和第一特征生成模块,上述n为大于或等于2的整数:获取第i-1个特征解码层输出的第i-1个参考解码特征,并将上述第i-1个参考解码特征输入第i个特征解码层中的上述第一残差提取模块,得到第i个残差解码特征,其中,上述i为大于1且小于或等于n的整数;获取与上述第i个特征解码层匹配的第一权重参数和第二权重参数,其中,上述第一权重参数用于指示上述第i-1个参考解码特征的特征权重,上述第二权重参数用于指示上述第i个残差解码特征的特征权重,上述第一权重参数与上述第二权重参数之间的比值大于或等于第一目标阈值;在上述第一特征生成模块中,根据上述第一权重参数、第二权重参数确定上述第i-1个参考解码特征和上述第i个残差解码特征的加权解码特征,并将上述加权解码特征确定为上述第i个特征解码层输出的第i个参考解码特征;确定单元,用于在上述i与上述n相等的情况下,基于上述第i个参考解码特征确定与上述第一文本序列匹配的上述第二文本序列。
5、根据本专利技术实施例的又一个方面,提供了一种文本转换模型的训练模型,包括:获取单元,用于获取对待转换的第一样本文本序列进行特征提取得到的目标样本文本特征;训练单元,用于重复如下步骤,直至遍历训练中的特征解码模型中的n个特征解码层,其中,上述训练中的特征解码模型用于根据上述目标样本文本特征确定与上述第一样本文本序列匹配的第二样本文本序列,上述特征解码层中包括第一残差提取模块和第一特征生成模块,上述n为大于或等于2的整数:获取第i-1个特征解码层输出的第i-1个参考解码特征,并将上述第i-1个参考解码特征输入第i个特征解码层中的上述第一残差提取模块,得到第i个残差解码特征,其中,上述i为大于1且小于或等于n的整数;获取与上述第i个特征解码层匹配的第一权重参数和第二权重参数,其中,上述第一权重参数用于指示上述第i-1个参考解码特征的特征权重,上述第二权重参数用于指示上述第i个残差解码特征的特征权重,上述第一权重参数与上述第二权重参数之间的比值大于或等于第一目标阈值;在上述第一特征生成模块中,根据上述第一权重参数、第二权重参数确定上述第i-1个参考解码特征和上述第i个残差解码特征的加权解码特征,并将上述加权解码特征确定为上述第i个特征解码层输出的第i个参考解码特征;在上述i与上述n相等的情况下,基于上述第i个参考解码特征确定与上述第一样本文本序列匹配的上述第二样本文本序列;确定单元,用于在根据上述第二样本文本确定上述训练中的特征解码模型满足收敛条件的情况下,将上述训练中的特征解码模型确定为目标特征解码模型。
6、根据本专利技术实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述文本转换方法或上述文本转换模型的训练方法。
7、根据本申请实施例的又一个方面,提供一种计算机程序产品或计算机程序,该计算机程序产品或本文档来自技高网...
【技术保护点】
1.一种文本转换方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述将所述第i-1个参考解码特征输入第i个特征解码层中的所述第一残差提取模块,得到第i个残差解码特征包括:
3.根据权利要求2所述的方法,其特征在于,所述基于所述第i-1个标准解码特征确定所述第i个残差解码特征包括:
4.根据权利要求2所述的方法,其特征在于,所述在所述第一特征生成模块中,根据所述第一权重参数、第二权重参数确定所述第i-1个参考解码特征和所述第i个残差解码特征的加权解码特征包括:
5.根据权利要求1所述的方法,其特征在于,所述获取对待转换的第一文本序列进行特征提取得到的目标文本特征包括:
6.根据权利要求5所述的方法,其特征在于,所述将所述第j-1个参考编码特征输入第j个特征编码层中的所述第二残差提取模块,得到第j个残差编码特征包括:
7.根据权利要求6所述的方法,其特征在于,所述基于所述第j-1个标准编码特征确定所述第j个残差编码特征包括:
8.根据权利要求1所述的方法,其特征在于,所述获取与所述
9.根据权利要求5所述的方法,其特征在于,所述获取与所述第j个特征编码层匹配的第三权重参数和第四权重参数包括以下之一:
10.一种文本转换模型的训练方法,其特征在于,包括:
11.根据权利要求10所述的方法,其特征在于,所述获取对待转换的第一样本文本序列进行特征提取得到的目标样本文本特征之前,还包括:
12.一种文本转换装置,其特征在于,包括:
13.一种文本转换模型的训练装置,其特征在于,包括
14.一种计算机可读的存储介质,其特征在于,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行所述权利要求1至9或10至11任一项中所述的方法。
15.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1至9或10至11中任一项所述方法的步骤。
16.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至9或10至11任一项中所述的方法。
...【技术特征摘要】
1.一种文本转换方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述将所述第i-1个参考解码特征输入第i个特征解码层中的所述第一残差提取模块,得到第i个残差解码特征包括:
3.根据权利要求2所述的方法,其特征在于,所述基于所述第i-1个标准解码特征确定所述第i个残差解码特征包括:
4.根据权利要求2所述的方法,其特征在于,所述在所述第一特征生成模块中,根据所述第一权重参数、第二权重参数确定所述第i-1个参考解码特征和所述第i个残差解码特征的加权解码特征包括:
5.根据权利要求1所述的方法,其特征在于,所述获取对待转换的第一文本序列进行特征提取得到的目标文本特征包括:
6.根据权利要求5所述的方法,其特征在于,所述将所述第j-1个参考编码特征输入第j个特征编码层中的所述第二残差提取模块,得到第j个残差编码特征包括:
7.根据权利要求6所述的方法,其特征在于,所述基于所述第j-1个标准编码特征确定所述第j个残差编码特征包括:
8.根据权利要求1所述的方法,其特征在于,所述获取与所述第i个特征解码层匹配的第...
【专利技术属性】
技术研发人员:曾显峰,刘宜进,孟凡东,
申请(专利权)人:腾讯科技深圳有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。