机器翻译解码方法、装置、电子设备及存储介质制造方法及图纸

技术编号:37141401 阅读:27 留言:0更新日期:2023-04-06 21:46
本公开提供了一种机器翻译解码方法、装置、电子设备及存储介质,其中,该方法包括:获取待翻译的第一源语言文本;基于预先统计的目标语言长度分布对第一源语言文本对应的第一目标语言文本进行长度预测,确定第一目标语言文本的预测长度;基于预测长度,将第一源语言文本翻译成第一目标语言文本。本公开采用预先统计的目标语言长度分布可以预测适配于目标语言文本的长度,利用这一预测长度可以很好的支持源语言文本至目标语言文本的翻译,提升翻译效率。译效率。译效率。

【技术实现步骤摘要】
机器翻译解码方法、装置、电子设备及存储介质


[0001]本公开涉及机器翻译
,具体而言,涉及一种机器翻译解码方法、装置、电子设备及存储介质。

技术介绍

[0002]机器翻译技术指的是使用计算设备将一种自然语言(一般是源语言)的原文翻译为另一种自然语言(一般是目标语言)的译文的技术。目前常用的机器翻译是一种自回归的解码方式,经过多次迭代后,可以按照句子从左到右依次解码生成目标语言。然而,自回归的这种解码特性导致解码速度很慢。
[0003]为了缓解解码速度慢的问题,可以采用非自回归的机器翻译方法,无需考虑目标语言生成过程的时序性,采用一次推理即可同时生成所有目标语言词汇,大大提升推理速度。
[0004]然而,在翻译过程中由于无法准确确定待翻译的目标语言文本长度,导致重复翻译或者遗漏翻译的问题。

技术实现思路

[0005]本公开实施例至少提供一种机器翻译解码方法、装置、电子设备及存储介质,以自适应的确定目标语言文本的预测长度,提升翻译效率。
[0006]第一方面,本公开实施例提供了一种机器翻译解码方法,包括:
[0007]获取待翻译的第一源语言文本;
[0008]基于预先统计的目标语言长度分布对所述第一源语言文本对应的第一目标语言文本进行长度预测,确定所述第一目标语言文本的预测长度;
[0009]基于所述预测长度,将所述第一源语言文本翻译成所述第一目标语言文本。
[0010]在一种可能的实施方式中,所述目标语言长度分布的预先统计包括:
[0011]获取多个训练文本对,每个训练文本对包括第二源语言文本及对应的第二目标语言文本,多个训练文本对的第二源语言文本包括至少一种第一文本长度,多个训练文本对的第二目标语言文本包括至少一种第二文本长度;
[0012]基于多个训练文本对的第一文本长度及第二文本长度,确定所述目标语言长度分布。
[0013]在一种可能的实施方式中,所述确定所述目标语言长度分布,包括:
[0014]确定每种所述第一文本长度对应的所述第二文本长度的分布概率;
[0015]基于分布概率符合预设要求的第二文本长度,确定每种所述第一文本长度对应的目标语言长度;
[0016]基于每种所述第一文本长度对应的目标语言长度,确定所述目标语言长度分布。
[0017]在一种可能的实施方式中,所述分布概率符合预设要求的确定包括:
[0018]选取所述分布概率中的最大值。
[0019]在一种可能的实施方式中,所述分布概率符合预设要求的确定包括:
[0020]选取所述分布概率中大于预设概率的值。
[0021]在一种可能的实施方式中,所述第一文本长度对应的目标语言长度的确定包括:
[0022]从多个大于预设概率的分布概率所对应的第二文本长度中选取长度值最大的第二文本长度;
[0023]将选取的所述第二文本长度,确定为所述第一文本长度对应的目标语言长度。
[0024]在一种可能的实施方式中,还包括:
[0025]基于所述第一目标语言文本的翻译结果和预先统计的目标语言长度分布,重新确定所述第一目标语言文本的预测长度。
[0026]在一种可能的实施方式中,所述确定所述目标语言长度分布,包括:
[0027]确定每个所述第一文本长度对应的第二文本长度;
[0028]基于多个第一文本长度分别确定的第二文本长度对长度分布进行建模,得到概率分布;
[0029]基于所述概率分布,确定所述目标语言长度分布。
[0030]在一种可能的实施方式中,所述目标语言长度分布的预先统计包括:
[0031]获取多个训练文本对,每个训练文本对包括第三源语言文本及对应的第三目标语言文本;
[0032]基于所述多个训练文本对对待训练的长度统计神经网络进行一轮网络训练,得到训练好的长度统计神经网络,所述长度统计神经网络用于确定包含所述第三目标语言文本相对所述第三源语言文本的目标语言长度分布。
[0033]在一种可能的实施方式中,所述基于所述预测长度,将所述第一源语言文本翻译成所述第一目标语言文本,包括:
[0034]利用编码器对所述第一源语言文本进行特征提取,得到文本特征向量;
[0035]基于所述预测长度,利用解码器对所述文本特征向量进行翻译,确定翻译后的第一目标语言文本。
[0036]在一种可能的实施方式中,所述基于所述预测长度,利用解码器对所述文本特征向量进行翻译,确定翻译后的第一目标语言文本,包括:
[0037]基于所述预测长度,确定与所述预测长度匹配的目标特征向量,所述目标特征向量用于表征翻译后的第一目标语言文本的长度信息;
[0038]将所述目标特征向量及所述文本特征向量输入解码器,得到翻译后的第一目标语言文本。
[0039]第二方面,本公开还提供了一种机器翻译解码装置,包括:
[0040]获取模块,用于获取待翻译的第一源语言文本;
[0041]预测模块,用于基于预先统计的目标语言长度分布对所述第一源语言文本对应的第一目标语言文本进行长度预测,确定所述第一目标语言文本的预测长度;
[0042]解码模块,用于基于所述预测长度,将所述第一源语言文本翻译成所述第一目标语言文本。
[0043]第三方面,本公开还提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储
器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如第一方面及其各种实施方式中任一项所述的机器翻译解码方法。
[0044]第四方面,本公开还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如第一方面及其各种实施方式中任一项所述的机器翻译解码方法。
[0045]采用上述机器翻译解码方法、装置、电子设备及存储介质,在获取到待翻译的第一源语言文本的情况下,可以基于预先统计的目标语言长度分布对第一源语言文本对应的第一目标语言文本进行长度预测,基于预测得到的预测长度可以将第一源语言文本翻译成第一目标语言文本。本公开采用预先统计的目标语言长度分布可以预测适配于目标语言文本的长度,利用这一预测长度可以很好的支持源语言文本至目标语言文本的翻译,提升翻译效率。
[0046]本公开的其他优点将配合以下的说明和附图进行更详细的解说。
[0047]应当理解,上述说明仅是本公开技术方案的概述,以便能够更清楚地了解本公开的技术手段,从而可依照说明书的内容予以实施。为了让本公开的上述和其它目的、特征和优点能够更明显易懂,以下特举例说明本公开的具体实施方式。
附图说明
[0048]为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种机器翻译解码方法,其特征在于,包括:获取待翻译的第一源语言文本;基于预先统计的目标语言长度分布对所述第一源语言文本对应的第一目标语言文本进行长度预测,确定所述第一目标语言文本的预测长度;基于所述预测长度,将所述第一源语言文本翻译成所述第一目标语言文本。2.根据权利要求1所述的方法,其特征在于,所述目标语言长度分布的预先统计包括:获取多个训练文本对,每个训练文本对包括第二源语言文本及对应的第二目标语言文本,多个训练文本对的第二源语言文本包括至少一种第一文本长度,多个训练文本对的第二目标语言文本包括至少一种第二文本长度;基于多个训练文本对的第一文本长度及第二文本长度,确定所述目标语言长度分布。3.根据权利要求2所述的方法,其特征在于,所述确定所述目标语言长度分布,包括:确定每种所述第一文本长度对应的所述第二文本长度的分布概率;基于分布概率符合预设要求的第二文本长度,确定每种所述第一文本长度对应的目标语言长度;基于每种所述第一文本长度对应的目标语言长度,确定所述目标语言长度分布。4.根据权利要求3所述的方法,其特征在于,所述分布概率符合预设要求的确定包括:选取所述分布概率中的最大值。5.根据权利要求3所述的方法,其特征在于,所述分布概率符合预设要求的确定包括:选取所述分布概率中大于预设概率的值。6.根据权利要求5所述的方法,其特征在于,所述第一文本长度对应的目标语言长度的确定包括:从多个大于预设概率的分布概率所对应的第二文本长度中选取长度值最大的第二文本长度;将选取的所述第二文本长度,确定为所述第一文本长度对应的目标语言长度。7.根据权利要求1所述的方法,其特征在于,还包括:基于所述第一目标语言文本的翻译结果和预先统计的目标语言长度分布,重新确定所述第一目标语言文本的预测长度。8.根据权利要求2所述的方法,其特征在于,所述确定所述目标语言长度分布,包括:确定每个所述第一文本长度对应的第二文本长度;基于多个第一文本长度分别确定的第二文本长度对长度分布进行建模,得到概率分布;基于所述概率分布,确...

【专利技术属性】
技术研发人员:何莎张丽民张楠赓
申请(专利权)人:杭州嘉楠耘智信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1