机器翻译设备和方法技术

公开了机器翻译设备和方法。所述机器翻译设备，包括：预处理单元，用于对源语言输入文本执行处理，以产生与所述源语言输入文本中的各源语言单词对应的多个向量；编码单元，用于对所述多个向量进行编码以产生多个编码向量；以及解码单元，用于将所述多个编码向量以及指示翻译方向的信息输入至单个解码网络，并且从所述单个解码网络输出与源语言输入文本对应的目标语言输出文本，其中，所述输出文本中包括的目标语言单词的输出顺序与所述翻译方向一致，其中当向所述单个解码网络输入的信息所指示的翻译方向改变时，所述单个解码网络中各节点的参数不变。点的参数不变。点的参数不变。

【技术实现步骤摘要】
机器翻译设备和方法


[0001]本专利技术涉及自然语言处理的领域，更具体地说，涉及机器翻译设备和方法。

技术介绍

[0002]机器翻译是利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程。它是计算语言学的一个分支，是人工智能的终极目标之一，具有重要的科学研究价值。同时，机器翻译又具有重要的实用价值。随着经济全球化及互联网的飞速发展，机器翻译技术在促进政治、经济、文化交流等方面起到越来越重要的作用。
[0003]随着深度学习的研究取得较大进展，基于人工神经网络的机器翻译(Neural Machine Translation，NMT)逐渐兴起。其技术核心是一个拥有海量结点(神经元)的深度神经网络，可以自动地从语料库中学习翻译知识。一种语言的句子被向量化之后，在网络中层层传递，转化为计算机可以“理解”的表示形式，再经过多层复杂的传导运算，生成另一种语言的译文。实现了“理解语言，生成译文”的翻译方式。这种翻译方法最大的优势在于译文流畅，更加符合语法规范，容易理解。相比之前的翻译技术，质量有“跃进式”的提升。
[0004]谷歌提出了一种新的架构(Transformer)，用来实现NMT。Transformer架构包括编码器(Encoder)和解码器(Decoder)两部分。编码器对输入文本进行深层语义表示，解码器依据输入文本的语义表示产生输出文本。编码器和解码器都是由多层网络堆积而成。
[0005]现有的解码网络仅能够按照设置好的翻译方向(如，自左往右或自右向左)逐词地产生译文输出。也就是说，一个解码网络只能够按照一种固定的翻译方向来构造并训练。如果用户希望改变翻译方向，则只能重新构造并训练与该翻译方向对应的另一个解码网络。然而，这显然不利于节约时间成本和软硬件成本。

技术实现思路

[0006]鉴于以上情形，期望提供新的机器翻译方法和设备，其能够针对不同的翻译方向，共享相同的解码网络。
[0007]根据本公开的一个方面，提供了一种机器翻译方法，包括：对源语言输入文本执行处理，以产生与所述源语言输入文本中的各源语言单词对应的多个向量；对所述多个向量进行编码以产生多个编码向量；将所述多个编码向量以及指示翻译方向的信息输入至单个解码网络；以及从所述单个解码网络输出与源语言输入文本对应的目标语言输出文本，其中，所述输出文本中包括的目标语言单词的输出顺序与所述翻译方向一致，其中当向所述单个解码网络输入的信息所指示的翻译方向改变时，所述单个解码网络中各节点的参数不变。
[0008]另外，在根据本公开实施例的方法中，通过以下处理来训练所述解码网络：对源语言训练输入文本执行处理，以产生与所述源语言训练输入文本中的各源语言单词对应的多个训练向量；对所述多个训练向量进行编码以产生多个编码训练向量；将所述多个编码训练向量以及指示翻译方向的信息输入至单个解码网络；分别在多个时间步从所述单个解码
网络输出多个训练预测向量，其中每一个训练预测向量包括目标语言词库中的各单词在一个时间步作为目标语言输出文本中的单词的概率，且各时间步分别与目标语言输出文本中的各单词对应；基于与所述翻译方向对应的、目标语言正解文本在多个时间步应该输出的单词，确定多个正解向量，其中每一个正解向量包括目标语言词库中的各单词在一个时间步作为目标语言输出文本中的单词的概率，并且与该时间步应该输出的单词对应的概率最大；以及至少基于表示训练预测向量与相应的正解向量之间的差异的第一损失函数，调整所述解码网络中各节点的参数。
[0009]另外，在根据本公开实施例的方法中，所述单个解码网络包括隐藏层，并且进一步通过以下处理来训练所述解码网络：将与所述翻译方向对应的、各时间步从解码网络的隐藏层输出的中间向量输入至分类网络，并且从所述分类网络输出分类结果，其中所述分类结果指示从所述单个解码网络输出的目标语言训练输出文本中各单词的输出顺序；基于所述输出顺序与所述翻译方向的比较，进一步调整所述解码网络中各节点的参数。
[0010]另外，在根据本公开实施例的方法中，通过以下处理来训练所述分类网络：基于表示分类网络输出的分类结果与所述翻译方向之间的差异的第二损失函数，调整所述分类网络中各节点的参数。
[0011]另外，在根据本公开实施例的方法中，将所述多个编码向量以及指示翻译方向的信息输入至单个解码网络进一步包括：将所述多个编码向量以及指示第一翻译方向的信息输入至单个解码网络；以及将所述多个编码向量以及指示第二翻译方向的信息输入至单个解码网络，并且从所述单个解码网络输出与源语言输入文本对应的目标语言输出文本进一步包括：从所述单个解码网络输出目标语言第一输出文本，其中，所述第一输出文本中包括的目标语言单词的输出顺序与所述第一翻译方向一致；以及从所述单个解码网络输出目标语言第二输出文本，其中，所述第二输出文本中包括的目标语言单词的输出顺序与所述第二翻译方向一致。
[0012]另外，在根据本公开实施例的方法中，所述解码网络包括隐藏层，并且所述方法进一步包括：将与所述第一翻译方向对应的、各时间步从解码网络的隐藏层输出的中间向量输入至分类网络，其中各时间步分别与目标语言第一输出文本中的各单词对应，并且从所述分类网络输出第一分类结果，其中所述第一分类结果指示从所述单个解码网络输出的目标语言第一输出文本中各单词的输出顺序；将与所述第二翻译方向对应的、各时间步从解码网络的隐藏层输出的中间向量输入至所述分类网络，其中各时间步分别与目标语言第二输出文本中的各单词对应，并且从所述分类网络输出第二分类结果，其中所述第二分类结果指示从所述单个解码网络输出的目标语言第二输出文本中各单词的输出顺序；将基于所述目标语言第一输出文本中各单词的出现概率的值和第一分类结果输入到打分网络，并且从所述打分网络输出第一分数；以及将基于所述目标语言第二输出文本中各单词的出现概率的值和第二分类结果输入到打分网络，并且从所述打分网络输出第二分数；并且其中从所述单个解码网络输出与源语言输入文本对应的目标语言输出文本进一步包括：选择第一分数和第二分数中较大的一个所对应的输出文本作为目标语言输出文本。
[0013]另外，在根据本公开实施例的方法中，通过以下处理来训练所述打分网络：对源语言训练输入文本执行处理，以产生与所述源语言训练输入文本中的各源语言单词对应的多个训练向量；对所述多个训练向量进行编码以产生多个编码训练向量；将所述多个编码训
练向量以及指示一个翻译方向的信息输入至单个解码网络；将与所述一个翻译方向对应的、各时间步从解码网络的隐藏层输出的中间向量输入至分类网络，并且从所述分类网络输出分类结果，其中所述分类结果指示从所述单个解码网络输出的目标语言训练输出文本中各单词的输出顺序；将基于所述目标语言训练输出文本中各单词的出现概率的值和分类结果输入到打分网络，并且从所述打分网络输出训练分数；计算所述解码网络输出的目标语言训练输出文本与目标语言正解文本之间的相似度；基于表示所述训练分数与所述相似度之间的差异的第三损失函数，调整所述打分网络中各节点的参数。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器翻译设备，包括：预处理单元，用于对源语言输入文本执行处理，以产生与所述源语言输入文本中的各源语言单词对应的多个向量；编码单元，用于对所述多个向量进行编码以产生多个编码向量；以及解码单元，用于将所述多个编码向量以及指示翻译方向的信息输入至单个解码网络，并且从所述单个解码网络输出与源语言输入文本对应的目标语言输出文本，其中，所述输出文本中包括的目标语言单词的输出顺序与所述翻译方向一致，其中当向所述单个解码网络输入的信息所指示的翻译方向改变时，所述单个解码网络中各节点的参数不变。2.根据权利要求1所述的设备，进一步包括训练单元，用于通过执行以下处理来训练所述解码网络：对源语言训练输入文本执行处理，以产生与所述源语言训练输入文本中的各源语言单词对应的多个训练向量；对所述多个训练向量进行编码以产生多个编码训练向量；将所述多个编码训练向量以及指示翻译方向的信息输入至单个解码网络；分别在多个时间步从所述单个解码网络输出多个训练预测向量，其中每一个训练预测向量包括目标语言词库中的各单词在一个时间步作为目标语言输出文本中的单词的概率，且各时间步分别与目标语言输出文本中的各单词对应；基于与所述翻译方向对应的、目标语言正解文本在多个时间步应该输出的单词，确定多个正解向量，其中每一个正解向量包括目标语言词库中的各单词在一个时间步作为目标语言输出文本中的单词的概率，并且与该时间步应该输出的单词对应的概率最大；以及至少基于表示训练预测向量与相应的正解向量之间的差异的第一损失函数，调整所述解码网络中各节点的参数。3.根据权利要求2所述的设备，其中所述单个解码网络包括隐藏层，并且所述训练单元进一步被配置为通过执行以下处理来训练所述解码网络：将与所述翻译方向对应的、各时间步从解码网络的隐藏层输出的中间向量输入至分类网络，并且从所述分类网络输出分类结果，其中所述分类结果指示从所述单个解码网络输出的目标语言训练输出文本中各单词的输出顺序；基于所述输出顺序与所述翻译方向的比较，进一步调整所述解码网络中各节点的参数。4.根据权利要求3所述的设备，其中所述训练单元进一步被配置为通过以下处理来训练所述分类网络：基于表示分类网络输出的分类结果与所述翻译方向之间的差异的第二损失函数，调整所述分类网络中各节点的参数。5.根据权利要求1所述的设备，其中所述解码单元进一步被配置为：将所述多个编码向量以及指示第一翻译方向的信息输入至单个解码网络，并且从所述单个解码网络输出目标语言第一输出文本，其中，所述第一输出文本中包括的目标语言单词的输出顺序与所述第一翻译方向一致；以及将所述多个编码向量以及指示第二翻译方向的信息输入至单个解码网络，并且从所述
单个解码网络输出目标语言第二输出文本，其中，所述第二输出文本中包括的目标语言单词的输出顺序与所述第二翻译方向一致。6.根据权利要求5所述的设备，其中所述解码网络包括隐藏层，并且所述设备进一步包括：选择单元，用于执行以下处理：将与所述第一翻译方向对应的、各时间步从解码网络的隐藏层输出的中间向量输入至分类网络，其中各时间步分别与目标语言第一输出文本中的各单词对应，并且从所述分类网络输出第一分类结果，其中所述第一分类结果指示从所述单个解码网络输出的目标语言第一输出文本中各单词的输出顺序；将与所述第二翻译方向对应的、各时间步从解码网络的隐藏层输出的中间向量输入至所述分类网络，其中各时间步分别与目标语言第二输出文本中的各单词对应，并且从所述分类网络输出第二分类结果，其中所述第二分类结果指示从所述单个解码网络输出的目标语言第二输出文本中各单词的输出顺序；将基于所述目标语言第一输出文本中各单词的出现概率的值和第一分类结果输入到打分网络，并且从所述打分网络输出第一分数；将基于所述目标语言第二输出文本中各单词的出现概率的值和第二分类结果输入到打分网络，并且从所述打分网络输出第二分数；以及选择第一分数和第二分数中较大的一个所对应的输出文本作为目标语言输出文本。7.根据权利要求6所述的设备，进一步包括训练单元，用于通过以下处理来训练所述打分网络：对源语言训练输入文本执行处理，以产生与所述源语言训练输入文本中的各源语言单词对应的多个训练向量；对所述多个训练向量进行编码以产生多个编码训练向量；将所述多个编码训练向量以及指示一个翻译方向的信息输入至单个解码网络；将与所述一个翻译方向对应的、各时间步从解码网络的隐藏层输出的中间向量输入至分类网络，并且从所述分类网络输出分类结果，其中所述分类结果指示从所述单个解码网络输出的目标语言训练输出文本中各单词的输出顺序；将基于所述目标语言训练输出文本中各单词的出现概率的值和分类结果输入到打分网络，并且从所述打分网络输出训练分数；计算所述解码网络输出的目标语言训练输出文本与目标语言正解文本之间的相似度；基于表示所述训练分数与所述相似度之间的差异的第三损失函数，调整所述打分网络中各节点的参数。8.根据权利要求1所述的设备，其中所述目标语言正解文本进一步包括当输入相同的源语言输入文本时从另一解码网络输出的目标语言输出文本，其中所述另一解码网络的网络规模大于所述解码网络的网络规模。9.根据权利要求1所述的设备，其中将从所述解码网络输出的目标语言输出文本作为与源语言输入文本对应的目标语言正解文本，应用于另一解码网络的训练处理，其中所述另一解码网络的网络规模小于所述解码网络的网络规模。10.一种机器翻译方法，包括：
...

【专利技术属性】
技术研发人员：郭垿宏，郭心语，李安新，陈岚，
申请(专利权)人：株式会社NTT都科摩，
类型：发明
国别省市：