一种引入源语组块信息编码的神经机器翻译方法技术

本发明专利技术涉及一种引入源语组块信息编码的神经机器翻译方法，输入双语句子级平行数据，分别对源语和目标语分词，得到分词后的双语平行句对；对分词后的双语平行句对中的源语句子按时序进行编码，获取最后一层隐藏层上每个时序的状态，对输入的源语句按块进行切分；根据源语句的每个时序状态以及源语句的切分信息，获得源语句的块编码信息；将时序编码信息与块编码信息联合起来，获得最终的源语句记忆信息；解码器网络通过动态地查询源语句的记忆信息，利用注意力机制产生每一个时刻的上下文向量，并抽取特征向量，进行词汇预测。本发明专利技术自动对源语句进行块切分，不需要任何事先分块好的句子参与训练；能够捕捉到对源语句最新和最佳的分块方式。

A neural Machine Translation method introducing the source code block information coding

Machine Translation nerve of the invention relates to a method for introducing the source language chunks information encoding the input data parallel bilingual sentence level, respectively, of the source language and target language word segmentation obtained after word segmentation of bilingual parallel sentence; after word segmentation of parallel sentences in the source language sentence according to the time sequence for encoding, access to the last each time the layer hidden layer, the input source sentence segmentation block; according to each state timing source statement and segmentation information source statement, block encoding information source statement; the sequence encoding information and block encoding information together, get the source statement memory information eventually; query source statement the decoder network by dynamically memory information, generates a context vector for each moment with an attention mechanism, and extract the feature vector of word prediction. The invention automatically blocks the source sentences, and does not need any block wise sentences to participate in training. It can capture the latest and the best way of partitioning the source statements.

【技术实现步骤摘要】
一种引入源语组块信息编码的神经机器翻译方法
本专利技术涉及机器翻译领域，具体为一种引入源语组块信息编码的神经机器翻译方法。
技术介绍
神经机器翻译技术通常采用基于神经网络的编码器-解码器框架来对整个翻译过程进行端到端的建模，采用这种方法在许多不同语种的互译中已经实现了最佳翻译性能。其中，编码器网络负责把输入的源语句编码成带有记忆信息的固定维度的向量，而解码器将通过编码器得到的编码向量生成对应的翻译结果。对于编码器，通常把输入的源语句看作是分词后按顺序出现的单词序列。当编码器读入源语句时，就可以针对源语句构建相应的记忆信息，在编码过程中，源语句单词序列中的每个单词都会生成对应的记忆单元。一个编码器编码的示例如下：源语句：她有许多漂亮的衣服单词序列：她有许多漂亮的衣服记忆单元：h1h2h3h4h5其中，输入编码器的源语句是“她有许多漂亮的衣服”，源语句分词所对应的单词序列是{“她”、“有”、“许多”、“漂亮的”、“衣服”}，经过编码器编码后上述单词序列中的每个单词对应的记忆单元分别是h1、h2、h3、h4、h5，则源语句的记忆信息为H＝{h1,...,h5}。在传统神经机器翻译系统的编码过程中，通常按时序对源语句的每个单词进行编码，而最终得到的源语句的记忆信息缺少了结构化的依赖表示(树、块)。上述示例中“漂亮的”和“衣服”之间存在着明显的依赖关系，单纯的按时序对源语句中的每个单词进行编码并不能完整的表达源语句所包含的信息。而采用一些已有的外部工具，通过句法分析等方法可以获得这部分信息。但由于这些外部工具本身并不完善，这样做又有可能引进新的错误，而这些错误将会影响后续工作。另外，目前采用一些外部工具，通过句法分析等方法来获得源语句的分块信息。但由于这些外部工具本身并不完善，在获得分块信息时有可能引入新的错误，而这些错误会在后续工作中继续蔓延，产生错误累积。
技术实现思路
针对现有技术中神经机器翻译技术中对源语句按单词顺序进行编码的方式未能考虑源语句的结构化信息表示(树、块)，导致所产生的错误向后续工作进行传播，从而对翻译性能产生影响等不足，本专利技术要解决的技术问题是提供一种能够自动对源语句进行块切分的引入源语组块信息编码的神经机器翻译方法。为解决上述技术问题，本专利技术采用的技术方案是：本专利技术一种引入源语组块信息编码的神经机器翻译方法，包括以下步骤：1)输入双语句子级平行数据，分别对源语和目标语分词，得到分词后的双语平行句对；2)用神经机器翻译系统对分词后的双语平行句对中的源语句子按时序进行编码，获取最后一层隐藏层上每个时序的状态，即每个时序下的编码信息；3)在进行编码的过程中，对输入的源语句按块进行切分；4)根据步骤2)、3)得到的源语句的每个时序状态以及源语句的切分信息，获得源语句的块编码信息；5)将步骤2)和4)产生的时序的编码信息与块编码信息联合起来，获得最终的源语句记忆信息；6)得到最终的源语句记忆信息后，解码器网络通过动态地查询源语句的记忆信息，利用注意力机制产生每一个时刻的上下文向量，并抽取特征向量，进行词汇预测。步骤2)中，用神经机器翻译系统对分词后的双语平行句对中的源语句子按时序进行编码，获取最后一层隐藏层上每个时序的状态，具体如下：H是源语句的记忆信息，通过双向循环神经网络得到，H＝(h1,...,hLs)，其中由两个记忆单元拼接而成，为第i个单词记忆单元，即编码信息，Ls为源语句的单词个数，为正向标注向量，为反向标注向量；其中和为两个独立的门循环单元，为源语句单词序列中第i个单词的词向量。步骤3)中在进行编码的过程中，对输入的源语句按块进行切分，具体为：在神经机器翻译的编码端的最上面构建识别层，识别层的输出代表标记的概率，针对源语句的每个时序，看成带有两个标记的序列标注问题；定义两个标记B、M，其中B为切分的开始位置，M为切分块的中间部分；首先使用一个单层前馈神经网络，将每一个位置的编码信息进行非线性变换，得到一个新的隐藏状态向量，即自动抽取出的特征表示：ff(hi)＝tanh(W1*hi+b1)其中hi是当前位置i的编码表示，W1,b1是模型参数，W1是形状为(h，l)的实数矩阵，b1是维度为l的实数向量，h是原编码表示维度的大小，l是标签特征维度的大小。然后对该特征进行logisticregression操作，得到一个取值范围为(0,1)之间的标量，表示当前位置被标注为B的概率：P(B|hi)＝sigmoid(W2*f(hi)+b2)其中W2是形状为(l，1)的实数矩阵，b2是维度为1的实数向量；根据之前得到的每个位置被标记为B的概率值P(B|hi)，即可得到相应位置被标记为M的概率，即P(M|hi)＝1-P(B|hi)然后采用贪心策略，选择最优的标记序列，即遵从：L(i)表示位置i被标记的标签类别。步骤4)中根据步骤2)、3)得到的源语句的每个时序状态以及源语句的切分信息，获得源语句的块编码信息，具体为：假设所有可能的分块为X为输入的源语句，i和j分别为块的起始和结束位置，Ls代表源语句单词的数目；取一个子集来表示源语句的分块集合，其中|S(X)|＝m表示源语句中存在m个分块，源语句的块编码为S＝(s1,...,sm)，其中si代表的是第i(1≤i≤m)个块的编码信息；通过RNN-MINUS方法对块进行编码，假设对分块进行编码之前的记忆信息是Is，经过分块之后的编码的记忆信息是Ie，将这个分块所代表的信息表示成Ie-Is；给定双向循环神经网络编码采用RNN-MINUS方法对块进行编码，得到：将步骤2)和4)产生的时序的编码信息与块编码信息联合起来，得到最后的源语句的记忆信息H*：H*＝[H；S]＝[(h1,...,hLs)；(s1,...,sm)]其中H*由两部分组成，分别为H和S，其中H由每个单词所对应的记忆单元构成，为每个单词时序上编码记忆信息；S代为每个分块上的编码记忆信息。步骤6)中，得到源语句的记忆信息H*后，解码器网络与传统方法一样，通过动态地查询源语句的记忆信息，利用注意力机制产生每一个时刻的上下文向量，并抽取特征向量，进行词汇预测，包括以下过程：601)得到解码时刻的隐藏状态ti:是当前时刻输入的目标语词的词向量，t表示隐藏状态，i为当前解码时刻；602)动态计算当前时刻的上下文向量ci：ei，j＝ti*W*[hi；si]其中W是形状为(h，2h)的实数矩阵，ei，j表示当前解码时刻i的状态与编码时刻j的状态之间的势能大小，ai，j表示解码时刻i的状态与编码时刻j的状态之间的对齐概率；603)生成特征向量g(i)：g(i)＝Wb*(tanh(Wa*ti+Ua*ci+ba))+bb其中，Wa是形状为(h，h)的实数矩阵，Ua是形状为(h，h)的实数矩阵，ba是维度为1的实数向量，Wb是形状为(h，vt)的实数矩阵，bb是维度为vt的实数向量，vt是目标语词汇表大小；604)词汇预测P(wk|i)：O＝Wb*g(i)+b其中，wk表示第k个目标语词，Wb是形状为(h，vt)的实数矩阵，bb是维度为vt的实数向量，vt是目标语词汇表大小，因此O是一个维度为vt的实数向量，Ok表示第k维的实数值。本专利技术具有以下有益效果及优点：1.本专利技术方法在机器翻译模型中又联合了一个切分本文档来自技高网...

【技术保护点】
一种引入源语组块信息编码的神经机器翻译方法，其特征在于包括以下步骤：1)输入双语句子级平行数据，分别对源语和目标语分词，得到分词后的双语平行句对；2)用神经机器翻译系统对分词后的双语平行句对中的源语句子按时序进行编码，获取最后一层隐藏层上每个时序的状态，即每个时序下的编码信息；3)在进行编码的过程中，对输入的源语句按块进行切分；4)根据步骤2)、3)得到的源语句的每个时序状态以及源语句的切分信息，获得源语句的块编码信息；5)将步骤2)和4)产生的时序的编码信息与块编码信息联合起来，获得最终的源语句记忆信息；6)得到最终的源语句记忆信息后，解码器网络通过动态地查询源语句的记忆信息，利用注意力机制产生每一个时刻的上下文向量，并抽取特征向量，进行词汇预测。

【技术特征摘要】
1.一种引入源语组块信息编码的神经机器翻译方法，其特征在于包括以下步骤：1)输入双语句子级平行数据，分别对源语和目标语分词，得到分词后的双语平行句对；2)用神经机器翻译系统对分词后的双语平行句对中的源语句子按时序进行编码，获取最后一层隐藏层上每个时序的状态，即每个时序下的编码信息；3)在进行编码的过程中，对输入的源语句按块进行切分；4)根据步骤2)、3)得到的源语句的每个时序状态以及源语句的切分信息，获得源语句的块编码信息；5)将步骤2)和4)产生的时序的编码信息与块编码信息联合起来，获得最终的源语句记忆信息；6)得到最终的源语句记忆信息后，解码器网络通过动态地查询源语句的记忆信息，利用注意力机制产生每一个时刻的上下文向量，并抽取特征向量，进行词汇预测。2.根据权利要求1所述的引入源语组块信息编码的神经机器翻译方法，其特征在于步骤2)中，用神经机器翻译系统对分词后的双语平行句对中的源语句子按时序进行编码，获取最后一层隐藏层上每个时序的状态，具体如下：H是源语句的记忆信息，通过双向循环神经网络得到，H＝(h1,...,hLs)，其中由两个记忆单元拼接而成，为第i个单词记忆单元，即编码信息，Ls为源语句的单词个数，为正向标注向量，为反向标注向量；其中和为两个独立的门循环单元，为源语句单词序列中第i个单词的词向量。3.根据权利要求1所述的引入源语组块信息编码的神经机器翻译方法，其特征在于步骤3)中在进行编码的过程中，对输入的源语句按块进行切分，具体为：在神经机器翻译的编码端的最上面构建识别层，识别层的输出代表标记的概率，针对源语句的每个时序，看成带有两个标记的序列标注问题；定义两个标记B、M，其中B为切分的开始位置，M为切分块的中间部分；首先使用一个单层前馈神经网络，将每一个位置的编码信息进行非线性变换，得到一个新的隐藏状态向量，即自动抽取出的特征表示：f(hi)＝tanh(W1*hi+b1)其中hi是当前位置i的编码表示，W1,b1是模型参数，W1是形状为(h，l)的实数矩阵，b1是维度为l的实数向量，h是原编码表示维度的大小，l是标签特征维度的大小。然后对该特征进行logisticregression操作，得到一个取值范围为(0,1)之间的标量，表示当前位置被标注为B的概率：P(B|hi)＝sigmoid(W2*f(hi)+b2)其中W2是形状为(l，1)的实数矩阵，b2是维度为1的实数向量；根据之前得到的每个位置被标记为B的概率值P(B|hi)，即可得到相应位置被标记为M的概率，即P(M|hi)＝1-P(B|hi)然后采用贪心策略，选择最优的标记序列，即遵从：

【专利技术属性】
技术研发人员：王强，吴开心，肖桐，朱靖波，张春良，
申请(专利权)人：沈阳雅译网络技术有限公司，
类型：发明
国别省市：辽宁,21