机器翻译方法、机器翻译模型训练方法、装置及存储介质制造方法及图纸

本申请公开了人工智能领域中的一种机器翻译方法、机器翻译模型训练方法、装置及存储介质。其中，该机器翻译方法包括：获取待翻译文本，并从该待翻译文本中获取当前语句的扩展语句，接下来对扩展语句进行编码处理，以得到编码输出；并对扩展语句进行关注偏向分析，以得到扩展语句的关注偏向信息；最后再根据扩展语句的关注偏向信息对编码输出进行解码处理，从而得到当前语句的翻译结果。通过扩展语句的关注偏向信息能够提高在解码过程中更多的关注当前语句以及与当前语句相关的上下文语句的词，可以提高机器翻译的效果。

【技术实现步骤摘要】
机器翻译方法、机器翻译模型训练方法、装置及存储介质
本申请涉及自然语言处理领域，特别涉及一种机器翻译方法、机器翻译模型训练方法、装置及存储介质。
技术介绍
人工智能(artificialintelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。随着人工智能技术的不断发展，让人机之间能够通过自然语言进行交互的自然语言人机交互系统变的越来越重要。人机之间能够通过自然语言进行交互，就需要系统能够识别出人类自然语言的具体含义。通常，系统通过采用对自然语言的句子进行关键信息提取来识别句子的具体含义。传统的机器翻译方法为了能够更好地对篇章语句的翻译，在对当前语句进行翻译时，是将当前语句和上下文合并在一起得到扩展语句，然后将该扩展语句输入到翻译模型中进行翻译，以得到当前语句的翻译语句。
技术实现思路
本申请提供一种机器翻译方法、机器翻译模型训练方法、装置及存储介质，以提高机器翻译的效果。第一方面，提供了一种机器翻译方法，该机器翻译方法包括：获取待翻译文本；获取当前语句的扩展语句，该扩展语句包括当前语句和当前语句的上下文语句；对扩展语句进行编码处理，得到编码输出；对扩展语句进行关注偏向分析，得到扩展语句的关注偏向信息；根据扩展语句的关注偏向信息对编码输出进行解码处理，得到当前语句的翻译结果。其中，上述待翻译文本可以由一段或者多段语句构成，该待翻译文本包括当前语句以及当前语句的上下文语句，当前语句是当前需要进行翻译的语句。另外，上述扩展语句的关注偏向信息包括后续对编码输出进行解码处理时对扩展语句中的每个词的关注偏向值。上述当前语句、上下文语句以及扩展语句还可以有不同的名称。具体地，当前语句还可以称为当前句，上下文语句可以简称为上下文，扩展语句还可以称为扩展输入。在本申请中，当前语句的上下文语句可以是待翻译文本中出现在当前语句之前的句子和词。本申请中，根据扩展语句的关注偏向信息对编码输出进行解码处理，能够在解码过程中更多的关注当前语句以及与当前语句相关的上下文语句的词，与直接对编码输出进行解码处理的方式相比，能够减少了无用信息对解码过程的影响，能够提高机器翻译的效果。也就是说，通过在解码过程中重点关注当前语句以及与当前语句相关的上下文语句中的词，能够在一定程度上提高机器翻译的准确性，进而得到当前语句更准确的翻译结果。可选地，上述扩展语句还包括分隔符号，该分隔符号用于隔开上下文语句和当前语句。上述分隔符号可以视为一种特殊的分隔词，该分隔符号可以是能够区分上下文语句和当前语句的任何符号或者词。可选地，上述获取当前语句的扩展语句，包括：将当前语句与当前语句的上下文语句结合，得到当前语句的扩展语句。可选地，上述获取待翻译文本，包括：接收用户上传的待翻译文本。应理解，用户在上传待翻译文本时，既可以直接在翻译界面输入待翻译文本，也可以上传包含该待翻译文本的文档。这里的包含待翻译文本的文档的种类可以有多种，例如，该包含待翻译文本的文档可以是word文档、TXT文档或者PDF文档等等。在本申请中，可以采用第一方面的所示的方法对待翻译文本中的每个语句进行翻译，直到翻译完待翻译文本中的全部语句，从而得到整个待翻译文本中的全部语句的翻译结果。应理解，在对翻译文本中的第一个语句进行翻译时，也可以采用第一方面中的方法，这个时候对于当前语句来说，虽然不存在真正的上下文语句，但是可以定义一个由(一个)特殊词构成的上下文语句。当然，也可以先采用传统的机器翻译模型对翻译文本中的第一个语句进行翻译，然后再采用第一方面中的方法对翻译文本中的后面的语句中进行翻译。结合第一方面，在第一方面的某些实现方式中，上下文语句的中的任意一个词的关注偏向值小于当前语句中任意一个词的关注偏向值。结合第一方面，在第一方面的某些实现方式中，在上下文语句中，与当前语句不存在关联关系的任意一个词的关注偏向值小于与当前语句存在关联关系的任意一个词的关注偏向值。通过关注偏向值能够区分上下文语句中与当前语句存在关联关系和不存在关联关系的词，便于后续在根据扩展语句的关注偏向信息对编码输出进行解码处理时，更多的关注上下文语句中与当前语句存在关联关系的词，可以减少了无用信息对解码过程的影响，提高机器翻译的效果。结合第一方面，在第一方面的某些实现方式中，上下文语句中的词与当前语句是否存在关联关系是根据预设的知识库来确定的，预设的知识库中保存有存在关联关系的词。上述知识库中保存在的存在关联关系的词可以是根据经验或者其他方式确定的(例如，可以通过神经网络等机器学习方式对不同的词进行语义分析得到的)，上述知识库中保存的存在关联关系的词可以是以条目的形式保存的。具体地，上述预设的知识库可以保存有M个条目信息，每个条目信息包含存在关联关系的两个或者两个以上的词，其中，M为正整数。例如，上述预设的知识库中保存有一个条目信息<cat,eat,fish>，当前语句为“Itlikesfish”当前语句的上下文语句为“Hiscatiscute”，那么，通过查询知识库可知，上下文语句中的词“cat”和当前语句中的词“fish”存在关联关系。结合第一方面，在第一方面的某些实现方式中，上下文语句中的词与当前语句是否存在关联关系是采用神经网络模型对上下文语句中的词和当前语句中的词进行语义分析确定的。具体地，可以采用神经网络模型对上述文语句中的词和当前语句中的词进行语义分析，得到语义分析结果，如果上下文语句中某个词A的语义分析结果与当前语句中的某个词B的语义分析结果比较接近，则可以认为上下文语句中词A与当前语句中的词B存在关联关系。结合第一方面，在第一方面的某些实现方式中，上述对扩展语句进行编码处理，得到编码输出，包括：对扩展语句进行词汇编码，得到扩展语句的词汇编码序列；对扩展语句进行反向位置编码和/或对扩展语句进行输入类型编码，得到扩展语句的反向位置编码序列和/或扩展语句的输入类型编码序列；对扩展语句的词汇编码序列，以及扩展语句的反向位置编码序列和/或扩展语句的输入类型编码序列进行编码，得到编码输出。其中，在上述扩展语句的反向位置编码序列中，当前语句中的任意一个词的位置序号小于上下文语句中的任意一个词的位置序号。上述扩展语句的输入类型编码序列用于指示上述扩展语句中的每个词的输入类型为当前语句或者上下文语句。也就是说，上述扩展语句的输入类型编码序列用于指示上述扩展语句中的每个词的输入类型是当前语句还是上下文语句。本申请中，通过对扩展语句进行输入类型编码，便于翻译过程中直接区分扩展语句中的当前语句本文档来自技高网...

【技术保护点】
1.一种机器翻译方法，其特征在于，包括：/n获取待翻译文本，所述待翻译文本由一段或者多段语句构成，所述待翻译文本包括当前语句以及所述当前语句的上下文语句，所述当前语句是当前需要进行翻译的语句；/n获取所述当前语句的扩展语句，所述扩展语句包括所述当前语句和所述当前语句的上下文语句；/n对所述扩展语句进行编码处理，得到编码输出；/n对所述扩展语句进行关注偏向分析，得到所述扩展语句的关注偏向信息，所述扩展语句的关注偏向信息包括后续对所述编码输出进行解码处理时对所述扩展语句中的每个词的关注偏向值；/n根据所述扩展语句的关注偏向信息对所述编码输出进行解码处理，得到所述当前语句的翻译结果。/n

【技术特征摘要】
1.一种机器翻译方法，其特征在于，包括：
获取待翻译文本，所述待翻译文本由一段或者多段语句构成，所述待翻译文本包括当前语句以及所述当前语句的上下文语句，所述当前语句是当前需要进行翻译的语句；
获取所述当前语句的扩展语句，所述扩展语句包括所述当前语句和所述当前语句的上下文语句；
对所述扩展语句进行编码处理，得到编码输出；
对所述扩展语句进行关注偏向分析，得到所述扩展语句的关注偏向信息，所述扩展语句的关注偏向信息包括后续对所述编码输出进行解码处理时对所述扩展语句中的每个词的关注偏向值；
根据所述扩展语句的关注偏向信息对所述编码输出进行解码处理，得到所述当前语句的翻译结果。


2.如权利要求1所述的机器翻译方法，其特征在于，所述上下文语句的中的任意一个词的关注偏向值小于所述当前语句中任意一个词的关注偏向值。


3.如权利要求1或2所述的机器翻译方法，其特征在于，在所述上下文语句中，与所述当前语句不存在关联关系的任意一个词的关注偏向值小于与所述当前语句存在关联关系的任意一个词的关注偏向值。


4.如权利要求3所述的机器翻译方法，其特征在于，所述上下文语句中的词与所述当前语句是否存在关联关系是根据预设的知识库来确定的，所述预设的知识库中保存有存在关联关系的词。


5.如权利要求3所述的机器翻译方法，其特征在于，所述上下文语句中的词与所述当前语句是否存在关联关系是采用神经网络模型对所述上下文语句中的词和所述当前语句中的词进行语义分析确定的。


6.如权利要求1-5中任一项所述的机器翻译方法，其特征在于，所述对所述扩展语句进行编码处理，得到编码输出，包括：
对所述扩展语句进行词汇编码，得到所述扩展语句的词汇编码序列；
对所述扩展语句进行反向位置编码，得到所述扩展语句的反向位置编码序列，其中，在所述扩展语句的反向位置编码序列中，所述当前语句中的任意一个词的位置序号小于所述上下文语句中的任意一个词的位置序号；
对所述扩展语句的词汇编码序列和所述扩展语句的反向位置编码序列进行编码，得到所述编码输出。


7.如权利要求1-5中任一项所述的机器翻译方法，其特征在于，所述对所述扩展语句进行编码处理，得到编码输出，包括：
对所述扩展语句进行词汇编码，得到所述扩展语句的词汇编码序列；
对所述扩展语句进行输入类型编码，得到所述扩展语句的输入类型编码序列，所述扩展语句的输入类型编码序列用于指示所述扩展语句中的每个词的输入类型为当前语句或者上下文语句；
对所述扩展语句的词汇编码序列和所述扩展语句的输入类型编码序列进行编码，得到所述编码输出。


8.一种机器翻译模型的训练方法，其特征在于，包括：
获取训练语句，所述训练语句包括扩展语句，所述扩展语句包括当前语句以及所述当前语句的上下文语句，所述当前语句是当前需要进行翻译的语句，所述训练语句还包括所述当前语句的目标译文；
对所述扩展语句进行关注偏向分析，得到所述扩展语句的关注偏向信息，所述扩展语句的关注偏向信息包括后续对所述编码输出进行解码处理时对所述扩展语句中的每个词的关注偏向值；
根据所述训练语句和所述扩展语句的关注度偏向信息，对机器翻译模型进行训练，以得到满足预设要求的所述机器翻译模型。


9.如权利要求8所述的训练方法，其特征在于，所述上下文语句的中的任意一个词的关注偏向值小于所述当前语句中任意一个词的关注偏向值。


10.如权利要求8或9所述的训练方法，其特征在于，在所述上下文语句中，与所述当前语句不存在关联关系的任意一个词的关注偏向值小于与所述当前语句存在关联关系的任意一个词的关注偏向值。


11.如权利要求10所述的训练方法，其特征在于，所述上下文语句中的词与所述当前语句是否存在关联关系是根据预设的知识库来确定的，所述预设的知识库中保存有存在关联关系的词。


12.如权利要求10所述的训练方法，其特征在于，所述上下文语句中的词与所述当前语句是否存在关联关系是采用神经网络模型对所述上下文语句中的词和所述当前语句中的词进行语义分析确定的。


13.如权利要求8-12中任一项所述的训练方法，其特征在于，所述根据所述训练语句和所述扩展语句的关注度偏向信息，对机器翻译模型进行训练，以得到满足预设要求的所述机器翻译模型，包括：
采用所述机器翻译模型中的编码器对所述扩展语句进行编码处理，得到编码输出；
采用所述机器翻译模型中的解码器对所述编码输出和所述扩展语句的关注度偏向信息进行解码处理，得到所述当前语句的翻译结果；
根据所述当前语句的翻译结果和所述当前语句的目标译文，确定所述机器翻译模型的预测损失；
根据所述机器翻译模型的预测损失对所述机器翻译模型的模型参数进行更新，以得到满足预设要求的所述机器翻译模型。


14.如权利要求13所述的训练方法，其特征在于，所述采用所述机器翻译模型中的编码器对所述扩展语句进行编码处理，得到编码输出，包括：
对所述扩展语句进行词汇编码，得到所述扩展语句的词汇编码序列；
对所述扩展语句进行反向位置编码，得到所述扩展语句的反向位置编码序列，其中，在所述扩展语句的反向位置编码序列中，所述当前语句中的任意一个词的位置序号小于所述上下文语句中的任意一个词的位置序号；
对所述扩展语句的词汇编码序列和所述扩展语句的反向位置编码序列进行编码，得到所述编码输出。


15.如权利要求13所述的训练方法，其特征在于，所述采用所述机器翻译模型中的编码器对所述扩展语句进行编码处理，得到编码输出，包括：
对所述扩展语句进行词汇编码，得到所述扩展语句的词汇编码序列；
对所述扩展语句进行输入类型编码，得到所述扩展语句的输入类型编码序列，所述扩展语句的输入类型编码序列用于指示所述扩展语句中的每个词的输入类型为当前语句或者上下文语句；
对所述扩展语句的词汇编码序列和所述扩展语句的输入类型编码序列进行编码，得到所述编码输出。


16.如权利要求8-12中任一项所述的训练方法，其特征在于，所述根据所述训练语句和所述扩展语句的关注度偏向信息，对机器翻译模型进行训练，以得到满足预设要求的所述机器翻译模型，包括：
采用所述机器翻译模型中的编码器对所述扩展语句进行编码处理，得到编码输出；
采用所述机器翻译模型中的解码器对所述编码输出和所述扩展语句的关注度偏向信息进行解码处理，得到所述当前语句的翻译结果；
根据所述当前语句的翻译结果和所述当前语句的目标译文，确定所述机器翻译模型的预测损失；
确定所述机器翻译模型的编码损失；
根据所述机器翻译模型的编码损失和所述机器翻译模型的预测损失，对所述机器翻译模型的模型参数进行更新。


17.如权利要求16所述的训练方法，其特征在于，所述确定所述机器翻译模型的编码损失，包括：
对所述扩展语句中的至少一个词进行替换处理，得到替换处理后的扩展语句，所述替换处理后的扩展语句包括至少一个替换符号；
对所述替换处理后的扩展语句进行编码处理，得到所述替换处理后的扩展语句对应的编码输出；
根据所述替换处理后的扩展语句对应的编码输出获得所述至少一个替换符号对应的向量；
根据所述至少一个替换符号对应的向量进行预测，得到所述至少一个替换符号的预测结果，所述至少一个替换符号的预测结果用于预测被所述至少一个替换符号替换掉的真实词；
根据所述至少一个替换符号的预测结果与被所述至少一个替换符号替换掉的真实词的差异，确定所述机器翻译模型的编码损失。


18.如权利要求16所述的训练方法，其特征在于，所述确定所述机器翻译模型的编码损失，包括：
采用所述机器翻译模型中的编码器对所述编码输入进行处理，得到所述扩展语句的编码输出；
根据所述编码输出进行预测，得到所述扩展语句的预测结果，所述扩展语句的预测结果用于预测所述扩展语句包含的词；
根据所述当前扩展语句的预测结果与所述扩展语句包含的词的差异，确定所述编码损失。


19.一种机器翻译装置，其特征在于，包括：
获取单元，用于获取待翻...

【专利技术属性】
技术研发人员：李良友，蒋欣，刘群，钱莉，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44