【技术实现步骤摘要】
增强词汇一致性的神经机器翻译方法、设备和存储介质
[0001]本公开涉及语言处理
,本公开尤其涉及一种增强词汇一致性的神经机器翻译方法、设备和存储介质。
技术介绍
[0002]机器翻译(machine translation,MT)是指借助计算机将一种自然语言(通常称为源语言)翻译为另一种自然语言(通常称为目标语言)的过程,它是语言学、数学和计算机科学等多学科交叉的一项应用技术。
[0003]尽管神经机器翻译的研究已经取得巨大进展,但常规的神经机器翻译系统的建模与训练通常基于较强的独立性假设,即以句子为翻译单位。因此,当输入一篇文档时,系统只能独立地进行逐句翻译而无法考虑篇章中句子之间的上下文关系。一篇流畅的自然语言文档(或称篇章)并非一组孤立句子的简单堆砌,而是有组织的、结构化的语言单位,其句子之间由连贯的语义关系所串联。即使神经机器翻译的译文在句子层面上可能完全正确,一旦放入篇章语境内,也依然可能出现句际衔接的不流畅或严重的翻译错误。
技术实现思路
[0004]为了解决上述技术问题中的至少一个,本公开提供了一种增强词汇一致性的神经机器翻译方法、设备和存储介质。
[0005]根据本公开的一个方面,提供一种增强词汇一致性的神经机器翻译方法,包括:通过训练获得标准的句子级Transformer翻译模型,获得初始化“目标端
‑
源端”注意力权重;对于输入Transformer翻译模型的篇章,抽取语义上下文向量和一致性上下文向量;利用一致性上下文向量对篇章中每组重复的源 ...
【技术保护点】
【技术特征摘要】
1.一种增强词汇一致性的神经机器翻译方法,包括:通过训练获得标准的句子级Transformer翻译模型,获得初始化“目标端
‑
源端”注意力权重;对于输入Transformer翻译模型的篇章,抽取语义上下文向量和一致性上下文向量;利用一致性上下文向量对篇章中每组重复的源端单词生成对应的唯一的一致性概率分布;利用一致性上下文向量和语义上下文向量,通过线性分类器评估源端重复单词需要被翻译一致的置信度;在Transformer翻译模型解码时刻借助注意力权重计算当前解码时刻最终的词表预测概率分布。2.根据权利要求1所述的增强词汇一致性的神经机器翻译方法,其特征在于:通过训练集和开发集进行训练获得标准的句子级Transformer翻译模型。3.根据权利要求1所述的增强词汇一致性的神经机器翻译方法,其特征在于:所述Transformer翻译模型用6层编码器和解码器,8头的注意力机制,隐状态维度3d=512,前馈层的维度大小为2048。4.根据权利要求1所述的增强词汇一致性的神经机器翻译方法,其特征在于:所述训练集和开发集利用新闻评论、TDE演讲、电影字幕三个领域的翻译数据进行。5.根据权利要求1所述的增强词汇一致性的神经机器翻译方法,其特征在于,所述利用一致性上下文向量对篇章中每组重复的源端单词生成对应的唯一的一致性概率分布中,第n组重复单词的一致性概率分布通过该组单词的全局一致性上下u
n
生成:其中,W和b是需要学习的模型参数;W1是一个线性变换矩阵,d为隐向量维度。6.根据权利要求1所述的增强词汇一致性的神经机器翻译方法,其特征在于,所述通过线性分类器评估源端重复单词需要被翻译一致的置信度中,对于第i个源语言句子中的任意单词x
i,j
,计算过程如下:其中和为待学习的网络参数;上式中,如果x
i,j
属于第<i,j>组重复的单词,则利用一个两层线性网络计算翻译一致的置信度,网络的输入包括编码状态向量h
i,j
,对应的一致性上下文向量u
<i,j>
,和所在句子的语义上下文向量v
i
;...
【专利技术属性】
技术研发人员:周玉,亢晓勉,
申请(专利权)人:北京中科凡语科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。