语言翻译方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术涉及人金融科技技术领域，公开了一种语言翻译方法、装置、计算机设备及存储介质。包括获取到经过预热的语言翻译模型；将源语句训练样本分别输入到第一表征模型和所述编码器中，进行第一表征融合训练，得到第一融合表征；将目标语句训练样本分别输入到第二表征模型和所述解码器中，进行第二表征融合训练，得到第二融合表征；其中，在完成所述第一表征融合训练和所述第二表征融合训练后，得到训练好的所述语言翻译模型，所述语言翻译模型用于对待翻译语句进行语言翻译。本发明专利技术中使用源语言和目标语言，分别对语言翻译模型中的编码器和解码器进行训练，以得到较好的语言翻译模型，以提高对金融领域中金融文本进行翻译的准确率。率。率。

【技术实现步骤摘要】
语言翻译方法、装置、计算机设备及存储介质


[0001]本专利技术涉及金融科技
，尤其涉及一种语言翻译方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着科学技术的飞速发展，神经机器翻译(NMT)开始被广泛使用。神经机器翻译指的是将输入的源语言句子生成相应的目标语言句子，例如，金融领域中通过神经机器翻译模型将中文版本的投资合同、保险合同等中的中文条款进行翻译，进而得到英文条款的英文版本的投资合同或保险合同。
[0003]但是，一个好的神经机器翻译模型需要大规模的训练样本和长时间的训练，这样训练得到的神经机器翻译模型才能拥有充分提取文字上下文信息的能力，得到源语言与目标语言之间的潜在联系。
[0004]因此，面对小样本下的神经机器翻译模型的训练极不友好，由于缺少大规模的训练数据，使得训练得到的神经机器翻译模型对源语言的翻译准确率较低。

技术实现思路

[0005]本专利技术实施例提供一种语言翻译方法、装置、计算机设备及存储介质，以解决小样本下训练得到的神经机器翻译模型对源语言的翻译准确率较低的问题。
[0006]一种语言翻译方法，所述方法包括：
[0007]获取到经过预热的语言翻译模型，所述语言翻译模型包括编码器和解码器；
[0008]将源语句训练样本分别输入到第一表征模型和所述编码器中，分别得到源语句表征和所述编码器每一层的隐藏表征；
[0009]将所述源语句表征分别与所述编码器每一层的隐藏表征进行第一表征融合训练，得到第一融合表征；
>[0010]将目标语句训练样本分别输入到第二表征模型和所述解码器中，分别得到目标语句表征和所述解码器每一层的隐藏表征；
[0011]根据预设的步长，将每个步长的所述目标语句表征与所述解码器每一层的隐藏表征进行第二表征融合训练，得到第二融合表征；
[0012]其中，在完成所述第一表征融合训练和所述第二表征融合训练后，得到训练好的所述语言翻译模型，所述语言翻译模型用于对待翻译语句进行语言翻译。
[0013]上述方法，可选的，所述将所述源语句表征分别与所述编码器每一层的隐藏表征进行表征融合处理，得到第一融合表征，包括：
[0014]将所述源语句表征分别与所述编码器每一层的隐藏表征进行拼接，得到第一表征键值对；
[0015]将所述第一表征键值对与所述编码器每一层的隐藏表征分别进行表征融合，得到第一融合表征。
[0016]上述方法，可选的，在所述将所述源语句表征分别与所述编码器每一层的隐藏表征进行拼接，得到表征键值对之前，还包括：
[0017]对分别与所述编码器每一层的隐藏表征进行拼接所需的所述源语句表征分别进行适应性调整，以使所述编码器每一层的隐藏表征与拼接所需的所述源语句表征的维度相同。
[0018]上述方法，可选的，所述第二表征模型包括一个前瞻掩码，所述前瞻掩码使得每个步长内的所述目标语句表征与所述解码器每一层的隐藏表征进行表征融合。
[0019]上述方法，可选的，所述获取到经过预热的语言翻译模型，包括：
[0020]将经过分词处理的源语句预热样本，输入到所述语言翻译模型的编码器进行预热训练；
[0021]将经过分词处理的目标语句预热样本，输入到所述语言翻译模型的解码器进行预热训练，得到所述经过预热的语言翻译模型。
[0022]上述方法，可选的，所述语言翻译模型的损失函数达到预设收敛后，确认得到了训练好的所述语言翻译模型。
[0023]上述方法，可选的，所述第一表征模型为基于源语言训练样本训练得到，所述第二表征模型基于目标语言训练样本训练得到。
[0024]一种语言翻译装置，包括：
[0025]模型预热单元，用于获取到经过预热的语言翻译模型，所述语言翻译模型包括编码器和解码器；
[0026]第一表征获取单元，用于将源语句分别输入到第一表征模型和所述编码器中，分别得到源语句表征和所述编码器每一层的隐藏表征；
[0027]第一表征融合单元，用于将所述源语句表征分别与所述编码器每一层的隐藏表征进行第一表征融合训练，得到第一融合表征；
[0028]第二表征获取单元，用于将目标语句分别输入到第二表征模型和所述解码器中，分别得到目标语句表征和所述解码器每一层的隐藏表征；
[0029]第二表征融合单元，用于根据预设的步长，将每个步长的所述目标语句表征与所述解码器每一层的隐藏表征进行第二表征融合训练，得到第二融合表征；
[0030]其中，在完成所述第一表征融合训练和所述第二表征融合训练后，得到训练好的所述语言翻译模型，所述语言翻译模型用于对待翻译语句进行语言翻译。
[0031]一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述一种语言翻译方法。
[0032]一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述一种语言翻译方法。
[0033]综上所述，本专利技术公开了一种语言翻译方法、装置、计算机设备及存储介质，通过源语句表征和语言翻译模型编码器每一层的隐藏表征来对该编码器进行第一表征融合训练，并通过目标语句表征和语言翻译模型解码器每一层的隐藏表征来对该解码器进行第二表征融合训练，从而完成对整个语言翻译模型的训练。可见，本专利技术中的语言翻译模型使用了源语言和目标语言，来分别对语言翻译模型中的编码器和解码器进行训练，来达到补充
上下文信息的目的，使得无需大规模的训练样本，也能够得到较好的语言翻译模型，同时能够大大提高语言翻译模型对源语言进行翻译预测的准确率，使得金融相关的合同可以得到准确翻译。
附图说明
[0034]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0035]图1是本专利技术实施例一公开的一种语言翻译方法的流程示意图；
[0036]图2是本专利技术实施例一公开的一种语言翻译方法的部分流程示意图；
[0037]图3是本专利技术实施例一公开的一种语言翻译方法的部分流程示意图；
[0038]图4是本专利技术实施例一公开的一种语言翻译方法的部分流程示意图；
[0039]图5是本专利技术实施例一公开的一种语言翻译模型的结构示意图；
[0040]图6是本专利技术实施例二公开的一种语言翻译装置的结构示意图；
[0041]图7是本专利技术实施例二公开的一种计算机设备的结构示意图。
具体实施方式
[0042]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语言翻译方法，其特征在于，所述方法包括：获取到经过预热的语言翻译模型，所述语言翻译模型包括编码器和解码器；将源语句训练样本分别输入到第一表征模型和所述编码器中，分别得到源语句表征和所述编码器每一层的隐藏表征；将所述源语句表征分别与所述编码器每一层的隐藏表征进行第一表征融合训练，得到第一融合表征；将目标语句训练样本分别输入到第二表征模型和所述解码器中，分别得到目标语句表征和所述解码器每一层的隐藏表征；根据预设的步长，将每个步长的所述目标语句表征与所述解码器每一层的隐藏表征进行第二表征融合训练，得到第二融合表征；其中，在完成所述第一表征融合训练和所述第二表征融合训练后，得到训练好的所述语言翻译模型，所述语言翻译模型用于对待翻译语句进行语言翻译。2.如权利要求1所述的语言翻译方法，其特征在于，所述将所述源语句表征分别与所述编码器每一层的隐藏表征进行表征融合处理，得到第一融合表征，包括：将所述源语句表征分别与所述编码器每一层的隐藏表征进行拼接，得到第一表征键值对；将所述第一表征键值对与所述编码器每一层的隐藏表征分别进行表征融合，得到第一融合表征。3.如权利要求2所述的语言翻译方法，其特征在于，在所述将所述源语句表征分别与所述编码器每一层的隐藏表征进行拼接，得到表征键值对之前，还包括：对分别与所述编码器每一层的隐藏表征进行拼接所需的所述源语句表征分别进行适应性调整，以使所述编码器每一层的隐藏表征与拼接所需的所述源语句表征的维度相同。4.如权利要求1所述的语言翻译方法，其特征在于，所述第二表征模型包括一个前瞻掩码，所述前瞻掩码使得每个步长内的所述目标语句表征与所述解码器每一层的隐藏表征进行表征融合。5.如权利要求1所述的语言翻译方法，其特征在于，所述获取到经过预热的语言翻译模型，包括：将经过分词处理的源语句预热样本，输入到所述...

【专利技术属性】
技术研发人员：张镛，王健宗，程宁，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：