翻译模型的质量信息获取方法、装置及计算机设备制造方法及图纸

本申请公开了一种翻译模型的质量信息获取方法、装置、计算机设备及存储介质，属于机器学习技术领域。本申请通过将样本语料输入基于神经网络的翻译模型，通过翻译模型对样本语料进行机器翻译，输出预测译文，基于样本语料、预测译文以及参考语料三者所包含的短语之间的对应关系，可以抽取在多个语种中表示相同语义的短语对，得到翻译模型的学习结果信息，该学习结果信息可以用于表示该翻译模型已学习到的多个语种短语之间的映射关系，基于该学习结果信息，生成该翻译模型的质量信息，不依赖于翻译模型的模型结构和参数进行限定，具有较高的可移植性，能够准确评估和量化出翻译模型所学习到的知识。

Quality information acquisition method, device and computer equipment of translation model

【技术实现步骤摘要】
翻译模型的质量信息获取方法、装置及计算机设备
本申请涉及机器学习
，特别涉及一种翻译模型的质量信息获取方法、装置、计算机设备及存储介质。
技术介绍
近年来，在机器翻译领域中，基于深度学习的机器翻译方法得到了极大的发展，通常可以通过神经网络等翻译模型来进行机器翻译，由于翻译模型中神经元的高维表示形式以及神经元之间复杂的非线性变换，理解翻译模型的工作机制变得非常困难，为翻译模型的训练、调试、优化等方面带来了极大挑战。目前，在探索翻译模型的可解释性方面，一方面，可以探索模型自身的可解释性，例如，通过分析神经元的中间表示相邻的语言学特性，探索特定神经元在预测过程中扮演的角色，另一方面，可以探索模型行为的可解释性，例如，通过修改模型的输入来观察模型的输出有何改变，得到输入对于输出的贡献度。在上述过程中，不管是探索模型自身的可解释性，还是探索模型行为的可解释性，较为依赖于具体的模型结构和参数，可移植性较差，而且上述两种方法均不能用来衡量翻译模型所学习到的知识，因此，亟需一种具有较高可移植性的、能够准确评估和量化翻译模型所学习到的知识的质量信息获取方法。
技术实现思路
本申请实施例提供了一种翻译模型的质量信息获取方法、装置、计算机设备及存储介质，能够准确评估和量化翻译模型所学习到的知识且具有较高的可移植性。该技术方案如下：一方面，提供了一种翻译模型的质量信息获取方法，该方法包括：将至少一个语料对中的至少一个样本语料输入至基于神经网络的翻译模型，通过所述翻译模型对所述至少一个样本语料进行机器翻译，得到至少一个预测译文，其中，一个语料对包括一个样本语料以及作为所述样本语料的翻译结果的参考语料；基于所述至少一个样本语料、所述至少一个预测译文以及至少一个参考语料所包含的短语之间的对应关系，抽取在多个语种中表示相同语义的至少一个短语对，得到所述翻译模型的学习结果信息，所述学习结果信息用于表示所述翻译模型已学习到的多个语种短语之间的映射关系；基于所述学习结果信息，生成所述翻译模型的质量信息。一方面，提供了一种翻译模型的质量信息获取装置，该装置包括：翻译模块，用于将至少一个语料对中的至少一个样本语料输入至基于神经网络的翻译模型，通过所述翻译模型对所述至少一个样本语料进行机器翻译，得到至少一个预测译文，其中，一个语料对包括一个样本语料以及作为所述样本语料的翻译结果的参考语料；抽取模块，用于基于所述至少一个样本语料、所述至少一个预测译文以及至少一个参考语料所包含的短语之间的对应关系，抽取在多个语种中表示相同语义的至少一个短语对，得到所述翻译模型的学习结果信息，所述学习结果信息用于表示所述翻译模型已学习到的多个语种短语之间的映射关系；生成模块，用于基于所述学习结果信息，生成所述翻译模型的质量信息。在一种可能实施方式中，所述质量信息为质量分数，所述装置还包括：训练模块，用于响应于所述翻译模型的质量分数小于分数阈值，对所述翻译模型进行迭代训练，直到得到质量分数大于或等于所述分数阈值的目标翻译模型。一方面，提供了一种计算机设备，该计算机设备包括一个或多个处理器和一个或多个存储器，该一个或多个存储器中存储有至少一条程序代码，该至少一条程序代码由该一个或多个处理器加载并执行以实现如上述任一种可能实现方式的翻译模型的质量信息获取方法所执行的操作。一方面，提供了一种存储介质，该存储介质中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行以实现如上述任一种可能实现方式的翻译模型的质量信息获取方法所执行的操作。本申请实施例提供的技术方案带来的有益效果至少包括：通过将样本语料输入基于神经网络的翻译模型，通过翻译模型对样本语料进行机器翻译，输出预测译文，基于样本语料、预测译文以及参考语料三者所包含的短语之间的对应关系，通过对比样本语料所对应的预测译文以及参考语料所包含的短语是否一致，可以抽取出在多个语种中表示相同语义的短语对，得到翻译模型的学习结果信息，当预测译文和参考语料之间对应短语相一致时，说明翻译模型学习到了如何对这一短语进行翻译，反之，说明翻译模型未学习到如何对这一短语进行翻译，因此该学习结果信息可以用于表示该翻译模型已学习到的多个语种短语之间的映射关系，从而基于该学习结果信息，生成该翻译模型的质量信息，基于这种方式所获得的质量信息，由于不对翻译模型的模型结构和参数进行限定，那么针对任何的翻译模型均能够适用，具有较高的可移植性，此外，由于学习结果信息可以表示出已学到的多个语种短语之间的映射关系，那么就能够通过学习结果信息准确评估和量化出翻译模型所学习到的知识。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例提供的一种翻译模型的质量信息获取方法的实施环境示意图；图2是本申请实施例提供的一种翻译模型的质量信息获取方法的流程图；图3是本申请实施例提供的一种翻译模型的学习结果信息抽取方法的原理图；图4是本申请实施例提供的一种量化指标与性能曲线的对比图；图5是本申请实施例提供的一种翻译模型的质量信息获取装置的结构示意图；图6是本申请实施例提供的一种计算机设备的结构示意图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。本申请中术语“至少一个”是指一个或多个，“多个”的含义是指两个或两个以上，例如，多个第一位置是指两个或两个以上的第一位置。人工智能（ArtificialIntelligence，AI）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括音频处理技术、计算机视觉技术、自然语言处理技术以及机器学习/深度学习等几大方向。让计算机能听、能看、能说、能感觉，是未来人机交互的发展方向，其中，自然语言处理（NatureLanguageProcessing，本文档来自技高网...

【技术保护点】
1.一种翻译模型的质量信息获取方法，其特征在于，所述方法包括：/n将至少一个语料对中的至少一个样本语料输入至基于神经网络的翻译模型，通过所述翻译模型对所述至少一个样本语料进行机器翻译，得到至少一个预测译文，其中，一个语料对包括一个样本语料以及作为所述样本语料的翻译结果的参考语料；/n基于所述至少一个样本语料、所述至少一个预测译文以及至少一个参考语料所包含的短语之间的对应关系，抽取在多个语种中表示相同语义的至少一个短语对，得到所述翻译模型的学习结果信息，所述学习结果信息用于表示所述翻译模型已学习到的多个语种短语之间的映射关系；/n基于所述学习结果信息，生成所述翻译模型的质量信息。/n

【技术特征摘要】
1.一种翻译模型的质量信息获取方法，其特征在于，所述方法包括：
将至少一个语料对中的至少一个样本语料输入至基于神经网络的翻译模型，通过所述翻译模型对所述至少一个样本语料进行机器翻译，得到至少一个预测译文，其中，一个语料对包括一个样本语料以及作为所述样本语料的翻译结果的参考语料；
基于所述至少一个样本语料、所述至少一个预测译文以及至少一个参考语料所包含的短语之间的对应关系，抽取在多个语种中表示相同语义的至少一个短语对，得到所述翻译模型的学习结果信息，所述学习结果信息用于表示所述翻译模型已学习到的多个语种短语之间的映射关系；
基于所述学习结果信息，生成所述翻译模型的质量信息。


2.根据权利要求1所述的方法，其特征在于，所述基于所述至少一个样本语料、所述至少一个预测译文以及至少一个参考语料所包含的短语之间的对应关系，抽取在多个语种中表示相同语义的至少一个短语对，得到所述翻译模型的学习结果信息包括：
对任一样本语料所包含的任一短语，响应于与所述样本语料的短语所对应的预测译文的短语与参考语料的短语相一致，将所述样本语料的短语和所述预测译文的短语抽取为一个短语对；
重复执行抽取短语对的操作，将得到的至少一个短语对确定为所述学习结果信息。


3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
对任一样本语料所包含的任一短语，响应于与所述样本语料的短语所对应的预测译文的短语与参考语料的短语不一致，将所述预测译文的短语中与所述参考语料的短语中不一致的字符替换为掩码，删除包含掩码的短语所构成的短语对。


4.根据权利要求2所述的方法，其特征在于，所述响应于与所述样本语料的短语所对应的预测译文的短语与参考语料的短语相一致，将所述样本语料的短语和所述预测译文的短语抽取为一个短语对之前，所述方法还包括：
获取所述样本语料分别与所述预测译文以及所述参考语料之间的词对齐信息，所述词对齐信息是指将所述样本语料中的字符对应翻译至所述预测译文或者所述参考语料中的字符；
基于所述词对齐信息，确定所述样本语料的短语分别与所述预测译文的短语以及所述参考语料的短语之间的对应关系。


5.根据权利要求2所述的方法，其特征在于，所述将得到的至少一个短语对确定为所述学习结果信息之前，所述方法还包括：
基于词频、正向翻译概率或者反向翻译概率中至少一项，对所述至少一个短语对进行数据筛选。


6.根据权利要求1所述的方法，其特征在于，所述基于所述学习结果信息，生成所述翻译模型的质量信息包括：
获取所述学习结果信息中所包含的映射关系数目、数据重构率或者翻译质量中至少一项，所述数据重构率用于表示所述翻译模型对样本语料翻译得到的预测译文与参考语料相一致的比例，所述翻译质量为基于所述学习结果信息的双语评估研究值进行映射所得的数值；
基于所述映射关系数目、所述数据重构率或者所述翻译质量中至少一项，生成所述翻译模型的质量信息。


7.根据权利要求1所述的方法，其特征在于，所述质量信息为质量分数，所述基于所述学习结果信息，生成所述翻译模型的质量信息之后，所述方法还包括：
响应于所述翻译模型的质量分数小于分数阈值，对所述翻译模型进行迭代训练，直到得到质量分数大于或等于所...

【专利技术属性】
技术研发人员：王星，何世林，涂兆鹏，史树明，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44