用于机器翻译的方法、设备和介质技术

本公开涉及用于机器翻译的方法、设备和介质。根据本公开的一些实施例的用于机器翻译的方法，包括：获取包括用于训练的源语言句子和用于训练的目标语言句子的原训练数据；将与所述用于训练的源语言句子相关的双语短语提示串接至所述用于训练的源语言句子，以生成具有双语短语提示的新训练数据，其中，所述双语短语提示包括一个或多个双语短语，每个双语短语包括源语言短语和对应目标语言短语；至少利用具有双语短语提示的新训练数据对机器翻译模型进行预训练。型进行预训练。型进行预训练。

【技术实现步骤摘要】
用于机器翻译的方法、设备和介质


[0001]本公开涉及用于机器翻译的方法、设备和介质。

技术介绍

[0002]预训练模型(PTM，pre
‑
trained model)显著推进了自然语言处理。近年来，基于提示的学习已经成为用于使PTM适应具体任务的颇具吸引力的方法。利用人工创建的提示或者自动创建的提示，PTM可以在不需要微调的情况下在许多下游任务中实现良好的表现。与微调和基于特征的适应不同，基于提示的学习不需要对下游任务进行额外的训练。其将下游任务制定成具有提示的语言模型填空任务。一般而言，在基于提示的学习中，利用预训练语言模型对具体任务进行预测包括3个阶段：(i)基于输入构建具有一些未填充的空隙的提示；(ii)利用预训练模型填充这些未填充的空隙；以及(iii)根据填充的空隙导出最终预测。
[0003]提示格式取决于预训练模型和下游任务。主要有两类提示：完形填空式提示，其中未填充的空隙是预定义的空格；以及前缀式提示，其中对空隙进行填充是继续利用前缀的生成过程。完形填空式提示通常用于自然语言理解任务，而前缀式提示主要用于自然语言生成任务。

技术实现思路

[0004]提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0005]根据本公开的一些实施例，提供一种用于机器翻译的方法，包括：获取包括用于训练的源语言句子和用于训练的目标语言句子的原训练数据；将与所述用于训练的源语言句子相关的双语短语提示串接至所述用于训练的源语言句子，以生成具有双语短语提示的新训练数据，其中，所述双语短语提示包括一个或多个双语短语，每个双语短语包括源语言短语和对应目标语言短语；至少利用具有双语短语提示的新训练数据对机器翻译模型进行预训练。
[0006]根据本公开的一些实施例，提供一种用于机器翻译的装置，包括：原训练数据获取单元，配置为获取包括用于训练的源语言句子和用于训练的目标语言句子的原训练数据；新训练数据生成单元，配置为将与所述用于训练的源语言句子相关的双语短语提示串接至所述用于训练的源语言句子，以生成具有双语短语提示的新训练数据，其中，所述双语短语提示包括一个或多个双语短语，每个双语短语包括源语言短语和对应目标语言短语；以及预训练单元，配置为至少利用具有双语短语提示的新训练数据对机器翻译模型进行预训练。
[0007]根据本公开的一些实施例，提供一种电子设备，包括：存储器；和耦接至所述存储器的处理器，所述存储器中存储有指令，所述指令当由所述处理器执行时使得所述处理器
执行根据本公开的实施例的方法。
[0008]根据本公开的一些实施例，提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的实施例的方法。
[0009]通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征、方面及其优点将会变得清楚。
附图说明
[0010]下面参照附图说明本公开的优选实施例。此处所说明的附图用来提供对本公开的进一步理解，各附图连同下面的具体描述一起包含在本说明书中并形成说明书的一部分，用于解释本公开。应当理解的是，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开构成限制。在附图中：
[0011]图1是示出根据本公开的实施例的用于机器翻译的方法与已有的Vanilla方法的对比的示意图；
[0012]图2是示出根据本公开的实施例的用于机器翻译的方法的流程图；
[0013]图3是示出根据本公开的实施例的从双语短语数据库中检索双语短语的方法的流程图；
[0014]图4是示出基于双语短语数据库将源语言短语翻译成目标语言短语的过程的流程图；
[0015]图5示出了根据本公开的实施例的医药领域中的英德翻译的示例；
[0016]图6是示出根据本公开的实施例的用于机器翻译的装置的框图；
[0017]图7是示出根据本公开的实施例的电子设备的框图；以及
[0018]图8是示出本公开的实施例中可采用的计算机系统的示例结构的框图。
[0019]应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不一定是按照实际的比例关系绘制的。在各附图中使用了相同或相似的附图标记来表示相同或者相似的部件。因此，一旦某一项在一个附图中被定义，则在随后的附图中可能不再对其进行进一步讨论。
具体实施方式
[0020]下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，但是显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对实施例的描述实际上也仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。
[0021]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值应被解释为仅仅是示例性的，不限制本公开的范围。
[0022]本公开中使用的术语“包括”及其变型意指至少包括后面的元件/特征、但不排除其他元件/特征的开放性术语，即“包括但不限于”。此外，本公开使用的术语“包含”及其变
型意指至少包含后面的元件/特征、但不排除其他元件/特征的开放性术语，即“包含但不限于”。因此，包括与包含是同义的。术语“基于”意指“至少部分地基于”。
[0023]整个说明书中所称“一个实施例”、“一些实施例”或“实施例”意味着与实施例结合描述的特定的特征、结构或特性被包括在本公开的至少一个实施例中。例如，术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。而且，短语“在一个实施例中”、“在一些实施例中”或“在实施例中”在整个说明书中各个地方的出现不一定全都指的是同一个实施例，但是也可以指同一个实施例。
[0024]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。除非另有指定，否则“第一”、“第二”等概念并非意图暗示如此描述的对象必须按时间上、空间上、排名上的给定顺序或任何其他方式的给定顺序。
[0025]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0026]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于机器翻译的方法，包括：获取包括用于训练的源语言句子和用于训练的目标语言句子的原训练数据；将与所述用于训练的源语言句子相关的双语短语提示串接至所述用于训练的源语言句子，以生成具有双语短语提示的新训练数据，其中，所述双语短语提示包括一个或多个双语短语，每个双语短语包括源语言短语和对应目标语言短语；至少利用具有双语短语提示的新训练数据对机器翻译模型进行预训练。2.如权利要求1所述的方法，其中，所述一个或多个双语短语由第一标记分隔，所述源语言短语和所述对应目标语言短语由第二标记分隔，所述双语短语提示和所述用于训练的源语言句子由第三标记分隔。3.如权利要求1所述的方法，还包括：从双语短语数据库中检索双语短语来构建所述双语短语提示。4.如权利要求3所述的方法，还包括：每个双语短语的源语言短语的上下文表示和该双语短语作为键值对存储在所述双语短语数据库中。5.如权利要求3所述的方法，其中，从双语短语数据库中检索双语短语包括：将双语短语数据库中的源语言短语加载到字典树中；提取源语言句子中的存在于字典树中的源语言短语；计算源语言句子中的源语言短语的上下文表示；以及基于源语言句子中的源语言短语的上下文表示从双语短语数据库中检索双语短语。6.如权利要求3所述的方法，其中，在所述双语短语数据库不是基于所述原训练数据构建的情况下，基于源语言短语的上下文表示从所述双语短语数据库中检索最相似的双语短语，以及在所述双语短语数据库是基于所述原训练数据构建的情况下，基于源语言短语的上下文表示从所述双语短语数据库中检索第二相似的双语短语。7.如权利要求1所述的方法，其中，所述机器翻译模型是编码器
‑
解码器模型。8.如权利要求1所述的方法，其中，至少利用具有双语短语提示的新训练数据对机器翻译模型进行预训练包括：利用原训练数据和具有双语短语提示的新训练数据二者对机器翻译模型进行预训练。9.如权利要求1所述的方法，还包括：接收...

【专利技术属性】
技术研发人员：王明轩，蒋庆男，孙泽维，曹军，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：