语言模型预训练方法和装置制造方法及图纸

本申请公开了语言模型预训练方法和装置。该方法的一具体实施方式包括：获取初始语言模型，初始语言模型用于确定输入到初始语言模型的文本数据中包含的字之间的关联关系；获取训练初始语言模型的训练样本集，训练样本集中的训练样本包括样本数据、第一标注信息和第二标注信息；将样本数据作为输入，将第一标注信息作为与初始语言模型的第一输出端连接的初始去噪自编码模型的期望输出，并将第二标注信息作为与初始语言模型的第二输出端连接的初始序列到序列模型的期望输出，对初始语言模型、初始去噪自编码模型和初始序列到序列模型进行预训练，得到训练后的语言模型。该实施方式可以显示捕获文本的音韵信息，有效提升了语言模型输出文本的语义表示效果。

Language model pre training method and device

【技术实现步骤摘要】
语言模型预训练方法和装置
本申请涉及计算机
，具体涉及自然语言处理
，尤其涉及一种语言模型预训练方法和装置。
技术介绍
现有技术中，NLP(NaturalLanguageProcessing，自然语言处理)领域中目前最先进的语言表征模型是BERT(BidirectionalEncoderRepresentationsfromTransformers，源于Transformers的双向编码器)，其是一个多层TransformerEncoder模型，该模型通过在大量自然文本上优化两个自监督任务:1)字符级去噪自编码任务(将输入端随机掩码的字符，还原为原始输入字符),2)句子连贯性预测任务(预测两句是否是连贯)学习自然文本的语言表征。
技术实现思路
本申请实施例提出了语言模型预训练方法和装置。第一方面，本申请提供了一种语言模型预训练方法，该方法包括：获取初始语言模型，初始语言模型用于确定输入到初始语言模型的文本数据中包含的字之间的关联关系；获取训练初始语言模型的训练样本集，训练样本集中的训练样本包括样本数据、第一标注信息和第二标注信息；将样本数据作为输入，将第一标注信息作为与初始语言模型的第一输出端连接的初始去噪自编码模型的期望输出，并将第二标注信息作为与初始语言模型的第二输出端连接的初始序列到序列模型的期望输出，对初始语言模型、初始去噪自编码模型和初始序列到序列模型进行预训练，得到训练后的语言模型；其中，训练样本的样本数据包括遮蔽后的原始文本和原始文本音韵信息，训练样本的第一标注信息为所述原始文本中的遮蔽字或词，训练样本的第二标注信息为原始文本音韵信息。在一些实施例中，样本数据通过以下方式得到：获取原始文本和原始文本音韵信息；随机遮蔽原始文本中的字或词，得到遮蔽后的原始文本；连接遮蔽后的原始文本和原始文本音韵信息，得到样本数据。在一些实施例中，初始语言模型包括：字符编码器和基于BERT机制构建的语言模型，其中，字符编码器用于将输入数据中的每个字转换成对应的字向量，并将字向量、每个字所在的句子向量以及每个字的位置向量进行相加，得到基于BERT机制构建的语言模型的输入向量。在一些实施例中，音韵信息包括音韵停顿信息、音子信息和音调信息。在一些实施例中，对初始语言模型、初始去噪自编码模型和初始序列到序列模型进行预训练，得到训练后的语言模型，包括如下的交替训练步骤：将样本数据作为输入，将该样本数据的第一标注信息作为当前去噪自编码模型的期望输出，对当前去噪自编码模型和当前语言模型进行训练；响应于当前去噪自编码模型和当前语言模型满足预先设置的第一收敛条件，将样本数据作为输入，将该样本数据的第二标注信息作为当前序列到序列模型的期望输出，对当前序列到序列模型和当前语言模型进行训练；响应于当前序列到序列模型和当前语言模型满足预先设置的第二收敛条件，判断当前去噪自编码模型和当前语言模型是否满足预先设置的第一收敛条件，若不满足，则重新执行所述交替训练步骤。第二方面，本申请提供了一种语言模型预训练装置，该装置包括：确定模块，配置用于获取初始语言模型，初始语言模型用于确定输入到初始语言模型的文本数据中包含的字之间的关联关系；获取模块，配置用于获取训练初始语言模型的训练样本集，训练样本集中的训练样本包括样本数据、第一标注信息和第二标注信息；训练模块，配置用于将样本数据作为输入，将第一标注信息作为与初始语言模型的第一输出端连接的初始去噪自编码模型的期望输出，并将第二标注信息作为与所述初始语言模型的第二输出端连接的初始序列到序列模型的期望输出，对初始语言模型、初始去噪自编码模型和初始序列到序列模型进行预训练，得到训练后的语言模型；其中，训练样本的样本数据包括遮蔽后的原始文本和原始文本音韵信息，训练样本的第一标注信息为所述原始文本中的遮蔽字或词，训练样本的第二标注信息为原始文本音韵信息。在一些实施例中，样本数据通过以下方式得到：获取原始文本和原始文本音韵信息；随机遮蔽原始文本中的字或词，得到遮蔽后的原始文本；连接遮蔽后的原始文本和原始文本音韵信息，得到样本数据。在一些实施例中，初始语言模型包括：字符编码器和基于BERT机制构建的语言模型，其中，字符编码器用于将输入数据中的每个字转换成对应的字向量，并将字向量、每个字所在的句子向量以及每个字的位置向量进行相加，得到基于BERT机制构建的语言模型的输入向量。在一些实施例中，音韵信息包括音韵停顿信息、音子信息和音调信息。在一些实施例中，训练模块进一步包括如下的交替训练步骤：将样本数据作为输入，将该样本数据的第一标注信息作为当前去噪自编码模型的期望输出，对当前去噪自编码模型和当前语言模型进行训练；响应于当前去噪自编码模型和当前语言模型满足预先设置的第一收敛条件，将样本数据作为输入，将该样本数据的第二标注信息作为当前序列到序列模型的期望输出，对当前序列到序列模型和当前语言模型进行训练；响应于当前序列到序列模型和当前语言模型满足预先设置的第二收敛条件，判断当前去噪自编码模型和当前语言模型是否满足预先设置的第一收敛条件，若不满足，则重新执行所述交替训练步骤。第三方面，本申请提供了一种电子设备，该电子设备包括一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被该一个或多个处理器执行，使得一个或多个处理器实现语言模型预训练方法。第四方面，本申请提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现语言模型预训练方法。本申请提供的语言模型预训练方法和装置，通过获取初始语言模型，初始语言模型用于确定输入到初始语言模型的文本数据中包含的字之间的关联关系；获取训练初始语言模型的训练样本集，训练样本集中的训练样本包括样本数据、第一标注信息和第二标注信息；将样本数据作为输入，将第一标注信息作为与初始语言模型的第一输出端连接的初始去噪自编码模型的期望输出，并将第二标注信息作为与初始语言模型的第二输出端连接的初始序列到序列模型的期望输出，对初始语言模型、初始去噪自编码模型和初始序列到序列模型进行预训练，得到训练后的语言模型；其中，训练样本的样本数据包括遮蔽后的原始文本和原始文本音韵信息，训练样本的第一标注信息为所述原始文本中的遮蔽字或词，训练样本的第二标注信息为原始文本音韵信息，使得训练后的语言模型可以显示捕获文本的音韵信息，有效提升了语言模型输出文本的语义表示效果。附图说明图1是本申请可以应用于其中的示例性系统架构图；图2是根据本申请的语言模型预训练方法的一个实施例的流程图；图3是根据本申请的语言模型预训练方法的一个应用场景的示意图；图4是根据本申请的语言模型预训练方法的又一个实施例的流程图；图5是根据本申请的语言模型预训练装置的一个实施例的示意图；图6是适于用来实现本申请实施例的服务器的计算机系统的结构示意图。具体实施方式下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施本文档来自技高网...

【技术保护点】
1.一种语言模型预训练方法，所述方法包括：/n获取初始语言模型，所述初始语言模型用于确定输入到所述初始语言模型的文本数据中包含的字之间的关联关系；/n获取训练初始语言模型的训练样本集，所述训练样本集中的训练样本包括样本数据、第一标注信息和第二标注信息；/n将所述样本数据作为输入，将第一标注信息作为与所述初始语言模型的第一输出端连接的初始去噪自编码模型的期望输出，并将第二标注信息作为与所述初始语言模型的第二输出端连接的初始序列到序列模型的期望输出，对所述初始语言模型、所述初始去噪自编码模型和所述初始序列到序列模型进行预训练，得到训练后的语言模型；/n其中，所述训练样本的样本数据包括遮蔽后的原始文本和所述原始文本音韵信息，所述训练样本的第一标注信息为所述原始文本中的遮蔽字或词，所述训练样本的第二标注信息为所述原始文本音韵信息。/n

【技术特征摘要】
1.一种语言模型预训练方法，所述方法包括：
获取初始语言模型，所述初始语言模型用于确定输入到所述初始语言模型的文本数据中包含的字之间的关联关系；
获取训练初始语言模型的训练样本集，所述训练样本集中的训练样本包括样本数据、第一标注信息和第二标注信息；
将所述样本数据作为输入，将第一标注信息作为与所述初始语言模型的第一输出端连接的初始去噪自编码模型的期望输出，并将第二标注信息作为与所述初始语言模型的第二输出端连接的初始序列到序列模型的期望输出，对所述初始语言模型、所述初始去噪自编码模型和所述初始序列到序列模型进行预训练，得到训练后的语言模型；
其中，所述训练样本的样本数据包括遮蔽后的原始文本和所述原始文本音韵信息，所述训练样本的第一标注信息为所述原始文本中的遮蔽字或词，所述训练样本的第二标注信息为所述原始文本音韵信息。


2.根据权利要求1所述的方法，所述样本数据通过以下方式得到：
获取原始文本和原始文本音韵信息；
随机遮蔽原始文本中的字或词，得到遮蔽后的原始文本；
连接所述遮蔽后的原始文本和原始文本音韵信息，得到样本数据。


3.根据权利要求1或2任一所述的方法，所述初始语言模型包括：字符编码器和基于BERT机制构建的语言模型，其中，所述字符编码器用于将输入数据中的每个字转换成对应的字向量，并将所述字向量、每个字所在的句子向量以及每个字的位置向量进行相加，得到所述基于BERT机制构建的语言模型的输入向量。


4.根据权利要求1-3任一所述的方法，所述音韵信息包括音韵停顿信息、音子信息和音调信息。


5.根据权利要求1-4任一所述的方法，所述对所述初始语言模型、所述初始去噪自编码模型和所述初始序列到序列模型进行预训练，得到训练后的语言模型，包括如下的交替训练步骤：
将样本数据作为输入，将该样本数据的第一标注信息作为当前去噪自编码模型的期望输出，对当前去噪自编码模型和当前语言模型进行训练；
响应于当前去噪自编码模型和当前语言模型满足预先设置的第一收敛条件，将样本数据作为输入，将该样本数据的第二标注信息作为当前序列到序列模型的期望输出，对当前序列到序列模型和当前语言模型进行训练；
响应于当前序列到序列模型和当前语言模型满足预先设置的第二收敛条件，判断当前去噪自编码模型和当前语言模型是否满足预先设置的第一收敛条件，若不满足，则重新执行所述交替训练步骤。


6.一种语言模型预训练装置，所述装置包括：
确定模块，配置用于获取初始语言模型，所述初始语言模型用于确定输入到所述初始语言模型的文本数据中包含的字之间...

【专利技术属性】
技术研发人员：王毅，白洁，陈昌滨，潘政林，聂志朋，高占杰，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京;11