数据增强模型训练方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种数据增强模型训练方法、装置、电子设备及存储介质，涉及数据处理技术领域。该方法包括：获取样本数据，其中，所述样本数据包括：多个句子；在基于预先构建的特征向量模型生成每个句子的句子向量时，对每个句子执行两次Dropout处理，得到每个句子对应的两个句子向量；根据每个句子对应的两个句子向量，构建正样本对数据和负样本对数据；利用构建的正样本对数据和负样本对数据，训练得到数据增强模型，以对待增强的数据进行增强。本公开利用训练好的数据增强模型对各种模型训练样本数据进行增强，能够使得利用增强后训练样本数据训练的模型更加准确。本数据训练的模型更加准确。本数据训练的模型更加准确。

【技术实现步骤摘要】
数据增强模型训练方法、装置、电子设备及存储介质


[0001]本公开涉及数据处理
，尤其涉及一种数据增强模型训练方法、装置、电子设备及存储介质。

技术介绍

[0002]在智能客服机器人的建设中，通常要基于预先通过机器学习训练得到的语义匹配模型对问题与答案进行匹配。而语义匹配模型的训练，需要大量训练样本数据。目前，相关技术中，往往依靠人工标注的方式获得用于语义匹配模型训练的样本数据。这种方式，不仅耗时耗力，而且得到的样本数据质量一般、数量也相对较少。因而，如何提供一种数据增强模型，以对各种模型训练的样本数据进行增强，是亟待解决的技术问题。
[0003]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0004]本公开提供一种数据增强模型训练方法、装置、电子设备及存储介质，至少在一定程度上克服相关技术中难以获得质量较高、数量较多的模型训练样本数据的技术问题。
[0005]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0006]根据本公开的一个方面，提供一种数据增强模型训练方法，该方法包括：获取样本数据，其中，所述样本数据包括：多个句子；在基于预先构建的特征向量模型生成每个句子的句子向量时，对每个句子执行两次Dropout处理，得到每个句子对应的两个句子向量；根据每个句子对应的两个句子向量，构建正样本对数据和负样本对数据；利用构建的正样本对数据和负样本对数据，训练得到数据增强模型，其中，数据增强模型用于对待增强的数据进行增强。
[0007]在一些实施例中，所述根据每个句子对应的两个句子向量，构建正样本对数据和负样本对数据包括：将同一句子的两个句子向量作为一个正样本对，生成正样本对数据；将不同句子的两个句子向量作为一个负样本对，生成负样本对数据。
[0008]在一些实施例中，所述方法还包括：采用单词重复的方式，对正样本对数据进行扩充。
[0009]在一些实施例中，所述方法还包括：采用动量对比学习的方式，对负样本对数据进行扩充。
[0010]在一些实施例中，所述利用构建的正样本对数据和负样本对数据，训练得到数据增强模型，其中，数据增强模型用于对待增强的数据进行增强包括：对所述正样本对数据和所述负样本对数据进行预处理，得到满足BERT模型输入格式的样本数据；利用所述满足BERT模型输入格式的样本数据，对BERT模型进行训练，得到所述数据增强模型。
[0011]在一些实施例中，在对所述正样本对数据和所述负样本对数据进行预处理，得到
满足BERT模型输入格式的样本数据之前，所述方法还包括：构建一个语料迭代器，其中，所述语料迭代器用于按照不同批次对所述正样本对数据和所述负样本对数据进行预处理。
[0012]在一些实施例中，所述待增强的数据为用于训练语义匹配模型的样本数据。
[0013]根据本公开的另一个方面，还提供了一种数据增强模型训练装置，该装置包括：样本数据获取模块，用于获取样本数据，其中，所述样本数据包括：多个句子；句子向量生成模块，用于在基于预先构建的特征向量模型生成每个句子的句子向量时，对每个句子执行两次Dropout处理，得到每个句子对应的两个句子向量；正负样本构建模块，用于根据每个句子对应的两个句子向量，构建正样本对数据和负样本对数据；数据增强模型训练模块，用于利用构建的正样本对数据和负样本对数据，训练得到数据增强模型，其中，数据增强模型用于对待增强的数据进行增强。
[0014]在一些实施例中，所述正负样本构建模块还用于：将同一句子的两个句子向量作为一个正样本对，生成正样本对数据；将不同句子的两个句子向量作为一个负样本对，生成负样本对数据。
[0015]在一些实施例中，所述装置还包括：正样本数据调整模块，用于采用单词重复的方式，对正样本对数据进行扩充。
[0016]在一些实施例中，所述装置还包括：负样本数据调整模块，用于采用动量对比学习的方式，对负样本对数据进行扩充。
[0017]在一些实施例中，所述数据增强模型训练模块还用于：对所述正样本对数据和所述负样本对数据进行预处理，得到满足BERT模型输入格式的样本数据；利用所述满足BERT模型输入格式的样本数据，对BERT模型进行训练，得到所述数据增强模型。
[0018]在一些实施例中，所述数据增强模型训练模块还用于：构建一个语料迭代器，其中，所述语料迭代器用于按照不同批次对所述正样本对数据和所述负样本对数据进行预处理。
[0019]在一些实施例中，所述待增强的数据为用于训练语义匹配模型的样本数据。
[0020]根据本公开的另一个方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的数据增强模型训练方法。
[0021]根据本公开的另一个方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的数据增强模型训练方法。
[0022]本公开的实施例所提供的数据增强模型训练方法、装置、电子设备及存储介质，在基于预先构建的特征向量模型，生成每个句子的句子向量时，对每个句子执行两次Dropout处理，得到每个句子对应的两个句子向量，进而根据每个句子对应的两个句子向量，构建正样本对数据和负样本对数据，以训练得到一个对数据进行增强的数据增强模型。通过本公开实施例中提供的数据增强模型，对各种模型训练样本数据进行增强，能够使得利用增强后训练样本数据训练得到的模型更加准确。将本公开实施例中得到的数据增强模型应用于语义匹配模型训练样本数据的增强，能够获得更加准确的语义匹配模型，以便应用于智能客服机器人等语义匹配任务领域。
[0023]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不
能限制本公开。
附图说明
[0024]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0025]图1示出本公开实施例中一种数据增强模型训练方法流程图；
[0026]图2示出本公开实施例中一种对正样本对数据进行扩充的流程图；
[0027]图3示出本公开实施例中一种对负样本对数据进行扩充的流程图；
[0028]图4示出本公开实施例中一种数据增强模型的训练流程图；
[0029]图5示出本公开实施例中一种对问题数据进行增强的结果示意图；
[0030]图6示出本公开实施例中一种数据增强模型训练装置示意图；
[0031]图7示出本公开实施例中一种电子设备的结构框图。
具体实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据增强模型训练方法，其特征在于，包括：获取样本数据，其中，所述样本数据包括：多个句子；在基于预先构建的特征向量模型生成每个句子的句子向量时，对每个句子执行两次Dropout处理，得到每个句子对应的两个句子向量；根据每个句子对应的两个句子向量，构建正样本对数据和负样本对数据；利用构建的正样本对数据和负样本对数据，训练得到数据增强模型。2.根据权利要求1所述的数据增强模型训练方法，其特征在于，所述数据增强模型用于对待增强的数据进行增强。3.根据权利要求1所述的数据增强模型训练方法，其特征在于，所述根据每个句子对应的两个句子向量，构建正样本对数据和负样本对数据包括：将同一句子的两个句子向量作为一个正样本对，生成正样本对数据；将不同句子的两个句子向量作为一个负样本对，生成负样本对数据。4.根据权利要求1所述的数据增强模型训练方法，其特征在于，所述方法还包括：采用单词重复的方式，对正样本对数据进行扩充。5.根据权利要求1所述的数据增强模型训练方法，其特征在于，所述方法还包括：采用动量对比学习的方式，对负样本对数据进行扩充。6.根据权利要求1所述的数据增强模型训练方法，其特征在于，所述利用构建的正样本对数据和负样本对数据，训练得到数据增强模型包括：对所述正样本对数据和所述负样本对数据进行预处理，得到满足BERT模型输入格式的样本数据；利用所...

【专利技术属性】
技术研发人员：杨正良，刘设伟，
申请(专利权)人：泰康在线财产保险股份有限公司，
类型：发明
国别省市：