本申请实施例提供了一种模型训练的方法及相关装置。上述方法包括：从待处理数据集中获取待训练样本，使用第一模型获得用于表示上述待训练样本的向量，上述待处理数据集包含的样本包括正样本和负样本；在上述待训练样本为正样本的情况下，将上述表示上述待训练样本的向量输入第二模型生成用于表示上述待训练样本的对抗样本的向量；将上述用于表示上述待训练样本的对抗样本的向量输入第三模型，得到输出值；根据上述输出值确定上述第一模型，上述第二模型和上述第三模型收敛。本申请所提供的方法和装置，通过改进模型训练中样本的生成方法，提高模型训练的难度，从而增强模型的鲁棒性。性。性。
【技术实现步骤摘要】
一种模型训练的方法及相关装置
[0001]本专利技术实施例涉及信息检索领域，具体涉及一种基于对抗的模型训练的方法及相关装置。
技术介绍
[0002]文本匹配是信息检索领域的核心问题。文本匹配可以归结为查询项和文档的匹配，即通过文本匹配模型对查询项和文档给出匹配分数，匹配分数越高，查询项与文档的相关性越强。
[0003]基于BM25(一种用来评价搜索词和文档之间相关性的算法)的文本匹配模型只能在查询项和文档具有重复词的情况下对两者进行匹配；基于深度学习的文本匹配模型则可以将语义相似的词或词组进行匹配。深度学习模型本身参数量大，需要大量数据对模型进行充分训练，对上述基于深度学习的文本匹配模型构建样本进行训练时，正样本为用户真实点击的文档，负样本为所有文档中随机抽取的文档；但是，随着上述负样本数量的增加，上述基于深度学习的文本匹配模型对查询项和相对应的真实文档之间的语义理解能力下降，对相似的文档给出的匹配分数差别大，即模型的鲁棒性降低。
技术实现思路
[0004]本申请实施例公开了一种模型训练的方法及相关装置，通过改进模型训练中样本的生成方法，提高模型训练的难度，从而增强模型的鲁棒性。
[0005]第一方面，本申请实例公开了一种模型训练的方法，包括：
[0006]获取待处理数据集，上述待处理数据集包含的样本包括正样本和负样本；
[0007]从上述待处理数据集中获取待训练样本，使用第一模型获得用于表示上述待训练样本的向量；
[0008]在上述待训练样本为正样本的情况下，将上述表示上述待训练样本的向量输入第二模型生成用于表示上述待训练样本的对抗样本的向量；
[0009]将上述用于表示上述待训练样本的对抗样本的向量输入第三模型，得到输出值；
[0010]根据上述输出值确定上述待训练样本的分损失值，计算上述待处理数据集中所有样本的分损失值求和，得到总损失值；
[0011]在前后两次获得的总损失值之间的差值小于阈值的情况下，确定上述第一模型，上述第二模型和上述第三模型收敛。
[0012]本申请实施例中，由第三模型输出的值都统一称为输出值，根据上述输出值确定的分损失值都统一称为上述待训练样本的分损失值，不特殊区分上述待处理数据集中样本是否经过对抗样本的生成处理。
[0013]在第一方面的又一种可能的实施方式中，上述方法还包括：
[0014]将上述对抗样本标记为上述待处理数据集的负样本。
[0015]在第一方面的又一种可能的实施方式中，上述在上述待训练样本为正样本的情况
下，将上述表示上述待训练样本的向量输入第二模型生成用于表示上述待训练样本的对抗样本的向量，包括：
[0016]在上述待训练样本为正样本的情况下，对服从伯努利分布的随机变量抽取参考值，所述伯努利分布服从的参数小于第二阈值；
[0017]在上述参考值为1的情况下，将上述表示上述待训练样本的向量输入第二模型生成用于表示上述待训练样本的对抗样本的向量。
[0018]在第一方面的又一种可能的实施方式中，上述方法还包括：
[0019]在上述参考值为0的情况下，将上述表示上述待训练样本的向量输入第三模型，得到输出值。
[0020]在第一方面的又一种可能的实施方式中，上述方法还包括：
[0021]在上述待训练样本为负样本的情况下，将上述用于表示上述待训练样本的向量输入第三模型，得到输出值。
[0022]在第一方面的又一种可能的实施方式中，上述待训练样本包含查询项和文档项；
[0023]上述表示上述待训练样本的向量包括：上述查询项对应的向量，以及上述文档项对应的向量；
[0024]上述第一模型包括循环神经网络模型，上述第二模型包括变分编解码模型，上述第三模型包括深度神经网络模型。
[0025]在第一方面的又一种可能的实施方式中，上述用第一模型获得用于表示上述待训练样本的向量，包括：
[0026]将上述查询项和上述文档项输入循环神经网络模型得到上述查询项对应的向量作为第三向量，以及得到上述文档项对应的向量作为第四向量。
[0027]在第一方面的又一种可能的实施方式中，上述将上述用于表示上述待训练样本的向量输入第三模型，得到输出值，包括：
[0028]将上述第三向量和上述第四向量合并得到第五向量，将上述第五向量输入深度卷积模型得到向量作为输出值。
[0029]在第一方面的又一种可能的实施方式中，上述用于表示上述待训练样本的对抗样本的向量包括上述第三向量，以及表示上述待训练样本对应的对抗文档的向量。
[0030]在第一方面的又一种可能的实施方式中，上述将上述用于表示上述待训练样本的对抗样本的向量输入第三模型，得到输出值，包括：
[0031]将上述第三向量和上述表示上述待训练样本对应的对抗文档的向量合并得到第六向量，将上述第六向量输入第三模型得到的向量作为输出值。
[0032]在第一方面的又一种可能的实施方式中，上述根据上述输出值确定上述待训练样本的分损失值，计算上述待处理数据集中所有样本的分损失值求和，得到总损失值，包括：
[0033]将上述输出值对应的向量作为第一向量，将上述待训练样本的标签进行独热编码得到第二向量，上述第一向量与上述二向量的向量维数相同；
[0034]将上述第一向量与上述第二向量中相同维数的值相乘再相加，得到上述待训练样本的分损失值；
[0035]计算上述待处理数据集中所有样本的分损失值求和，得到总损失值。
[0036]第二方面，本申请实施例公开了一种模型训练的装置，包括：
[0037]获取单元，用于获取待处理数据集，从上述待处理数据集中获取待训练样本，使用第一模型获得用于表示上述待训练样本的向量，上述待处理数据集包含的样本包括正样本和负样本；
[0038]处理单元，用于在上述待训练样本为正样本的情况下，将上述表示上述待训练样本的向量输入第二模型生成用于表示上述待训练样本的对抗样本的向量；将上述用于表示上述待训练样本的对抗样本的向量输入第三模型，得到输出值；
[0039]计算单元，用于根据上述输出值确定上述待训练样本的分损失值，计算上述待处理数据集中所有样本的分损失值求和，得到总损失值；
[0040]确定单元，用于在前后两次获得的总损失值之间的差值小于阈值的情况下，确定上述第一模型，上述第二模型和上述第三模型收敛。
[0041]在第二方面的又一种可能的实施方式中，上述装置还包括：
[0042]标记单元，用于将上述对抗样本标记为上述待处理数据集的负样本。
[0043]在第二方面的又一种可能的实施方式中，上述处理单元，还用于在上述待训练样本为正样本的情况下，对服从伯努利分布的随机变量抽取参考值，所述伯努利分布服从的参数小于第二阈值；在上述参考值为1的情况下，将上述表示上述待训练样本的向量输入第二模型生成用于表示上述待训练样本的对抗样本的向量。
[0044]在第二方面的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种模型训练的方法，其特征在于，包括：获取待处理数据集，所述待处理数据集包含的样本包括正样本和负样本；从所述待处理数据集中获取待训练样本，使用第一模型获得用于表示所述待训练样本的向量；在所述待训练样本为正样本的情况下，将所述表示所述待训练样本的向量输入第二模型生成用于表示所述待训练样本的对抗样本的向量；将所述用于表示所述待训练样本的对抗样本的向量输入第三模型，得到输出值；根据所述输出值确定所述待训练样本的分损失值，计算所述待处理数据集中所有样本的分损失值求和，得到总损失值；在前后两次获得的总损失值之间的差值小于第一阈值的情况下，确定所述第一模型，所述第二模型和所述第三模型收敛。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：将所述对抗样本标记为所述待处理数据集的负样本。3.根据权利要求2所述的方法，其特征在于，所述在所述待训练样本为正样本的情况下，将所述表示所述待训练样本的向量输入第二模型生成用于表示所述待训练样本的对抗样本的向量，包括：在所述待训练样本为正样本的情况下，对服从伯努利分布的随机变量抽取参考值，所述伯努利分布服从的参数小于第二阈值；在所述参考值为1的情况下，将所述表示所述待训练样本的向量输入第二模型生成用于表示所述待训练样本的对抗样本的向量。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：在所述参考值为0的情况下，将所述表示所述待训练样本的向量输入第三模型，得到输出值。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：在所述待训练样本为负样本的情况下，将所述用于表示所述待训练样本的向量输入第三模型，得到输出值。6.根据权利要求5所述的方法，其特征在于，所述待训练样本包含查询项和文档项；所述表示所述待训练样本的向量包括：所述查询项对应的向量，以及所述文档项对应的向量；所述第...
【专利技术属性】
技术研发人员：谯轶轩，陈浩，高鹏，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。