基于预测模型的文本匹配方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及人工智能技术领域，具体公开了一种基于预测模型的文本匹配方法、装置、设备及存储介质。该方法包括：获取预训练样本；将预训练样本输入预构建好的预测模型中，得到各词语的语义向量，根据语义向量分别进行掩码标记预测以及文本样本的相似度预测，获得第一预测结果以及第二预测结果；根据第一预测结果和第二预测结果计算目标损失函数，采用目标损失函数对预测模型进行训练，得到目标预测模型；获取包含两个待匹配文本的待预测文本并输入目标预测模型中，获得两个待匹配文本的相似度预测结果，根据相似度预测结果确定两个待匹配文本是否匹配。通过上述方式，本发明专利技术能够提高模型的泛化能力、降低过拟合风险以及提高训练效率。率。率。

【技术实现步骤摘要】
基于预测模型的文本匹配方法、装置、设备及存储介质


[0001]本专利技术涉及人工智能
，特别是涉及一种基于预测模型的文本匹配方法、装置、设备及存储介质。

技术介绍

[0002]随着近几年电话场景下的智能客服越来越广泛的应用，人们在日常生活中与智能客服之间的交集越来越大。
[0003]智能对话中，识别客户意图的模型的发展也经过了好几轮的迭代，从最初的tf
‑
idf，到词向量再到LSTM以及最近以bert为代表的预训练模型。在利用bert等预训练模型时，一般的做法是直接在当前的任务数据集上对其进行fine
‑
tune。但是，这种方案的不足是，由于任务数据集一般数据量会比较小，经过几轮的训练之后，会产生比较严重的过拟合现象，影响模型的泛化能力。

技术实现思路

[0004]本专利技术提供一种基于预测模型的文本匹配方法、装置、设备及存储介质，能够解决传统的模型针对单项任务进行轮循训练，导致严重的过拟合现象以及训练效率低的问题。
[0005]为解决上述技术问题，本专利技术采用的一个技术方案是：提供一种基于预测模型的文本匹配方法，包括：
[0006]从训练数据集中随机获取包含有两个文本样本的训练样本，对两个所述文本样本进行预处理，获得包含有掩码标记以及头部标记的预训练样本；
[0007]将所述预训练样本输入预构建好的预测模型中，得到所述预训练样本中各个词语的语义向量，根据所述掩码标记对应的所述语义向量对所述掩码标记进行预测，获得第一预测结果，根据所述头部标记对应的所述语义向量对两个所述文本样本的相似度进行预测，获得第二预测结果；
[0008]根据所述第一预测结果和所述第二预测结果计算目标损失函数，采用所述目标损失函数对所述预测模型进行训练，基于反向传播算法调整训练后的所述预测模型的参数，得到目标预测模型；
[0009]获取两个待匹配文本，对两个所述待匹配文本进行预处理，获得待预测文本，将所述待预测文本输入所述目标预测模型中，获得两个所述待匹配文本的相似度预测结果，根据所述相似度预测结果确定两个所述待匹配文本是否匹配。
[0010]根据本专利技术的一个实施例，所述从训练数据集中随机获取包含有两个文本样本的训练样本，对两个所述文本样本进行预处理，获得包含有掩码标记以及头部标记的预训练样本包括：
[0011]从训练数据集中随机获取包含有两个文本样本的训练样本，分别对两个所述文本样本中的词进行掩码处理，获得含有掩码标记的两个所述文本样本并将所述文本样本进行拼接处理，得到拼接样本；
[0012]在所述拼接样本的头部进行标记处理，获得含有头部标记的预训练样本。
[0013]根据本专利技术的一个实施例，在所述从训练数据集中随机获取包含有两个文本样本的训练样本之前，还包括：
[0014]获取电话语音中的文本样本，将所述文本样本进行两两组合形成样本对，根据每个所述样本对中的两个所述文本样本的相似度对所述样本对进行标签标注处理，将包含有标签的所述样本对作为训练样本；
[0015]对所述训练样本进行预处理，将预处理后的所有所述训练样本形成训练数据集并存储于语料库中。
[0016]根据本专利技术的一个实施例，所述根据所述第一预测结果和所述第二预测结果计算目标损失函数包括：
[0017]根据所述第一预测结果计算第一损失函数，所述第一损失函数为所述第一预测结果的交叉熵；
[0018]根据所述第二预测结果计算所述第二损失函数，所述第二损失函数为所述第二预测结果的交叉熵；
[0019]根据所述第一损失函数和所述第二损失函数计算所述目标损失函数，所述目标损失函数为所述第一损失函数与所述第二损失函数之和。
[0020]根据本专利技术的一个实施例，所述获取两个待匹配文本，对两个所述待匹配文本进行预处理，获得待预测文本包括：
[0021]获取用户输入的第一待匹配文本，将所述第一待匹配文本与语料库中的所有第二待匹配文本进行一一配对，形成文本对；
[0022]将每个文本对中的所述第一待匹配文本和所述第二待匹配文本进行拼接处理，获得多个拼接样本，在各所述拼接样本的头部进行标记处理，获得含有头部标记的待预测文本。
[0023]根据本专利技术的一个实施例，所述将所述待预测文本输入所述目标预测模型中，获得两个所述待匹配文本的相似度预测结果，根据所述相似度预测结果确定两个所述待匹配文本是否匹配包括：
[0024]将所述待预测文本输入所述目标预测模型中，得到所述待预测文本中各个词语的语义向量，将所有所述头部标记对应的所述语义向量进行全连接处理并对两个所述待匹配文本的相似度进行预测，获得第一预测标签、第二预测标签、与所述第一预测标签对应的第一概率值以及与所述第二预测标签对应的第二概率值；
[0025]根据所述第一预测标签、所述第二预测标签、所述第一概率值以及所述第二概率值确定两个所述待匹配文本是否匹配。
[0026]根据本专利技术的一个实施例，所述根据所述第一预测标签、所述第二预测标签、所述第一概率值以及所述第二概率值确定两个所述待匹配文本是否匹配包括：
[0027]根据所述第一概率值和所述第二概率值中较大的一个概率值确定两个所述待匹配文本是否匹配；
[0028]若两个所述待匹配文本相匹配，则将所述概率值作为两个所述待匹配文本的相似度，并统计所有确定两个所述待匹配文本相匹配的相似度，选择最大的相似度对应的所述第二待匹配文本作为所述第一待匹配文本的目标匹配文本。
[0029]为解决上述技术问题，本专利技术采用的另一个技术方案是：提供一种基于预测模型的文本匹配装置，包括：
[0030]获取模块，用于从训练数据集中随机获取包含有两个文本样本的训练样本，对两个所述文本样本进行预处理，获得包含有掩码标记以及头部标记的预训练样本；
[0031]第一预测模块，用于将所述预训练样本输入预构建好的预测模型中，得到所述预训练样本中各个词语的语义向量，根据所述掩码标记对应的所述语义向量对所述掩码标记进行预测，获得第一预测结果，根据所述头部标记对应的所述语义向量对两个所述文本样本的相似度进行预测，获得第二预测结果；
[0032]训练模块，用于根据所述第一预测结果和所述第二预测结果计算目标损失函数，采用所述目标损失函数对所述预测模型进行训练，基于反向传播算法调整训练后的所述预测模型的参数，得到目标预测模型；
[0033]第二预测模块，用于获取两个待匹配文本，对两个所述待匹配文本进行预处理，获得待预测文本，将所述待预测文本输入所述目标预测模型中，获得两个所述待匹配文本的相似度预测结果，根据所述相似度预测结果确定两个所述待匹配文本是否匹配。
[0034]为解决上述技术问题，本专利技术采用的再一个技术方案是：提供一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的基于预测模型的文本匹配方法。
[0035]为解决上述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于预测模型的文本匹配方法，其特征在于，包括：从训练数据集中随机获取包含有两个文本样本的训练样本，对两个所述文本样本进行预处理，获得包含有掩码标记以及头部标记的预训练样本；将所述预训练样本输入预构建好的预测模型中，得到所述预训练样本中各个词语的语义向量，根据所述掩码标记对应的所述语义向量对所述掩码标记进行预测，获得第一预测结果，根据所述头部标记对应的所述语义向量对两个所述文本样本的相似度进行预测，获得第二预测结果；根据所述第一预测结果和所述第二预测结果计算目标损失函数，采用所述目标损失函数对所述预测模型进行训练，基于反向传播算法调整训练后的所述预测模型的参数，得到目标预测模型；获取两个待匹配文本，对两个所述待匹配文本进行预处理，获得待预测文本，将所述待预测文本输入所述目标预测模型中，获得两个所述待匹配文本的相似度预测结果，根据所述相似度预测结果确定两个所述待匹配文本是否匹配。2.根据权利要求1所述的文本匹配方法，其特征在于，所述从训练数据集中随机获取包含有两个文本样本的训练样本，对两个所述文本样本进行预处理，获得包含有掩码标记以及头部标记的预训练样本包括：从训练数据集中随机获取包含有两个文本样本的训练样本，分别对两个所述文本样本中的词进行掩码处理，获得含有掩码标记的两个所述文本样本并将所述文本样本进行拼接处理，得到拼接样本；在所述拼接样本的头部进行标记处理，获得含有头部标记的预训练样本。3.根据权利要求1所述的文本匹配方法，其特征在于，在所述从训练数据集中随机获取包含有两个文本样本的训练样本之前，还包括：获取电话语音中的文本样本，将所述文本样本进行两两组合形成样本对，根据每个所述样本对中的两个所述文本样本的相似度对所述样本对进行标签标注处理，将包含有标签的所述样本对作为训练样本；对所述训练样本进行预处理，将预处理后的所有所述训练样本形成训练数据集并存储于语料库中。4.根据权利要求1所述的文本匹配方法，其特征在于，所述根据所述第一预测结果和所述第二预测结果计算目标损失函数包括：根据所述第一预测结果计算第一损失函数，所述第一损失函数为所述第一预测结果的交叉熵；根据所述第二预测结果计算所述第二损失函数，所述第二损失函数为所述第二预测结果的交叉熵；根据所述第一损失函数和所述第二损失函数计算所述目标损失函数，所述目标损失函数为所述第一损失函数与所述第二损失函数之和。5.根据权利要求1所述的文本匹配方法，其特征在于，所述获取两个待匹配文本，对两个所述待匹配文本进行预处理，获得待预测文本包括：获取用户输入的第一待匹配文本，将所述第一待匹配文本与语料库中的所有第二待匹配文本进行一一配对，形成文本对；
将每个文本对中的所述第一待匹配文本和所述第二待匹配文本进行拼接处理，获得多个拼接样本，在各所述拼...

【专利技术属性】
技术研发人员：沈佳，
申请(专利权)人：平安普惠企业管理有限公司，
类型：发明
国别省市：