文本检索模型训练、问答检索方法、装置、设备及介质制造方法及图纸

本发明专利技术涉及人工智能技术领域，提供一种文本检索模型训练、问答检索方法、装置、设备及介质，方法包括：获取待检索样本集和文档库；将训练样本队列输入含有初始参数的文本检索模型中；对训练样本队列和文档库中的各存储文档进行基于BERT的嵌入向量编码处理，并运用ANN搜索算法和KNN算法，进行向量检索，得到检索结果，并记录训练次数；通过损失函数，计算得到损失值；在检测到损失值未达到预设收敛条件和训练次数与预设次数成倍数关系时，迭代更新初始参数，并更新训练样本队列，不断训练得到文本检索模型。本发明专利技术实现了通过不断更新关联性强的负样本的训练方法，使文本检索模型更加准确。本发明专利技术适用于人工智能领域，可进一步推动智慧城市的建设。智慧城市的建设。智慧城市的建设。

【技术实现步骤摘要】
文本检索模型训练、问答检索方法、装置、设备及介质


[0001]本专利技术涉及人工智能的模型构建
，尤其涉及一种文本检索模型训练、问答检索方法、装置、计算机设备及存储介质。

技术介绍

[0002]目前，在许多应用场景中，存在问答匹配需求。例如，用户可通过智能终端向问答平台发起问题咨询，问答平台需要为用户咨询的问题匹配合适的答案并返回给用户。又例如，人机交互系统中，用户可以与机器人进行语音问答交互，现有问答匹配方式通常是将用户问题和已有问题进行匹配，找到与用户问题匹配的已有问题，并将该已有问题对应的答案返回给用户。但是，这种问答匹配方式的效率较低。

技术实现思路

[0003]本专利技术提供一种文本检索模型训练、问答检索方法、装置、计算机设备及存储介质，实现了通过不断更新关联性强的负样本进行训练的检索方法，提升了文本检索模型检索出的文档的准确率和正确率，本专利技术适用于人工智能领域，可进一步推动智慧城市的建设。
[0004]一种文本检索模型训练方法，包括：
[0005]获取待检索样本集和文档库；所述待检索样本集包括多个待检索样本；一个所述待检索样本对应一个目标文档；
[0006]对各所述待检索样本进行队列生成，得到与各所述待检索样本一一对应的训练样本队列；其中，每个所述训练样本队列包括一个所述待检索样本和至少一个负样本；
[0007]将所述训练样本队列输入含有初始参数的文本检索模型中；
[0008]通过所述文本检索模型对所述训练样本队列和所述文档库中的各存储文档进行基于BERT的嵌入向量编码处理，并运用ANN搜索算法和KNN算法，从嵌入向量编码处理后的存储文档中，对嵌入向量编码处理后的训练样本队列进行向量检索，得到检索结果，并记录训练次数；
[0009]通过损失函数，根据嵌入向量编码处理后的训练样本队列和所述检索结果，计算得到损失值；
[0010]在所述训练次数与预设次数成倍数关系，且所述损失值未达到预设收敛条件时，迭代更新所述文本检索模型的初始参数，并根据当前迭代更新前获得的检索结果，更新训练样本队列，以及执行将所述训练样本队列输入含有初始参数的文本检索模型中的步骤，直至所述损失值达到所述预设收敛条件时，将收敛之后的文本检索模型记录为训练完成的文本检索模型。
[0011]一种问答检索方法，包括：
[0012]获取待检索问题；
[0013]将所述待检索问题输入通过上述文本检索模型训练方法训练获得的训练完成的
文本检索模型进行向量检索，得到与所述待检索问题对应的预设数量个数的候选答案；
[0014]对所有所述候选答案进行排序，并将获取排序后序列第一的所述候选答案确定为回复答案。
[0015]一种文本检索模型训练装置，包括：
[0016]第一获取模块，用于获取待检索样本集和文档库；所述待检索样本集包括多个待检索样本；一个所述待检索样本对应一个目标文档；
[0017]生成模块，用于对各所述待检索样本进行队列生成，得到与各所述待检索样本一一对应的训练样本队列；其中，每个所述训练样本队列包括一个所述待检索样本和至少一个负样本；
[0018]输入模块，用于将所述训练样本队列输入含有初始参数的文本检索模型中；
[0019]第一检索模块，用于通过所述文本检索模型对所述训练样本队列和所述文档库中的各存储文档进行基于BERT的嵌入向量编码处理，并运用ANN搜索算法和KNN算法，从嵌入向量编码处理后的存储文档中，对嵌入向量编码处理后的训练样本队列进行向量检索，得到检索结果，并记录训练次数；
[0020]损失模块，用于通过损失函数，根据嵌入向量编码处理后的训练样本队列和所述检索结果，计算得到损失值；
[0021]训练模块，用于在所述训练次数与预设次数成倍数关系，且所述损失值未达到预设收敛条件时，迭代更新所述文本检索模型的初始参数，并根据当前迭代更新前获得的检索结果，更新训练样本队列，以及执行将所述训练样本队列输入含有初始参数的文本检索模型中的步骤，直至所述损失值达到所述预设收敛条件时，将收敛之后的文本检索模型记录为训练完成的文本检索模型。
[0022]一种问答检索装置，包括：
[0023]第二获取模块，用于获取待检索问题；
[0024]第二检索模块，用于将所述待检索问题输入通过上述文本检索模型训练方法训练获得的训练完成的文本检索模型进行向量检索，得到与所述待检索问题对应的预设数量个数的候选答案；
[0025]回复模块，用于对所有所述候选答案进行排序，并将获取排序后序列第一的所述候选答案确定为回复答案。
[0026]一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述文本检索模型训练方法的步骤，或者所述处理器执行所述计算机程序时实现上述问答检索方法的步骤。
[0027]一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述文本检索模型训练方法的步骤，或者所述计算机程序被处理器执行所述计算机程序时实现上述问答检索方法的步骤。
[0028]本专利技术提供的文本检索模型训练方法、装置、计算机设备及存储介质，通过获取待检索样本集和文档库；将所述训练样本队列输入含有初始参数的文本检索模型中；通过所述文本检索模型对所述训练样本队列和所述文档库中的各存储文档进行基于BERT的嵌入向量编码处理，并运用ANN搜索算法和KNN算法，从嵌入向量编码处理后的存储文档中，对嵌入向量编码处理后的训练样本队列进行向量检索，得到检索结果，并记录训练次数；通过损
失函数，根据所述训练向量队列和所述检索结果，计算得到损失值；在检测到所述损失值未达到预设收敛条件和所述训练次数与预设次数成倍数关系时，迭代更新所述文本检索模型的初始参数，并根据当前迭代更新前获得的检索结果，更新训练样本队列，以及执行将所述训练样本队列输入含有初始参数的文本检索模型中的步骤，直至所述损失值达到所述预设收敛条件时，将收敛之后的所述文本检索模型记录为训练完成的文本检索模型，如此，能够实现了一种通过不断更新关联性强的负样本进行训练的检索方法，不断学习与关联性强的负样本之间的细微差异，扩大与关联性强的负样本之间的差距细粒度，能够使文本检索模型更加准确和可靠，提升了文本检索模型检索出的文档的准确率和正确率。
[0029]本专利技术提供的问答检索方法、装置、计算机设备及存储介质，通过获取待检索问题，自动通过上述文本检索训练方法训练获得的训练完成的文本检索模型，快速地检索出与待检索问题最匹配的回复答案，精准地确定出回复答案，能够提高回复答案输出的准确性和可靠性。
附图说明
[0030]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本检索模型训练方法，其特征在于，包括：获取待检索样本集和文档库；所述待检索样本集包括多个待检索样本；一个所述待检索样本对应一个目标文档；对各所述待检索样本进行队列生成，得到与各所述待检索样本一一对应的训练样本队列；其中，每个所述训练样本队列包括一个所述待检索样本和至少一个负样本；将所述训练样本队列输入含有初始参数的文本检索模型中；通过所述文本检索模型对所述训练样本队列和所述文档库中的各存储文档进行基于BERT的嵌入向量编码处理，并运用ANN搜索算法和KNN算法，从嵌入向量编码处理后的存储文档中，对嵌入向量编码处理后的训练样本队列进行向量检索，得到检索结果，并记录训练次数；通过损失函数，根据嵌入向量编码处理后的训练样本队列和所述检索结果，计算得到损失值；在所述训练次数与预设次数成倍数关系，且所述损失值未达到预设收敛条件时，迭代更新所述文本检索模型的初始参数，并根据当前迭代更新前获得的检索结果，更新训练样本队列，以及执行将所述训练样本队列输入含有初始参数的文本检索模型中的步骤，直至所述损失值达到所述预设收敛条件时，将收敛之后的文本检索模型记录为训练完成的文本检索模型。2.如权利要求1所述的文本检索模型训练方法，其特征在于，所述通过所述文本检索模型对所述训练样本队列和所述文档库中的各存储文档进行基于BERT的嵌入向量编码处理，并运用ANN搜索算法和KNN算法，从嵌入向量编码处理后的存储文档中，对嵌入向量编码处理后的训练样本队列进行向量检索，得到检索结果，包括：通过所述文本检索模型对所述训练样本队列进行基于BERT的嵌入向量编码处理，得到与所述训练样本队列对应的训练向量队列，以及对所述文档库中的各存储文档进行嵌入向量编码，得到与各所述存储文档对应的文档向量；运用ANN搜索算法，基于各所述文档向量构建与各所述存储文档对应的索引号；运用KNN算法，根据所有所述索引号，对所述训练向量队列进行向量检索，得到检索结果。3.如权利要求2所述的文本检索模型训练方法，其特征在于，所述训练向量队列包括待检索向量、目标向量和所述预设数量个数的负样本向量；所述通过所述文本检索模型对所述训练样本队列进行基于BERT的嵌入向量编码处理，得到与所述训练样本队列对应的训练向量队列，包括：通过所述文本检索模型对所述待检索样本进行分词，得到各单元分词；通过所述文本检索模型对所有所述单元分词进行上下文语义识别，得到与所述待检索样本对应的关键词数组；通过所述文本检索模型对所述关键词数组进行嵌入词向量转换，得到与所述待检索样本对应的所述待检索向量；通过所述文本检索模型对所述目标文档和各所述负样本进行分词及嵌入词向量转换，得到与所述目标文档对应的所述目标向量，以及与各所述负样本一一对应的所述负样本向量。
4.如权利要求2所述的文本检索模型训练方法，其特征在于，所述运用ANN搜索算法，基于各所述文档向量构建与各所述存储文档对应的索引号，包括：通过ANN搜索算法中的哈希算法，对所有所述文档向量中的各个词建立哈希链表；根据各所述文档向量中的各个词所对应的所述哈希链表中的哈希值，构建与各所述存储文档对应的所述索引号。5.如权利要求2所述的...

【专利技术属性】
技术研发人员：杨修远，
申请(专利权)人：平安国际智慧城市科技股份有限公司，
类型：发明
国别省市：