【技术实现步骤摘要】
本说明书涉及人工智能，尤其涉及一种检索模型的预训练方法、文本检索方法、系统。
技术介绍
1、信息检索在许多实际应用场景中发挥着不可替代的作用，它是人们从海量数据中获取信息的最佳途径，而检索模型的预训练是实现信息检索的重要途径。
2、在相关技术中，预训练系统可以对查询和文档生成多个表示向量，从不同的隐含视角对查询和文档进行建模，得到检索模型。
3、但是，生成的多个表示向量会增加存储索引的空间负担和搜索的时间开销，从而降低了召回阶段检索模型应具备的高效能力。
4、值得说明的是，上述相关技术的内容仅仅是专利技术人个人所知晓的信息，并不代表上述信息在本公开申请日之前已经进入公共领域，也不代表其可以成为本公开的现有技术。
技术实现思路
1、本公开提供一种检索模型的预训练方法、文本检索方法、系统，用以避免上述技术问题。
2、第一方面，本公开提供一种检索模型的预训练方法，所述方法包括：
3、获得样本文本的文本输入序列；
4、根据所述文本输入序列和预设的样本提示字符确定样本输入序列，其中，所述样本提示字符用于表征预设粒度下的预设属性的信息；
5、将所述样本输入序列输入至预设的基础网络模型，输出与所述样本提示字符对应的第一预测结果、与所述样本文本对应的第二预测结果；
6、根据所述第一预测结果和所述第二预测结果对所述基础网络模型进行迭代训练，直至所述基础网络模型收敛，得到所述检索模型。
7、在一
8、根据预设的属性值注释表和预设的属性值嵌入表，确定与所述第一预测结果对应的第一损失函数，其中，所述属性值注释表包括与提示字符对应的真值，所述属性值嵌入表包括提示字符对应的属性值嵌入向量，所述提示字符包括所述样本提示字符；
9、根据所述第一损失函数和所述第二预测结果确定所述检索模型。
10、在一些实施例中，所述第一损失函数满足拉近所述第一预测结果、以及所述样本提示字符的真值之间的差异，拉远所述第一预测结果、以及所述属性值注释表中除所述样本提示字符的真值之外的其他真值之间的差异。
11、在一些实施例中，所述属性值嵌入表是通过：对预设的属性值词表进行分词得到分词结果、从预设嵌入表提取与所述分词结果对应的字符嵌入向量、将所述字符嵌入转换为属性值嵌入向量、并根据所述属性值嵌入向量构建得到的。
12、在一些实施例中，所述属性值嵌入向量是基于投影函数对所述字符嵌入向量转换得到的，其中，所述投影函数包括平均池化。
13、在一些实施例中，所述预设属性和所述预设粒度的数量为多个，所述属性值嵌入表的数量为多个，每一预设属性在每一预设粒度上对应一个预设属性值嵌入表。
14、在一些实施例中，所述第一损失函数还用于对所述属性值嵌入表进行更新。
15、在一些实施例中，所述第二预测结果是对所述样本文本进行掩码预测得到的；
16、所述根据所述第一损失函数和所述第二预测结果确定所述检索模型，包括：
17、根据所述第二预测结果、预设的所述样本文本对应的真值，构建第二损失函数；
18、根据所述第一损失函数和所述第二损失函数确定所述检索模型。
19、在一些实施例中，所述样本提示字符包括下述中的一种：
20、所述样本提示字符用于表征一个预设粒度下的一个预设属性的信息；
21、所述样本提示字符用于表征多个预设粒度下的一个预设属性的信息；
22、所述样本提示字符用于表征一个预设粒度下的多个预设属性的信息；
23、所述样本提示字符用于表征多个预设粒度下的多个预设属性的信息。
24、在一些实施例中，所述样本提示字符的数量为多个，所述第一预测结果是基于下述中的一种对所述样本提示字符进行分组确定的：
25、基于单一粒度和单一属性分组确定的；
26、基于粒度分组确定的；
27、基于属性分组确定的。
28、在一些实施例中，所述第一预测结果用于对所述检索模型进行微调。
29、在一些实施例中，所述样本提示字符的数量为多个，一个样本提示字符表征采用至少一个预设粒度对至少一个预设属性进行表示；
30、所述第一预测结果的数量为多个，且第一预测结果与样本提示字符之间为一一对应关系；
31、所述第一预测结果用于对所述检索模型进行微调，包括：各第一预测结果加权后的结果用于对所述检索模型进行微调。
32、第二方面，本公开提供一种文本检索方法，所述方法包括：
33、获得查询文本；
34、将所述查询文本输入至预设检索模型，得到与所述查询文本对应的融合向量，其中，所述预设检索模型是基于如上第一方面所述的方法预训练得到的检索模型确定的；
35、根据所述融合向量和预设的文本索引库确定并输出检索结果。
36、第三方面，本公开提供一种检索模型的预训练系统，包括：
37、至少一个存储器，所述存储器包括至少一组指令来预训练；
38、至少一个处理器，同所述至少一个存储器进行通讯；
39、其中，当所述至少一个处理器执行所述至少一组指令时，实施如第一方面任一项所述的方法。
40、第四方面，本公开提供一种文本检索系统，包括：
41、至少一个存储器，所述存储器包括至少一组指令来文本检索；
42、至少一个处理器，同所述至少一个存储器进行通讯；
43、其中，当所述至少一个处理器执行所述至少一组指令时，实施如上第二方面所述的方法。
44、第五方面，本公开提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使所述处理器执行第一方面或第二方面任一项所述的方法。
45、第六方面，本公开提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；
46、所述存储器存储计算机执行指令；
47、所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面或第二方面任一项所述的方法。
48、第七方面，本公开提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如第一方面或第二方面任一项所述的方法。
49、由以上技术方案可知，本公开提供的检索模型的预训练方法、文本检索方法、系统，包括：获得样本文本的文本输入序列，根据文本输入序列和预设的样本提示字符确定样本输入序列，其中，样本提示字符用于表征预设粒度下的预设属性的信息，将样本输入序列输入至预设的基础网络模型，输出与样本提示字符对应的第一预测结果、与样本文本对应的第二预测结果，根据第一预测结果和第二预测结果对基础网络模型进行迭代训本文档来自技高网...
【技术保护点】
1.一种检索模型的预训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，根据所述第一预测结果和所述第二预测结果对所述基础网络模型进行迭代训练，直至所述基础网络模型收敛，得到所述检索模型，包括：
3.根据权利要求2所述的方法，其特征在于，所述第一损失函数满足拉近所述第一预测结果、以及所述样本提示字符的真值之间的差异，拉远所述第一预测结果、以及所述属性值注释表中除所述样本提示字符的真值之外的其他真值之间的差异。
4.根据权利要求2所述的方法，其特征在于，所述属性值嵌入表是通过：对预设的属性值词表进行分词得到分词结果、从预设嵌入表提取与所述分词结果对应的字符嵌入向量、将所述字符嵌入转换为属性值嵌入向量、并根据所述属性值嵌入向量构建得到的。
5.根据权利要求4所述的方法，其特征在于，所述属性值嵌入向量是基于投影函数对所述字符嵌入向量转换得到的，其中，所述投影函数包括平均池化。
6.根据权利要求2所述的方法，其特征在于，所述预设属性和所述预设粒度的数量为多个，所述属性值嵌入表的数量为多个，每一预设属性在
7.根据权利要求2所述的方法，其特征在于，所述第一损失函数还用于对所述属性值嵌入表进行更新。
8.根据权利要求2所述的方法，其特征在于，所述第二预测结果是对所述样本文本进行掩码预测得到的；
9.根据权利要求1所述的方法，其特征在于，所述样本提示字符包括下述中的一种：
10.根据权利要求1所述的方法，其特征在于，所述样本提示字符的数量为多个，所述第一预测结果是基于下述中的一种对所述样本提示字符进行分组确定的：
11.根据权利要求2所述的方法，其特征在于，所述第一预测结果用于对所述检索模型进行微调。
12.根据权利要求11所述的方法，其特征在于，所述样本提示字符的数量为多个，一个样本提示字符表征采用至少一个预设粒度对至少一个预设属性进行表示；
13.一种文本检索方法，其特征在于，所述方法包括：
14.一种检索模型的预训练系统，其特征在于，包括：
15.一种文本检索系统，其特征在于，包括：
...【技术特征摘要】
1.一种检索模型的预训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，根据所述第一预测结果和所述第二预测结果对所述基础网络模型进行迭代训练，直至所述基础网络模型收敛，得到所述检索模型，包括：
3.根据权利要求2所述的方法，其特征在于，所述第一损失函数满足拉近所述第一预测结果、以及所述样本提示字符的真值之间的差异，拉远所述第一预测结果、以及所述属性值注释表中除所述样本提示字符的真值之外的其他真值之间的差异。
4.根据权利要求2所述的方法，其特征在于，所述属性值嵌入表是通过：对预设的属性值词表进行分词得到分词结果、从预设嵌入表提取与所述分词结果对应的字符嵌入向量、将所述字符嵌入转换为属性值嵌入向量、并根据所述属性值嵌入向量构建得到的。
5.根据权利要求4所述的方法，其特征在于，所述属性值嵌入向量是基于投影函数对所述字符嵌入向量转换得到的，其中，所述投影函数包括平均池化。
6.根据权利要求2所述的方法，其特征在于，所述预设属性和所述预设粒度的数量为多个，所述属性值嵌入表的数...
【专利技术属性】
技术研发人员：孙晓洁，毕可平，张祺深，单虹毓，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。