【技术实现步骤摘要】
本专利技术涉及自然语言处理，尤其涉及一种基于序列生成的检索增强生成方法。
技术介绍
1、随着自然语言处理和深度学习的快速发展，越来越多的任务开始使用预训练语言模型来提高效果，如信息检索、问答系统、对话生成等。为了适应下游任务，预训练语言模型通常需要结合任务相关的提示词( prompt)进行微调或提示学习。当前提示词的构建方法主要通过在大规模语料库中检索与输入相关的信息，并将检索得到的相关信息直接拼接得到提示词。
2、但是，直接将检索结果拼接到输入，忽略了检索文本的噪声和冗余，导致生成的提示词质量不高，进而影响基于提示词进行微调或提示学习的训练效果。
技术实现思路
1、本专利技术提供一种基于序列生成的检索增强生成方法，用以解决现有技术中基于直接拼接得到的检索结果，生成的提示词质量不高的缺陷。
2、本专利技术提供一种基于序列生成的检索增强生成方法，包括：
3、获取查询文本，对所述查询文本进行检索，得到候选相关文本；
4、基于所述查询文本，得到当前轮次的初始化上下文序列，并基于所述初始化上下文序列和序列生成模型，生成当前预测文本块向量，以基于所述当前预测文本块向量，从所述候选相关文本中匹配得到当前轮次的最相关文本序列；
5、基于所述当前最相关文本序列更新所述初始化上下文序列，基于更新后的初始化上下文序列和所述序列生成模型，生成下一预测文本块向量，以基于所述下一预测文本块向量，从所述候选相关文本中匹配得到下一轮次的最相关文本序列，
6、基于得到的最相关文本序列，确定所述查询文本的目标提示词，以基于所述目标提示词，确定所述查询文本的增强回复文本；所述序列生成模型是基于样本查询文本对初始序列生成模型进行训练得到的。
7、根据本专利技术提供的一种基于序列生成的检索增强生成方法，所述基于所述查询文本，得到当前轮次的初始化上下文序列，包括：
8、基于所述查询文本、所述候选相关文本以及所述序列生成模型，生成所述查询文本的回复文本向量；
9、基于所述回复文本向量，得到当前轮次的初始化上下文序列。
10、根据本专利技术提供的一种基于序列生成的检索增强生成方法，所述候选相关文本包括多个文本来源不同的候选文本段；
11、所述基于所述当前预测文本块向量，从所述候选相关文本中匹配得到当前轮次的最相关文本序列，包括：
12、分别计算所述当前预测文本块向量和各候选文本段之间的语义相似度；
13、基于计算得到的各语义相似度，从所述各候选文本段中匹配得到当前轮次的最相关文本序列。
14、根据本专利技术提供的一种基于序列生成的检索增强生成方法，所述对所述查询文本进行检索，得到候选相关文本，包括：
15、基于所述查询文本中的关键词进行稀疏检索，得到关键相关文本；
16、基于所述查询文本进行密集检索，得到语义相关文本；
17、基于所述关键相关文本和所述语义相关文本，得到所述候选相关文本。
18、根据本专利技术提供的一种基于序列生成的检索增强生成方法，所述序列生成模型的训练步骤包括：
19、获取所述样本查询文本，以及所述样本查询文本对应的多个样本相关文本；
20、基于所述样本查询文本和所述多个样本相关文本进行互信息计算，得到所述样本查询文本的最优上下文片段；
21、将所述样本查询文本和所述最优上下文片段输入至所述初始序列生成模型，得到所述初始序列生成模型输出的样本预测文本块；
22、基于所述样本预测文本块和所述最优上下文片段，得到预测损失，以基于所述预测损失对所述初始序列生成模型进行迭代，得到所述序列生成模型。
23、根据本专利技术提供的一种基于序列生成的检索增强生成方法，所述基于所述样本查询文本和所述多个样本相关文本进行互信息计算，得到所述样本查询文本的最优上下文片段，包括：
24、分别对所述多个样本相关文本进行分段处理，得到各样本相关文本的样本相关文本片段；
25、基于所述样本查询文本和各样本相关文本片段进行互信息计算，得到各样本相关文本片段的贡献值；
26、基于所述各样本相关文本片段的贡献值，从各样本相关文本中选取优选上下文片段；
27、聚合所述各样本相关文本中的优选上下文片段，得到所述样本查询文本的最优上下文片段。
28、本专利技术还提供一种基于序列生成的检索增强生成装置，包括：
29、获取单元，获取查询文本，对所述查询文本进行检索，得到候选相关文本；
30、初始预测单元，基于所述查询文本，得到当前轮次的初始化上下文序列，并基于所述初始化上下文序列和序列生成模型，生成当前预测文本块向量，以基于所述当前预测文本块向量，从所述候选相关文本中匹配得到当前轮次的最相关文本序列；
31、循环预测单元，基于所述当前最相关文本序列更新所述初始化上下文序列，基于更新后的初始化上下文序列和所述序列生成模型，生成下一预测文本块向量，以基于所述下一预测文本块向量，从所述候选相关文本中匹配得到下一轮次的最相关文本序列，直至得到的最相关文本序列满足预设条件；
32、生成单元，基于得到的最相关文本序列，确定所述查询文本的目标提示词，以基于所述目标提示词，确定所述查询文本的增强回复文本；所述序列生成模型是基于样本查询文本对初始序列生成模型进行训练得到的。
33、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于序列生成的检索增强生成方法。
34、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于序列生成的检索增强生成方法。
35、本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于序列生成的检索增强生成方法。
36、本专利技术提供的基于序列生成的检索增强生成方法，通过对查询文本进行检索，得到候选相关文本，以保证提示词的多样性。然后，通过序列生成模型对检索得到的候选相关文本进行优化，将检索得到的候选文本片段作为类似单词的基本单元，利用序列生成算法来优化组合候选相关文本，使得能够得到连贯、高质量的提示词，进而提升基于提示词进行微调或者提示学习的下游任务的性能。
本文档来自技高网...【技术保护点】
1.一种基于序列生成的检索增强生成方法，其特征在于，包括：
2.根据权利要求1所述的基于序列生成的检索增强生成方法，其特征在于，所述基于所述查询文本，得到当前轮次的初始化上下文序列，包括：
3.根据权利要求1所述的基于序列生成的检索增强生成方法，其特征在于，所述候选相关文本包括多个文本来源不同的候选文本段；
4.根据权利要求1至3中任一项所述的基于序列生成的检索增强生成方法，其特征在于，所述对所述查询文本进行检索，得到候选相关文本，包括：
5.根据权利要求1至3中任一项所述的基于序列生成的检索增强生成方法，其特征在于，所述序列生成模型的训练步骤包括：
6.根据权利要求5所述的基于序列生成的检索增强生成方法，其特征在于，所述基于所述样本查询文本和所述多个样本相关文本进行互信息计算，得到所述样本查询文本的最优上下文片段，包括：
7.一种基于序列生成的检索增强生成装置，其特征在于，包括：
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于序列生成的检索增强生成方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于序列生成的检索增强生成方法。
...【技术特征摘要】
1.一种基于序列生成的检索增强生成方法，其特征在于，包括：
2.根据权利要求1所述的基于序列生成的检索增强生成方法，其特征在于，所述基于所述查询文本，得到当前轮次的初始化上下文序列，包括：
3.根据权利要求1所述的基于序列生成的检索增强生成方法，其特征在于，所述候选相关文本包括多个文本来源不同的候选文本段；
4.根据权利要求1至3中任一项所述的基于序列生成的检索增强生成方法，其特征在于，所述对所述查询文本进行检索，得到候选相关文本，包括：
5.根据权利要求1至3中任一项所述的基于序列生成的检索增强生成方法，其特征在于，所述序列生成模型的训练步骤包括：
6.根据权利要求5所述的基于序列生成的检索增强生成方法，其特征在于，所述基于所述样本...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。