【技术实现步骤摘要】
本专利技术涉及数据检索 ，尤其涉及一种基于分层簇索引结构的应答大模型检索增强方法及装置。
技术介绍
1、文档检索旨在搜索最相关的文档，以响应查询，广泛地应用于自然语言处理的诸多领域，例如问答、对话，推荐系统等。
2、相关技术中，通常采用混合检索方法增强rag问答方法将文本转化为向量或将文档知识构建为知识图谱，再结合用户问题利用向量检索、关键字检索和知识图谱检索三种混合方式检索相关上下文，该混合检索的检索速度慢，且构建和维护知识图谱需要大量的资源和努力，当所需的文档知识较多时，构建知识图谱比较耗时，收集的文档知识较少时，检索准确性较低，即该检索方式得到的检索结果的准确性和检索效率之间的平衡性较差，且在处理较复杂的查询任务时容易出现“幻觉”现象。
技术实现思路
1、本专利技术提供一种基于分层簇索引结构的应答大模型检索增强方法及装置，用以解决现有技术采用混合检索方法增强问答方法需要构建和维护知识图谱需要大量的资源和努力，导致检索结果的准确性和检索效率之间的平衡性差，且容易出现 “幻觉”现象的缺陷，提高了应答大模型在处理复杂查询时的准确性和相关性，并减少在信息检索过程中出现的“幻觉”现象。
2、本专利技术提供一种基于分层簇索引结构的应答大模型检索增强方法，包括：
3、在用户进行多轮提问的情况下，基于相似度的排名检索技术对第一问题的问题向量进行排序，得到第一问题向量队列；将第二问题的问题向量与所述第一问题向量队列中各向量进行相似度计算并按照相似度计算结果大
4、将所述第二问题向量和所述第二问题向量队列中与所述第二问题向量邻近的至少一个向量进行特征加权，得到检索向量；
5、根据所述检索向量在知识库的主题层的簇中进行检索，得到目标检索文本，以供应答大模型输出应答结果；其中，所述知识库通过分层簇索引结构和文本在线更新机制构建；所述分层簇索引结构包括主题层、特征层和文本层，所述主题层中的每个主题向量与特征层中的至少一个文档内容向量锚定。
6、根据本专利技术提供的一种基于分层簇索引结构的应答大模型检索增强方法，所述知识库通过如下步骤构建：
7、从待输入文档中提取第一主题向量和多个第一文档内容向量，并根据所述第一主题向量确定第一聚类参数；所述第一聚类参数包括第一聚类数目和第一类间距离；
8、计算所述多个第一文档内容向量之间的相关性，并根据所述相关性调整所述第一主题向量与初始主题向量中的排序，得到第一主题向量队列，所述初始主题向量基于历史输入文档获取；
9、根据所述第一聚类参数从所述第一主题向量队列中确定多个第一聚类核心点，针对每个第一聚类核心点，通过所述第一主题向量队列递归的将与所述第一聚类核心点相关的邻居节点添加至同一个聚类，得到知识库的主题层；
10、其中，所述特征层基于对所述多个第一文档内容向量依次进行向量相关性计算、排序和聚类获取。
11、根据本专利技术提供的一种基于分层簇索引结构的应答大模型检索增强方法，所述知识库通过如下步骤实现在线更新：
12、在所述知识库存在新输入文档的情况下，从所述新输入文档中提取第二主题向量和多个第二文档内容向量；
13、根据所述多个第二主题向量确定第二聚类参数；所述第二聚类参数包括第二聚类数目和第二类间距离；
14、基于相似度的排名检索技术将所述第二主题向量合并至所述第一主题向量队列，得到第二主题向量队列；
15、根据所述第二聚类参数从所述第二主题向量队列中确定多个第二聚类核心点，针对每个第二聚类核心点，通过所述第二主题向量队列递归的将与所述第二聚类核心点相关的邻居节点添加至同一个聚类，得到更新后的知识库的主题层；
16、其中，所述更新后的主题层中的每个主题向量与更新后的特征层中的至少一个文档内容向量锚定；所述更新后的特征层基于对所述多个第二文档内容向量依次进行向量相关性计算、队列更新、排序和聚类获取。
17、根据本专利技术提供的一种基于分层簇索引结构的应答大模型检索增强方法，在所述从所述新输入文档中提取多个第二主题向量和多个第二文档内容向量之前，所述方法包括：
18、对所述新输入文档进行清洗和预处理的操作，得到处理后的文档；其中，所述预处理包括分词、去除停用词和标点符号。
19、根据本专利技术提供的一种基于分层簇索引结构的应答大模型检索增强方法，所述主题层包括多个主题向量簇，每个主题向量包括一个聚类核心点；
20、所述根据所述检索向量在知识库的主题层的簇中进行检索，得到目标检索文本包括：
21、计算所述检索向量与各主题向量簇的聚类核心点之间的余弦相似度，得到多个相似度计算结果；
22、根据所述多个相似度计算结果中的最大值确定目标主题向量簇的主题索引，根据所述主题索引和主题向量与文档内容向量之间的锚定关系确定目标文档内容向量，并根据所述目标文档内容向量确定所述目标检索文本。
23、根据本专利技术提供的一种基于分层簇索引结构的应答大模型检索增强方法，所述将所述第二问题向量和所述第二问题向量队列中与所述第二问题向量邻近的至少一个向量进行特征加权，得到检索向量包括：
24、采用下式计算所述检索向量：
25、；
26、其中，所述为所述检索向量，为第二问题向量，为第i个与第二问题向量邻近的向量，为的特征权重。
27、本专利技术还提供一种基于分层簇索引结构的应答大模型检索增强方法装置，包括：
28、队列获取模块，用于在用户进行多轮提问的情况下，基于相似度的排名检索技术对第一问题的问题向量进行排序，得到第一问题向量队列；将第二问题的问题向量与所述第一问题向量队列中各向量进行相似度计算并按照相似度计算结果大小进行排序，得到第二问题向量队列；所述第二问题晚于所述第一问题被所述用户提出；
29、向量加权模块，用于将所述第二问题向量和所述第二问题向量队列中与所述第二问题向量邻近的至少一个向量进行特征加权，得到检索向量；
30、检索模块，用于根据所述检索向量在知识库的主题层的簇中进行检索，得到目标检索文本，以供应答大模型输出应答结果；其中，所述知识库通过分层簇索引结构和文本在线更新机制构建；所述分层簇索引结构包括主题层、特征层和文本层，所述主题层中的每个主题向量与特征层中的至少一个文档内容向量锚定。
31、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述基于分层簇索引结构的应答大模型检索增强方法。
32、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于分层簇索引结构的应答大模型检索增强方法。
33、本专利技术还提供一种计算机程序产品，本文档来自技高网...
【技术保护点】
1.一种基于分层簇索引结构的应答大模型检索增强方法，其特征在于，包括：
2.根据权利要求1所述的基于分层簇索引结构的应答大模型检索增强方法，其特征在于，所述知识库通过如下步骤构建：
3.根据权利要求2所述的基于分层簇索引结构的应答大模型检索增强方法，其特征在于，所述知识库通过如下步骤实现在线更新：
4.根据权利要求3所述的基于分层簇索引结构的应答大模型检索增强方法，其特征在于，在所述从所述新输入文档中提取多个第二主题向量和多个第二文档内容向量之前，所述方法包括：
5.根据权利要求1所述的基于分层簇索引结构的应答大模型检索增强方法，其特征在于，所述主题层包括多个主题向量簇，每个主题向量包括一个聚类核心点；
6.根据权利要求1所述的基于分层簇索引结构的应答大模型检索增强方法，其特征在于，所述将所述第二问题向量和所述第二问题向量队列中与所述第二问题向量邻近的至少一个向量进行特征加权，得到检索向量包括：
7.一种基于分层簇索引结构的应答大模型检索增强方法装置，其特征在于，包括：
8.一种电子设备，包括存储
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于分层簇索引结构的应答大模型检索增强方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于分层簇索引结构的应答大模型检索增强方法。
...【技术特征摘要】
1.一种基于分层簇索引结构的应答大模型检索增强方法，其特征在于，包括：
2.根据权利要求1所述的基于分层簇索引结构的应答大模型检索增强方法，其特征在于，所述知识库通过如下步骤构建：
3.根据权利要求2所述的基于分层簇索引结构的应答大模型检索增强方法，其特征在于，所述知识库通过如下步骤实现在线更新：
4.根据权利要求3所述的基于分层簇索引结构的应答大模型检索增强方法，其特征在于，在所述从所述新输入文档中提取多个第二主题向量和多个第二文档内容向量之前，所述方法包括：
5.根据权利要求1所述的基于分层簇索引结构的应答大模型检索增强方法，其特征在于，所述主题层包括多个主题向量簇，每个主题向量包括一个聚类核心点；
6.根据权利要求1所述的基于分层簇索引结构的应答大模型检索增强方法，其特征在于，所述将所述第二...
【专利技术属性】
技术研发人员：吴建伟，杨晓虎，魏一博，李作麟，张俊，熊晓菲，
申请(专利权)人：北京市农林科学院信息技术研究中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。