【技术实现步骤摘要】
本申请属于自然语言处理，特别地，本申请提供一种融合上下文感知的增强型问答方法。
技术介绍
1、在自然语言处理(nlp)领域，大型语言模型(llms)如gpt-4、glm-4。然而，rag系统的有效性在很大程度上取决于检索到的文档的相关性。若检索过程存在偏差或不准确，即使llm具有高度表达能力，生成的回答也可能受到影响，导致不准确或误导性结果。
2、现有rag方法在文档与查询相关性评估方面存在显著缺陷。具体而言，这些系统往往未能有效识别和筛选与用户查询最相关的文档内容，而是将所有检索到的文档不加区分地作为输入传递给生成模型。这种做法引入了大量不相关信息，稀释了关键信息浓度，可能导致模型在生成回答时产生“幻觉”。此外，传统rag方法在处理检索到的文档时，常常将整个文档内容作为输入，未考虑实际上只有部分内容与生成回答相关。这种信息冗余的做法加重了模型计算负担，影响了关键信息的有效提取和利用，降低了回答准确性和系统性能。
技术实现思路
1、针对现有技术的上述问题，本申请的目的在于，提供一种融合上下文感知的增强型问答方法，可以提高回答的连贯性、相关性和准确性。
2、为了解决上述技术问题，本申请的具体技术方案如下：
3、一方面，本申请提供一种融合上下文感知的增强型问答方法，其特征在于，所述方法包括：对接收的查询信息进行向量表示，得到查询向量；从知识库中检索出所述查询向量对应的知识块，得到初始知识块集；其中，所述知识库中存储有知识块及知识块的索引信息，所述索引
4、一些实施例中，所述对接收的查询信息进行向量表示，包括：对所述查询信息进行查询意图提取，得到重写后的查询语句；利用m个嵌入模型分别对所述查询信息以及所述重写后的查询语句进行向量表示，得到n个查询向量，n、m为大于等于1的整数。
5、一些实施例中，所述从知识库中检索出所述查询向量对应的知识块，包括：在所述知识库中对所述查询向量进行检索，得到相应的所述查询向量的第一检索结果，第一检索结果包括基于查询向量所检索到的知识块以及知识块的检索得分；从所述重写后的查询语句中提取查询关键词，利用bm25算法在所述知识块中对所述查询关键词进行检索，得到第二检索结果，第二检索结果包括基于bm25算法所检索到的知识块以及知识块的检索得分；针对检索到的任一知识块，将n个所述第一检索结果以及所述第二检索结果中针对该知识块的检索得分进行融合，得到该知识块的融合得分；基于融合得分对检索到的知识块进行初步筛选，得到初始知识块集。
6、一些实施例中，所述将n个所述查询向量对应的第一检索结果以及所述第二检索结果进行融合，包括：
7、
8、其中，d表示知识块，n是查询向量的数量，λi是第i个查询向量对应的嵌入模型的权重，λbm25是bm25算法的权重，scorei(d)是第i个查询向量针对知识块d的检索得分，scorebm25(d)是bm25算法针对知识块d的检索得分，score(d)是知识块d的融合得分。
9、一些实施例中，所述知识库中的信息采用下述方式生成：对文档进行布局分析及文本识别，得到文本块以及所述文本块的文档结构信息；提取所述文本块在文档中的位置信息；根据所述文本块的文档结构信息以及位置信息对所述文本块进行重组，得到知识块以及知识块的位置信息。
10、一些实施例中，所述文档结构信息包括文本块的结构类型，所述结构类型包括标题块、非标题块；所述根据所述文本块的文档结构信息以及位置信息对所述文本块进行重组，得到知识块以及知识块的位置信息，包括：基于文本块的位置信息将文本块按照语义先后顺序存储至文本块列表中；从所述文本块列表中依次取出文本块，如果当前正在处理的文本块是标题块，检查临时列表是否已经包含非标题块，若包含非标题块，将临时列表中的所有文本块作为一个知识单元添加到最终列表中，并清空临时列表，将当前正在处理的文本块添加到该清空后的临时列表中；如果当前正在处理的文本块是正文块，将其添加到临时列表中；其中，临时列表用于存储文本块，最终列表用于存储知识单元；在文本块列表被遍历完成后，检查临时列表是否为空，如果不为空，将临时列表中的内容作为一个知识单元添加到最终列表中；基于最终列表中的知识单元以及知识单元所对应的各文本块的位置信息，生成知识库中的知识块以及知识块的位置信息。
11、一些实施例中，所述基于最终列表中的知识单元以及知识单元所对应的各文本块的位置信息，生成知识库中的知识块以及知识块的位置信息，包括：知识单元的文本长度未超过预设文本长度阈值时，将所述知识单元作为知识块，基于知识单元所对应的各文本块的位置信息生成知识块的位置信息；知识单元的文本长度超过预设文本长度阈值时，提取知识单元的文本分割点，利用文本分割点对知识单元的文本进行分割得到知识子单元，以及使用摘要生成技术对所述知识单元进行处理，生成所述知识单元的摘要信息，将所述摘要信息与所述知识子单元进行关联，得到所述知识子单元对应的知识块；并基于知识子单元所对应的各文本块的位置信息生成所述知识子单元对应的知识块的位置信息。
12、一些实施例中，所述提取所述文本块在文档中的位置信息，包括：提取所述文本块在文档中的竖直坐标，所述竖直坐标用于表征文本块在文档中的竖直方向上的顺序；在提取到所述文本块的竖直坐标的基础上，根据文本块的水平坐标构建间隙树，其中，所述间隙树用于表示文本块之间的水平间隔；根据所述水平间隔对同一行的文本块进行排序以及连贯性调整，使得文本块按从左到右的顺序排列；
13、将文本块的顺序信息作为文本块的位置信息。
14、一些实施例中，所述基于所述初始知识块集中各知识块的相关度及位置信息，从所述初始知识块集中筛选出用于答案生成的知识块，包括：从所述初始知识块集中筛选出相关度满足第一相关度要求的知识块作为第一关联知识块、以及筛选出相关度满足第二相关度要求的知识块作为备选知识块；其中，所述第一相关度要求包括相关度大于第一相关度阈值或相关度按从大到小排序后的前x个，第二相关度要求包括相关度大于第二相关度阈值或相关度按从大到小排序后的前y个，第一相关度阈值大于第二相关度阈值，x、y为正整数，x小于y；提取与所述第一关联知识块的位置连续的备选知识块作为第二关联知识块，以及提取与所述第二关联知识块的位置连续的备选知识块作为第三关联知识块；将所述第一关联知识块、第二关联知识块以及第三关联知识块存储至关联知识块集中，以基于所述关联知识块集生成所述查询信息的响应结果。
15、一些实施例中，利用lora技术微调后的llm模型对所述查询信息进行查询意图提取；和/或，利用微本文档来自技高网...
【技术保护点】
1.一种融合上下文感知的增强型问答方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对接收的查询信息进行向量表示，包括：
3.根据权利要求2所述的方法，其特征在于，所述从知识库中检索出所述查询向量对应的知识块，包括：
4.根据权利要求3所述的方法，其特征在于，所述将n个所述查询向量对应的第一检索结果以及所述第二检索结果进行融合，包括：
5.根据权利要求1所述的方法，其特征在于，所述知识库中的信息采用下述方式生成：
6.根据权利要求5所述的方法，其特征在于，所述文档结构信息包括文本块的结构类型，所述结构类型包括标题块、非标题块；所述根据所述文本块的文档结构信息以及位置信息对所述文本块进行重组，得到知识块以及知识块的位置信息，包括：
7.根据权利要求6所述的方法，其特征在于，所述基于最终列表中的知识单元以及知识单元所对应的各文本块的位置信息，生成知识库中的知识块以及知识块的位置信息，包括：
8.根据权利要求5-7任一项所述的方法，其特征在于，所述提取所述文本块在文档中的位
9.根据权利要求1所述的方法，其特征在于，所述基于所述初始知识块集中各知识块的相关度及位置信息，从所述初始知识块集中筛选出用于答案生成的知识块，包括：
10.根据权利要求2所述的方法，其特征在于，利用LoRA技术微调后的LLM模型对所述查询信息进行查询意图提取；和/或，利用微调后的BERT模型评估所述初始知识块集中的知识块与所述查询信息的相关度。
...【技术特征摘要】
1.一种融合上下文感知的增强型问答方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对接收的查询信息进行向量表示，包括：
3.根据权利要求2所述的方法，其特征在于，所述从知识库中检索出所述查询向量对应的知识块，包括：
4.根据权利要求3所述的方法，其特征在于，所述将n个所述查询向量对应的第一检索结果以及所述第二检索结果进行融合，包括：
5.根据权利要求1所述的方法，其特征在于，所述知识库中的信息采用下述方式生成：
6.根据权利要求5所述的方法，其特征在于，所述文档结构信息包括文本块的结构类型，所述结构类型包括标题块、非标题块；所述根据所述文本块的文档结构信息以及位置信息对所述文本块进行重组，得到...
【专利技术属性】
技术研发人员：张黎，陈国润，郑荣，丁富强，龙如山，代晓菊，
申请(专利权)人：上海理想信息产业集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。