System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于知识图谱增强大语言模型的疾病检索方法及装置制造方法及图纸_技高网

一种基于知识图谱增强大语言模型的疾病检索方法及装置制造方法及图纸

技术编号:44778961 阅读:3 留言:0更新日期:2025-03-26 12:58
本发明专利技术公开了一种基于知识图谱增强大语言模型的疾病检索方法及装置,涉及大语言模型和知识图谱问答技术领域。该方法包括:构建基于三元组形式的问答数据集,基于Neo4j实现五个主题的专科疾病知识图谱的存储及可视化;获取用户提问的医学问题,基于思维链推理对输入问题逐步扩展得到子问题;基于预训练模型进行关系路径检索及知识子图检索;微调大语言模型使其基于采样到的答案子图生成事实知识文本;结合输入问题以及事实知识构建知识增强提示模板,送入大语言模型中获取最终的医学答案。本方案利用知识图谱增强大语言模型,引导大语言模型在高效知识路径中推理检索,可精准、专业地回答用户提出的专科疾病医学问题。

【技术实现步骤摘要】

本专利技术涉及大语言模型和知识图谱问答,尤其涉及一种基于知识图谱增强大语言模型的疾病检索方法及装置


技术介绍

1、各类专科疾病类型和体征表现多样,需要依赖医生的临床经验以及一系列检查方式来确诊,诊断流程复杂繁琐。目前许多医疗机构已经开展临床诊疗数字化建设,但因建设时间不一、选用的信息技术差异等原因,数据不互通、方法流程不适用的现象屡有发生。因此,如何将复杂繁琐的就医流程简单化、普适化、信息化、智能化是当前解决我国专科疾病诊疗难题的有效途径。

2、将大语言模型应用于医疗保健,特别是专病防治领域,是目前疾病检索问答系统研究的重大创新。但仍受限于以下问题,使之无法直接应用于临床智能辅助决策:①大语言模型在专业医疗问答上会产生幻觉事实,在问答的准确性和可靠性上还存在不足;②医学知识日新月异,而大语言模型的训练成本很高,当疾病知识存在更新时需要及时进行知识修正并重新训练,过于耗费资源。

3、因此,对于专科疾病的大语言模型检索问答,目前普遍采用大语言模型微调的方式或者通过传统流水线方式构建知识图谱辅助专业疾病问答,尚未存在可靠、精准、拟人化的智能系统提供专业的专科疾病检索问答。


技术实现思路

1、本专利技术的目的在于提供一种基于知识图谱增强大语言模型的疾病检索方法及装置,以解决现有大语言模型无法组织利用最新专业疾病知识、容易产生有害幻觉事实的问题。

2、为解决上述技术问题,本专利技术的实施例提供如下方案:

3、一种基于知识图谱增强大语言模型的疾病检索装置,包括:

4、数据构建模块:用于对采集到的多跳问答数据集进行数据预处理,构建五个主题的专科疾病知识图谱子图,得到包含实体知识的文本形式答案;

5、子图检索模块:用于根据用户输入的医学问题,利用图思维链进行问题分解,构建关系路径推理模型采样三元组知识,检索答案子图;

6、知识增强模块:用于微调大语言模型,基于输入与问题相关的知识子图生成医学事实知识文本,以得到知识增强检索模型;

7、答案生成模块:用于结合医学事实知识及查询问题组合为知识增强提示,通过大语言模型中推理检索得到最终的医学回答;

8、设备与存储模块:用于处理、存储专科疾病知识图谱,为前述模块功能的执行提供基础性的硬件支持。

9、进一步地,所述数据构建模块,用于提取多跳问答数据集中的三元组知识,根据主题实体、关系路径、答案实体及其主题实体的邻域三元组知识构建基于特定问题的答案子图数据集;构建基于不同主题的专科疾病知识图谱子图,其中,专科疾病知识图谱主题类别包括:疾病_流行病学、疾病_诊断、疾病_疾病、疾病_治疗、疾病_其他。

10、进一步地,所述数据构建模块还包括:

11、文本生成及答案评估单元,用于通过大语言模型对采集到的答案子图数据集进行文本生成,获得基于特定问题的有监督微调数据集;其中,

12、所述文本生成及答案评估单元,具体用于将答案子图和提示模板组合输入到大语言模型中获取基于特定问题的事实知识回答;将该回答封装为知识增强提示再次输入大语言模型中,根据回复信息,将包含至少一个答案实体的事实知识回答作为正确回答;整合答案子图及事实知识回答划分训练、验证及测试数据集,作为知识增强模块的有监督微调数据集。

13、进一步地,所述子图检索模块,用于根据用户输入的问题,根据图思维链推理逐步对问题进行拓展,分解成若干跳子问题,每一跳子问题中仅包含一个基于专科疾病知识图谱的关系三元组知识,获取逐步问题规划步骤。

14、进一步地,所述子图检索模块还包括:

15、关系路径推理单元,用于根据规划分解后的跳数,对问题进行逐步关系预测并生成基于特定问题的推理路径;其中,

16、所述关系路径推理单元,具体用于构建预训练语言模型及线性分类器,将分解后的子问题和知识图谱嵌入为多维向量,预测每一跳中专科疾病知识图谱中的关系类别;根据预测的关系概率分布选取若干最相关的关系作为该子问题的关系;在下一跳关系预测推理时反复迭代,结合新的子问题向量及当前预测的关系路径推理获取最新一跳关系路径,直至到达规划分解的跳数;计算每一次预测的关系路径得分,衡量输出的关系路径与真实三元组之间的差距并反复迭代学习,使用交叉熵损失优化预训练语言模型的参数;以关系路径得分降序排序获取关系推理路径集合,构建基于特定问题的答案子图。

17、进一步地,所述知识增强模块,具体用于将检索得到的答案子图转换为适用于大语言模型推理的事实知识文本,以蕴含关系推理路径的文本型知识表现形式优化调整大语言模型的输出;在微调大语言模型训练时,每一个时间步都根据上一个时间步的正确嵌入序列预测当前时间步所有词汇的概率分布,以交叉熵损失优化大语言模型的参数;最终知识增强模块将使得指令微调后的大语言模型具备图谱文本生成的能力。

18、进一步地,所述答案生成模块,用于将大语言模型推理得到的事实知识文本及医学问题封装成为知识增强提示模板,构建知识增强检索模型,获得医学疾病问题的最终检索答案。

19、进一步地,所述答案生成模块还包括:

20、模型效果评估单元,用于根据评估指标衡量知识增强检索模型的性能,并同时对比分析大语言模型在无知识增强条件下直接进行检索问答的指标评测效果、在基于自由格式文本进行检索问答的指标评测效果、在基于三元组格式的事实知识文本进行检索问答的指标评测效果。

21、进一步地,所述设备与存储模块,用于提供专科疾病检索系统的处理器及存储器设备,可分别处理计算机的可读指令,执行专科疾病领域问答检索功能;存储三元组数据集、有监督微调数据集、专科疾病知识图谱数据。

22、此外,本专利技术还提供了一种基于知识图谱增强大语言模型的疾病检索方法,所述方法应用于如上所述的装置,该方法包括:

23、数据构建方法:获取多跳问答数据集并进行数据预处理,基于neo4j构建五个主题的专科疾病知识图谱的存储及可视化;基于大语言模型和答案子图数据集实现文本生成及答案评估,构建有监督微调数据集;

24、子图检索方法:获取用户提出的医学问题,基于图思维链推理对输入问题逐步扩展得到子问题;基于预训练模型进行关系路径检索及知识子图检索;

25、知识增强方法:微调大语言模型使其基于采样到的答案子图生成事实知识文本;构建知识增强检索模型;

26、答案生成方法:基于输入问题及事实知识构建知识增强提示,通过大语言模型获取最终的医学检索答案;根据评估指标衡量知识增强检索模型的性能。

27、可选地,所述数据构建方法用于提取多跳问答数据集中的三元组知识,根据主题实体、关系路径、答案实体及其主题实体的邻域三元组知识构建基于特定问题的答案子图数据集;构建基于不同主题的专科疾病知识图谱子图。

28、其中,专科疾病知识图谱主题类别包括:疾病_流行病学、疾病_诊断、疾病_疾病、疾病_治疗、疾病_其他。

29、本文档来自技高网...

【技术保护点】

1.一种基于知识图谱增强大语言模型的疾病检索装置,其特征在于,包括:

2.根据权利要求1所述的基于知识图谱增强大语言模型的疾病检索装置,其特征在于,所述数据构建模块,用于提取多跳问答数据集中的三元组知识,根据主题实体、关系路径、答案实体及其主题实体的邻域三元组知识构建基于特定问题的答案子图数据集;构建基于不同主题的专科疾病知识图谱子图,其中,

3.根据权利要求2所述的基于知识图谱增强大语言模型的疾病检索装置,其特征在于,所述数据构建模块还包括:

4.根据权利要求1所述的基于知识图谱增强大语言模型的疾病检索装置,其特征在于,所述子图检索模块,用于根据用户输入的问题,根据图思维链推理逐步对问题进行拓展,分解成若干跳子问题,每一跳子问题中仅包含一个基于专科疾病知识图谱的关系三元组知识,获取逐步问题规划步骤。

5.根据权利要求4所述的基于知识图谱增强大语言模型的疾病检索装置,其特征在于,所述子图检索模块还包括:

6.根据权利要求1所述的基于知识图谱增强大语言模型的疾病检索装置,其特征在于,所述知识增强模块,具体用于将检索得到的答案子图转换为适用于大语言模型推理的事实知识文本,以蕴含关系推理路径的文本型知识表现形式优化调整大语言模型的输出;在微调大语言模型训练时,每一个时间步都根据上一个时间步的正确嵌入序列预测当前时间步所有词汇的概率分布,以交叉熵损失优化大语言模型的参数;最终知识增强模块将使得指令微调后的大语言模型具备图谱文本生成的能力。

7.根据权利要求1所述的基于知识图谱增强大语言模型的疾病检索装置,其特征在于,所述答案生成模块,用于将大语言模型推理得到的事实知识文本及医学问题封装成为知识增强提示模板,构建知识增强检索模型,获得医学疾病问题的最终检索答案。

8.根据权利要求7所述的基于知识图谱增强大语言模型的疾病检索装置,其特征在于,所述答案生成模块还包括:

9.根据权利要求1所述的基于知识图谱增强大语言模型的疾病检索装置,其特征在于,所述设备与存储模块,用于提供专科疾病检索系统的处理器及存储器设备,可分别处理计算机的可读指令,执行专科疾病领域问答检索功能;存储三元组数据集、有监督微调数据集、专科疾病知识图谱数据。

10.一种基于知识图谱增强大语言模型的疾病检索方法,其特征在于,所述方法应用于权利要求1-9任一所述的装置,该方法包括:

...

【技术特征摘要】

1.一种基于知识图谱增强大语言模型的疾病检索装置,其特征在于,包括:

2.根据权利要求1所述的基于知识图谱增强大语言模型的疾病检索装置,其特征在于,所述数据构建模块,用于提取多跳问答数据集中的三元组知识,根据主题实体、关系路径、答案实体及其主题实体的邻域三元组知识构建基于特定问题的答案子图数据集;构建基于不同主题的专科疾病知识图谱子图,其中,

3.根据权利要求2所述的基于知识图谱增强大语言模型的疾病检索装置,其特征在于,所述数据构建模块还包括:

4.根据权利要求1所述的基于知识图谱增强大语言模型的疾病检索装置,其特征在于,所述子图检索模块,用于根据用户输入的问题,根据图思维链推理逐步对问题进行拓展,分解成若干跳子问题,每一跳子问题中仅包含一个基于专科疾病知识图谱的关系三元组知识,获取逐步问题规划步骤。

5.根据权利要求4所述的基于知识图谱增强大语言模型的疾病检索装置,其特征在于,所述子图检索模块还包括:

6.根据权利要求1所述的基于知识图谱增强大语言模型的疾病检索装置,其特征在于,所述知识增强模块,具体用于将检索得到的答案子图转换为适用于大语言模型推理的事实知识...

【专利技术属性】
技术研发人员:刘欣杨茗然张德政栗辉
申请(专利权)人:北京科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1