一种疾病诊断系统及数据推荐方法技术方案

本发明专利技术公开了一种疾病诊断系统及数据推荐方法，其中，疾病诊断系统，包括，多模态数据接收及预处理模块，用于接收肠镜检查图像、肠CT图像、实验室检查数据以及病人主述文本等多模态数据，并对接收的数据做去噪、统一格式等预处理；疾病诊断智能推理分析引擎，用于接收多模态数据接收及预处理模块处理后的多模态数据为输入，综合多模态数据搜索最接近的疾病，输出疾病诊断结果及关键依据。本发明专利技术可实现多模态数据的互相检索，帮助医生预先进行跨科室数据的综合分析，减少跨科室数据整合分析工作量的同时，为医生提供推荐诊断结果，有助于减少疾病的漏诊和误诊。于减少疾病的漏诊和误诊。于减少疾病的漏诊和误诊。

【技术实现步骤摘要】
一种疾病诊断系统及数据推荐方法


[0001]本专利技术涉及医疗系统
，特别是涉及一种基于多模态数据学习的疾病诊断系统及数据推荐方法。

技术介绍

[0002]机器学习图像识别不断增多，可为医生提示病灶信息减少医生研究工作量，如内镜下自动提示可疑病变，自动筛选疑似病变图像供医生快速查阅等功能。而这些技术只涉及单模态的图像分析与识别，面对复杂的临床疾病诊断医生还是需综合各种检查数据做综合分析。而如炎症性肠病(IBD)等一类较为复杂疾病的诊断，涉及数据类型多种，如有肠增强CT检查、肠镜检查、病理检查、查血以及临床表现，医生必须综合上述检查综合分析，才能确诊IBD。目前，还没有一种设备或系统可以辅助医生对炎症性肠病(IBD)进行准确诊断。
[0003]因此本领域技术人员致力于开发一种基于多模态数据学习的疾病诊断系统，利用人工智能多模态学习技术帮助医生预先进行数据的综合分析，获得推荐诊断结果，可防止漏诊、误诊。

技术实现思路

[0004]有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是提供一种基于多模态数据学习的疾病诊断系统，利用人工智能多模态学习技术帮助医生预先进行数据的综合分析，获得推荐诊断结果，可防止漏诊、误诊。
[0005]为实现上述目的，本专利技术提供了一种疾病诊断系统，包括，
[0006]多模态数据接收及预处理模块，用于接收多模态数据，并对接收的数据做去噪、统一格式等预处理；所述多模态数据包括肠镜检查图像、肠CT图像、实验室检查数据以及病人主述文本等不同模态的数据；
[0007]疾病诊断智能推理分析引擎，接收多模态数据接收及预处理模块处理后的多模态数据为输入，综合多模态数据搜索最接近的疾病，输出疾病诊断结果及关键依据。
[0008]较佳的，所述疾病诊断智能推理分析引擎包括数据处理层、存储层和服务层；
[0009]其中所述数据处理层对输入系统中的原始医学数据进行后台处理；
[0010]所述存储层用于系统中数据的分类存储；数据主要有医院医疗数据的直接存储、执行数据处理层的原始数据存储以及处理后的数据存储，以原始数据和处理后的数据为基础建立索引库，实现医学图像与文本之间的相互检索；
[0011]所述服务层是系统的功能实现层。
[0012]较佳的，所述数据处理层包括，
[0013]医学图像特征提取模块，用于提取医学图像中病灶的特征信息，得到医学图像特征向量；
[0014]医学文本特征提取模块，用于提取出医学文本的特征信息，抽取出与待处理文本相关的文本信息，进行相关的预处理之后，提取出医学文本的特征向量；
[0015]图像与文本语义关联模块，用于将医学图像和文本的特征向量进行关联。
[0016]较佳的，所述服务层包括，
[0017]医学图像与文本相互检索模块，用于实现医学图像与文本之间的相互检索，通过提取到的图像特征信息，去索引库中检索与之关联的文本的索引信息；通过文本特征信息检索出与之关联的医学图像索引信息；
[0018]诊断报告的预览与评估模块，用于医学图像检索到文本的结果处理，生成诊断文本描述；
[0019]综合检索模块，用于医生用户和患者用户的综合检索服务，用于疾病、药物等信息的检索。
[0020]较佳的，还包括疾病诊断结果显示与交互模块，用于显示疾病诊断智能推理分析引擎的结果，显示内容包括被诊断为某种疾病如炎症性肠病的概率以及关键依据描述，并提供结果和描述修改交互操作。
[0021]本专利技术还提供一种数据推荐方法，包括以下步骤，
[0022]S101获取多模态数据，并对接收的数据做去嗓、统一格式的预处理，得到医学图像和医学文本；多模态数据包括病人检查图像、检查数据及病人主述文本等；
[0023]S201提取医学图像中的病灶特征信息，找出所关注的病症位置，提取医学图像的特征向量；
[0024]S202提取医学文本特征信息，抽取出与医学文本相关的文本信息，进行预处理之后，提取出医学文本的特征向量；相关的文本信息是指与疾病临床表现和诊断相关的文本信息。
[0025]S203将医学图像和医学文本的特征向量进行关联；
[0026]S204通过提取到的图像特征向量，去索引库中检索与之关联的文本的索引信息；通过文本特征向量检索出与之关联的医学图像索引信息；即通过关联实现了双向检索。
[0027]S205对检索结果根据近似度排序，得到近似度最高的k个结果，即推荐结果。即医学文本和图像提取特征后都表示为特征向量，通过特征向量计算近似度，得到近似度最高的k个结果，k为非0自然数，可根据研究或诊断需求取值。
[0028]较佳的，
[0029]还包括步骤
[0030]S206根据步骤S205得到的k个结果，生成诊断文本或对现有诊断报告的评估文本；
[0031]S207检索对应疾病、药物信息。
[0032]较佳的，所述索引库为医院医疗数据库。
[0033]较佳的，所述步骤S204中，采用基于GRBM的自适应模态深度哈希模型及学习算法实现任意模态数据的互相检索，具体首先利用深度特征学习部分获得多模态数据的深度特征，再将深度特征作为模态自适应GRBM的可视层的输入，训练得到的隐层结果直接作为多模态数据的共享哈希码，由此实现任意模态数据的互相检索，并且单个模态的数据能同时检索到多个不同模态的数据。
[0034]本专利技术的有益效果是：本专利技术可实现多模态数据的互相检索，帮助医生预先进行跨科室数据的综合分析，减少跨科室数据整合分析工作量的同时，为医生提供推荐诊断结果，有助于减少疾病的漏诊和误诊，特别是对于炎症性肠病等较为复杂的疾病，能提高诊断
效率及正确率。
附图说明
[0035]图1是本专利技术一具体实施方式的结构示意图。
[0036]图2是本专利技术一具体实施方式疾病诊断智能推理分析引擎的结构示意图。
具体实施方式
[0037]下面结合附图和实施例对本专利技术作进一步说明。
[0038]如图1所示，一种疾病诊断系统，包括，
[0039]多模态数据接收及预处理模块1，用于接收肠镜检查图像、肠CT图像、实验室检查数据以及病人主述文本等多模态数据，并对接收的数据做去噪、统一格式等预处理；
[0040]疾病诊断智能推理分析引擎2，用于接收多模态数据接收及预处理模块处理后的多模态数据为输入，综合多模态数据搜索最接近的疾病，输出疾病诊断结果及关键依据。
[0041]疾病诊断结果显示与交互模块3，用于显示疾病诊断智能推理分析引擎的结果，显示内容包括被诊断为炎症性肠病的概率以及关键依据描述，并提供结果和描述修改交互操作。
[0042]其中，如图2所示，疾病诊断智能推理分析引擎2包括数据处理层、存储层和服务层。
[0043]数据处理层对输入系统中的原始医学数据进行后台处理，属于系统内部功能模块，包括医学图像特征提取模块21，医学文本特征提取模块22、图像与文本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种疾病诊断系统，其特征是：包括，多模态数据接收及预处理模块，用于接收多模态数据，并对接收的数据做去噪、统一格式等预处理；疾病诊断智能推理分析引擎，用于接收多模态数据接收及预处理模块处理后的多模态数据为输入，综合多模态数据搜索最接近的疾病，输出疾病诊断结果及关键依据。2.如权利要求1所述的疾病诊断系统，其特征是：所述疾病诊断智能推理分析引擎包括数据处理层、存储层和服务层；其中所述数据处理层对输入系统中的原始医学数据进行后台处理；所述存储层用于系统中数据的分类存储；数据主要有医院医疗数据的直接存储、执行数据处理层的原始数据存储以及处理后的数据存储，以原始数据和处理后的数据为基础建立索引库，实现医学图像与文本之间的相互检索；所述服务层是系统的功能实现层。3.如权利要求2所述的疾病诊断系统，其特征是：所述数据处理层包括，医学图像特征提取模块，用于提取医学图像中病灶的特征信息，得到医学图像特征向量；医学文本特征提取模块，用于提取出医学文本的特征信息，抽取出与待处理文本相关的文本信息，进行相关的预处理之后，提取出医学文本的特征向量；图像与文本语义关联模块，用于将医学图像和文本的特征向量进行关联。4.如权利要求2所述的疾病诊断系统，其特征是：所述服务层包括，医学图像与文本相互检索模块，用于实现医学图像与文本之间的相互检索，通过提取到的图像特征信息，去索引库中检索与之关联的文本的索引信息；通过文本特征信息检索出与之关联的医学图像索引信息；诊断报告的预览与评估模块，用于医学图像检索到文本的结果处理，生成诊断文本描述；综合检索模块，用于医生用户和患者用户的综合检索服务，用于疾病、药物等信息的检索。5.如权利要求1所述的疾病...

【专利技术属性】
技术研发人员：廖静，黄访，李杰，
申请(专利权)人：重庆金山医疗技术研究院有限公司，
类型：发明
国别省市：