基于多模态颈动脉数据的冠心病预测系统技术方案

本发明专利技术公开了基于多模态颈动脉数据的冠心病预测系统，包括：获取模块，其被配置为：获取待预测患者的图像数据和文本数据；其中，所述图像数据，是指颈动脉不同模态图像；特征提取模块，其被配置为：对每种模态的图像提取图像特征；文本特征提取模块，其被配置为：对文本数据提取文本特征；跨模态融合模块，其被配置为：将不同模态的图像特征进行特征融合，得到融合的图像特征；预测模块，其被配置为：将文本特征与融合的图像特征进行串联，将串联后的特征输入到训练后的冠心病分类模型中，得到冠心病预测结果。通过深度学习方法对多模态的颈动脉数据进行有效挖掘来预测冠心病。脉数据进行有效挖掘来预测冠心病。脉数据进行有效挖掘来预测冠心病。

【技术实现步骤摘要】
基于多模态颈动脉数据的冠心病预测系统


[0001]本专利技术涉及医学图像处理和多模态数据融合
，特别是涉及基于多模态颈动脉数据的冠心病预测系统。

技术介绍

[0002]本部分的陈述仅仅是提到了与本专利技术相关的
技术介绍
，并不必然构成现有技术。
[0003]心血管疾病有较高的发病率和死亡率，主要机制为动脉粥样硬化。研究表明，颈动脉内中膜厚度、颈动脉斑块、临床检查指标等均与心血管事件和冠心病的发生具有一定关系。目前现有研究均为分析单模态数据与冠心病之间的关系，没有对多模态数据进行充分融合利用。
[0004]在近几年中深度学习持续发力，但是，通过深度学习的方法来对冠心病进行预测仍然存在以下几个问题：
[0005](1)数据集数量和分布不均衡问题，医学数据需要耗费一定的人力和物力进行采集，采集时间长，且正负样本分布不均衡，这会极大地影响深度学习模型的训练过程和输出结果。
[0006](2)相关检查产生的医学数据通常以多模态的形式存在，目前现有研究均为分析某种单模态数据与冠心病之间的关系，没有对多模态数据进行充分融合利用来对冠心病进行预测。
[0007](3)医学文本数据不能直接用于深度网络的计算，需要对其进行数字化表示。对于医学长文本，采用简单的CNN、词向量生成模型(CBOM、skip
‑
grams)、长短时记忆网络等不能很好地对医学实体进行向量表示，影响模型准确率。

技术实现思路

[0008]为了解决现有技术的不足，本专利技术提供了基于多模态颈动脉数据的冠心病预测系统；通过深度学习方法对多模态的颈动脉数据进行有效挖掘来预测冠心病。
[0009]第一方面，本专利技术提供了基于多模态颈动脉数据的冠心病预测系统；
[0010]基于多模态颈动脉数据的冠心病预测系统，包括：
[0011]获取模块，其被配置为：获取待预测患者的图像数据和文本数据；其中，所述图像数据，是指颈动脉不同模态图像；
[0012]特征提取模块，其被配置为：对每种模态的图像提取图像特征；
[0013]文本特征提取模块，其被配置为：对文本数据提取文本特征；
[0014]跨模态融合模块，其被配置为：将不同模态的图像特征进行特征融合，得到融合的图像特征；
[0015]预测模块，其被配置为：将文本特征与融合的图像特征进行串联，将串联后的特征输入到训练后的冠心病分类模型中，得到冠心病预测结果。
[0016]第二方面，本专利技术还提供了一种电子设备，包括：
[0017]存储器，用于非暂时性存储计算机可读指令；以及
[0018]处理器，用于运行所述计算机可读指令，
[0019]其中，所述计算机可读指令被所述处理器运行时，执行以下步骤：
[0020]获取待预测患者的图像数据和文本数据；其中，所述图像数据，是指颈动脉不同模态图像；
[0021]对每种模态的图像提取图像特征；
[0022]对文本数据提取文本特征；
[0023]将不同模态的图像特征进行特征融合，得到融合的图像特征；
[0024]将文本特征与融合的图像特征进行串联，将串联后的特征输入到训练后的冠心病分类模型中，得到冠心病预测结果。
[0025]第三方面，本专利技术还提供了一种存储介质，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行以下步骤：
[0026]获取待预测患者的图像数据和文本数据；其中，所述图像数据，是指颈动脉不同模态图像；
[0027]对每种模态的图像提取图像特征；
[0028]对文本数据提取文本特征；
[0029]将不同模态的图像特征进行特征融合，得到融合的图像特征；
[0030]将文本特征与融合的图像特征进行串联，将串联后的特征输入到训练后的冠心病分类模型中，得到冠心病预测结果。
[0031]第四方面，本专利技术还提供了一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于执行以下步骤：
[0032]获取待预测患者的图像数据和文本数据；其中，所述图像数据，是指颈动脉不同模态图像；
[0033]对每种模态的图像提取图像特征；
[0034]对文本数据提取文本特征；
[0035]将不同模态的图像特征进行特征融合，得到融合的图像特征；
[0036]将文本特征与融合的图像特征进行串联，将串联后的特征输入到训练后的冠心病分类模型中，得到冠心病预测结果。
[0037]与现有技术相比，本专利技术的有益效果是：
[0038]本专利技术通过将多种类型图像数据进行融合，还将图像数据与文本数据进行融合，利用融合的多模态颈动脉数据，实现冠心病的精准预测。
附图说明
[0039]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0040]图1为实施例一的方法流程图。
具体实施方式
[0041]应该指出，以下详细说明都是示例性的，旨在对本专利技术提供进一步的说明。除非另
有指明，本文使用的所有技术和科学术语具有与本专利技术所属
的普通技术人员通常理解的相同含义。
[0042]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本专利技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0043]在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0044]本实施例所有数据的获取都在符合法律法规和用户同意的基础上，对数据的合法应用。
[0045]实施例一
[0046]本实施例提供了基于多模态颈动脉数据的冠心病预测系统；
[0047]如图1所示，基于多模态颈动脉数据的冠心病预测系统，包括：
[0048]获取模块，其被配置为：获取待预测患者的图像数据和文本数据；其中，所述图像数据，是指颈动脉不同模态图像；
[0049]特征提取模块，其被配置为：对每种模态的图像提取图像特征；
[0050]文本特征提取模块，其被配置为：对文本数据提取文本特征；
[0051]跨模态融合模块，其被配置为：将不同模态的图像特征进行特征融合，得到融合的图像特征；
[0052]预测模块，其被配置为：将文本特征与融合的图像特征进行串联，将串联后的特征输入到训练后的冠心病分类模型中，得到冠心病预测结果。
[0053]进一步地，所述颈动脉不同模态图像，包括：颈动脉CT图像和颈动脉MR图像。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多模态颈动脉数据的冠心病预测系统，其特征是，包括：获取模块，其被配置为：获取待预测患者的图像数据和文本数据；其中，所述图像数据，是指颈动脉不同模态图像；特征提取模块，其被配置为：对每种模态的图像提取图像特征；文本特征提取模块，其被配置为：对文本数据提取文本特征；跨模态融合模块，其被配置为：将不同模态的图像特征进行特征融合，得到融合的图像特征；预测模块，其被配置为：将文本特征与融合的图像特征进行串联，将串联后的特征输入到训练后的冠心病分类模型中，得到冠心病预测结果。2.如权利要求1所述的基于多模态颈动脉数据的冠心病预测系统，其特征是，所述颈动脉不同模态图像，包括：颈动脉CT图像和颈动脉MR图像。3.如权利要求1所述的基于多模态颈动脉数据的冠心病预测系统，其特征是，所述文本数据，包括：数字化检测结果和症状描述语言。4.如权利要求1所述的基于多模态颈动脉数据的冠心病预测系统，其特征是，所述对每种模态的图像提取图像特征，具体通过特征提取网络进行特征提取；其中，所述特征提取网络，包括：依次连接的Resnet101主干网络、通道注意力机制层和卷积层。5.如权利要求1所述的基于多模态颈动脉数据的冠心病预测系统，其特征是，所述对文本数据提取文本特征，具体通过BERT编码器来实现。6.如权利要求1所述的基于多模态颈动脉数据的冠心病预测系统，其特征是，所述将不同模态的图像特征进行特征融合，得到融合的图像特征；具体采用的特征融合方式为：加权融合。7.如权利要求6所述的基于多模态颈动脉数据的冠心病预测系统，其特征是，所述加权融合中，是：先计算MR图像的查询向量Query和键向量Key...

【专利技术属性】
技术研发人员：刘治，胡喜风，李玉军，曹艳坤，陶可猛，
申请(专利权)人：山东大学，
类型：发明
国别省市：