融合临床信息与磁共振图像的心肌病预后辅助预测方法技术

本发明专利技术涉及一种融合临床信息与磁共振图像的心肌病预后辅助预测方法，所述方法首先采用Relief特征选择算法进行临床指标的筛选，然后将筛选出的临床指标与心脏MRI图像进行特征融合，构建预测神经网络模型MM

【技术实现步骤摘要】
融合临床信息与磁共振图像的心肌病预后辅助预测方法


[0001]本专利技术涉及医学图像处理领域，尤其涉及一种融合临床信息与磁共振图像的心肌病预后辅助预测方法。

技术介绍

[0002]扩张型心肌病是一种常见的慢性心脏病，是全世界发病率最高的一类心肌病，在心肌病中占比达90%，可导致心力衰、血栓栓塞及猝死。心脏磁共振图像的多参数、多序列成像可以从心脏形态和结构方面的变化预测扩张型心肌病患者的预后情况，根据LGE、T1 mapping和ECV判断扩张型心肌病患者的心肌组织学异常，为扩张型心肌病预后提供新的影像学指标。因此，心脏MRI在扩张型心肌病预后预测和评估方面具有十分重要的作用。然而，相关研究表明扩张型心肌病患者预后与性别、年龄、纽约心脏协会（New York Heart Association, NYHA）心功能分级、LVEF、高血压、糖尿病等因素密切相关，这些临床指标能够为扩张型心肌病预后预测提供重要信息，辅助临床医师进行预后风险评估做出快速精确的判断。
[0003]传统的医学图像分类方法包括K近邻算法（K
‑
Nearest Neighbor, KNN）、朴素贝叶斯分类算法（Na
ï
ve Bayes）、支持向量机（Support Vector Machine，SVM）和反向传播（Back Propagation，BP）神经网络等。近年来流行的深度学习分类方法，克服了传统方法手动选取特征、适应性弱等问题，逐渐成为医学图像分类的主流方法。
[0004]1998年，有学者提出了经典的LeNet最初用于手写数字识别与分类，准确率达98%。LeNet出现后的很长一段时间，深度卷积神经网络并未引起很大关注。直到2012年，得益于互联网及多媒体数据的大幅增长、计算机硬件性能的显著提高以及训练方法的优化，Alex等人设计了一个8层的卷积神经网络AlexNet，大幅提高分类性能并在2012年ImageNet 比赛中领先夺冠。牛津大学计算机视觉组和Google DeepMind公司提出的VGGNet取得了2014年ImageNet比赛定位项目第一名和分类项目第二名。有研究人员提出VGG16对膀胱瘤病人病理切片图像进行癌症分级预测。又有学者提出一种注意力的VGG19并用于乳腺癌增强CT图像分类。GoogleNet取得了2014年ImageNet分类项目第一名（第二名是VGGNet），网络采用了Inception结构来进行多尺度特征提取同时拓展网络宽度和深度，有学者采用了一种改进的GoogLeNet对胸部X射线图片进行正侧面的分类，准确率接近100%。国外学者将GooLeNet成功用于阿兹海默症病人的MRI图像进行多分类。当网络达到一定深度后再继续增加网路层数，网络性能不增反降。为了解决性能退化问题，微软研究院何凯明等人提出了ResNet，通过不断堆叠残差模块（residual block）成功训练了152层深度的卷积网络，后续有人采用ResNet在3D MRI上对阿兹海默症病人和正常人进行分类。吴云峰等人提出一种Inception
‑
ResNet对肺部CT图像进行分类，有效降低模型的参数量。DenseNet拓展ResNet的跨层连接方式，在稠密连接模块中将网络中的每一层都直接与其前面层相连，实现了特征的重用并减少网络参数数量，缓解了梯度消失。随后，提出一种121层的DenseNet对胸部X射线图片进行14种疾病的分类。以及将DenseNet与CapsNet相结合对肺部X射线图进行分类
诊断新冠病毒感染。
[0005]现有技术存在的不足：1、现有模型是单模态模型，主要针对磁共振图像数据进行训练，未设计针对临床指标和磁共振图像的多源数据融合模型，忽略了临床信息的作用。
[0006]2、在特征提取中，采用不断堆叠的空洞卷积来达到高维特征提取的目的，造成训练难度高、梯度消失且计算复杂度过高。
[0007]3、在特征融合中，对原始数据不做任何特征提取直接进行融合（即数据层融合），造成冗余信息过多且模型无法实时处理。

技术实现思路

[0008]针对现有技术之不足，本专利技术提出一种融合临床信息与磁共振图像的心肌病预后辅助预测方法，所述方法首先采用Relief特征选择算法进行临床指标的筛选，然后将筛选出的临床指标与心脏MRI图像进行特征融合，构建预测神经网络MM
‑
Net,包括两个独立的特征提取分支：临床特征分支和图像特征分支，分别进行临床指标和心脏MRI图像的特征提取，最后将两个分支分别提取的高维特征信息进行融合处理，输出最终的心脏MRI图像分类结果，辅助预测扩张型心肌病患者是否发生严重的预后事件，具体包括：步骤1：基于Relief特征选择算法的临床指标筛选，包括：步骤11：采集的临床指标构成临床指标数据集，对所述临床指标数据集中的临床指标进行数据清洗和预处理，删除指标缺失程度较大的数据，补充缺失程度较小的数据，然后对非数值型数据项进行转换；步骤12：采用Relief特征选择算法依次计算所述临床指标数据集中共18个临床指标的权重大小，通过排序得出各个指标与扩张型心肌病预后的相关程度；步骤13：剔除掉权重为负值的临床指标，保留权重为正值的临床指标；步骤2：所述临床特征分支提取临床指标高维特征，将步骤13中保留的权重为正值的临床指标送入所述临床特征分支中，所述临床特征分支包括依次级联的三个神经元个数分别为16、32和64的全连接层，经过所述临床特征分支后，得到临床指标的高维特征；步骤3：将获取的心脏MRI图像集输入所述图像特征分支中，通过所述图像特征分支的编码器
‑
解码器结构提取扩张型心肌病MRI图像的高维分类特征，具体包括：步骤31：首先，对心脏MRI图像数据进行预处理，将原始图像和标注图像空间间距处理成1.0
×
1.0mm2，将像素进行归一化使其分布在[
‑
1.0,1.0]的浮点数范围之内，并且通过旋转、平移操作对正样本数据进行增强；步骤32：通过编码器前端级联的2层3
×
3大小的普通卷积进行浅层特征提取；步骤33：编码器还包括依次级联6个深度分离残差模块SRM，构建自下而上的快速前馈扫描进行特征提取、快速增加感受野，采用残差学习策略，所述深度分离残差模块SRM采用残差连接，在每个深度分离残差模块中利用依次级联空洞率为3、5、7，卷积核大小为3
×
3的分离卷积层进行多尺度特征提取，将步骤32提取的浅层特征输入深度分离残差模块，得到跨任务特征；步骤34：将所述跨任务特征输入解码器进行解码，在解码器部分引入注意力机制，采用残差注意力模块RAM进行自上而下的全局信息扩展，有针对性地提取对分类任务有重
要指导作用的特征，增强有效特征的作用并抑制冗余信息；步骤35：解码器的最后一层用池化窗口为3
×
3大小的全局平均池化层降低特征维度，得到心脏MRI图像的高维特征；步骤4：采用多源信息融合策略将临床指标的高维特征与心脏MRI图像的高维特征进行融合并预测，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.融合临床信息与磁共振图像的心肌病预后辅助预测方法，其特征在于，所述方法首先采用Relief特征选择算法进行临床指标的筛选，然后将筛选出的临床指标与心脏MRI图像进行特征融合，构建预测神经网络MM
‑
Net,包括两个独立的特征提取分支：临床特征分支和图像特征分支，分别进行临床指标和心脏MRI图像的特征提取，最后将两个分支分别提取的高维特征信息进行融合处理，输出最终的心脏MRI图像分类结果，辅助预测扩张型心肌病患者是否发生严重的预后事件，具体包括：步骤1：基于Relief特征选择算法的临床指标筛选，包括：步骤11：采集的临床指标构成临床指标数据集，对所述临床指标数据集中的临床指标进行数据清洗和预处理，删除指标缺失程度较大的数据，补充缺失程度较小的数据，然后对非数值型数据项进行转换；步骤12：采用Relief特征选择算法依次计算所述临床指标数据集中共18个临床指标的权重大小，通过排序得出各个指标与扩张型心肌病预后的相关程度；步骤13：剔除掉权重为负值的临床指标，保留权重为正值的临床指标；步骤2：所述临床特征分支提取临床指标的高维特征，将步骤13中保留的权重为正值的临床指标送入所述临床特征分支中，所述临床特征分支包括依次级联的三个神经元个数分别为16、32和64的全连接层，经过所述临床特征分支后，得到临床指标的高维特征；步骤3：将获取的心脏MRI图像集输入所述图像特征分支中，通过所述图像特征分支的编码器
‑
解码器结构提取扩张型心肌病MRI图像的高维分类特征，具体包括：步骤31：首先，对心脏...

【专利技术属性】
技术研发人员：彭静，郑子建，任红萍，李孝杰，吴锡，
申请(专利权)人：成都信息工程大学，
类型：发明
国别省市：