【技术实现步骤摘要】
本申请涉及深度学习与医学图像识别诊断的交叉，具体公开了一种基于多任务的注意力特征融合的心脏纤维化诊断模型。
技术介绍
1、心脏纤维化是一种重要的病理变化，它对心脏的功能会产生显著影响。准确诊断心脏纤维化对于早期发现和治疗心血管疾病具有极其重要的意义。根据世界卫生报告显示，心脏病是全球死亡的主要原因之一，其中心血管疾病(cvd)每年导致约1730万人死亡，预计到2030年这一数字将增加至超过2360万。心脏纤维化作为心肌损伤的一个主要组织学特征，与多种心脏疾病紧密相关，如动脉高血压、瓣膜性心脏病、糖尿病心肌病、肥厚型心肌病、扩张型心肌病以及心脏老化等。心脏磁共振成像(cardiac magnetic resonance，cmr)是诊断心脏纤维化的重要手段，尤其是通过延迟钆增强(late gadolinium enhancement,lge)技术，能够有效地识别心脏纤维化。cmr通过使用强大的磁场和计算机来创建心脏及其周围环境的详细图像，对于先天性心脏病或后天性心脏病的检测和跟踪具有重要作用。然而，心脏纤维化的准确诊断依赖于高空间分辨率的成像技术，传统的诊断方法可能需要手动提取特征，费时费力且容易出现误差。因此，开发自动化的诊断方法对于提高诊断效率、减少误差具有重要价值。
2、目前针对心脏纤维化的自动诊断已有不少工作，其中的方法大致可以分为两类，一类是经典的机器学习算法，另一类是使用深度学习进行自动诊断。机器学习算法的工作包括，pu等人收集了273例心肌病患者影像进行影像组学研究，使用logistic回归分析找到了预测性
3、使用深度学习算法的工作包括，popescu等人基于深度学习研发了一种多阶段的网络，用于在对比增强心脏磁共振成像(lge-cmr)中自动进行心肌和瘢痕纤维化分割，以及临床特征的提取。具体来说构建了一个三阶段的神经网络，首先识别左心室(lv)感兴趣区域(roi)，然后分割roi为活性心肌和增强区域，并最终通过后处理阶段调整预测结果以符合解剖学约束，共使用了155个二维lge-cmr患者扫描和246个合成的lge样扫描进行训练和测试。结果显示，预测的左心室和瘢痕分割分别达到了96％和75％的平衡准确率。marco等人搭建了卷积神经网络模型，解决早期对比增强心脏计算机断层扫描(ce-cct)图像中检测心肌纤维化的问题。对50名已知左心室功能不全(lvd)的患者进行了ce-cmr和(早期及晚期)ce-cct检查。根据ce-cmr的模式，患者被分类为缺血性或非缺血性lvd。研究者在早期ce-cct图像上根据美国心脏协会(aha)的16段模型提取心肌节段，并基于晚期ce-cct的手动追踪将其标记为有瘢痕或无瘢痕。开发的深度学习模型来对每个节段进行分类。通过分析44,187个左心室节段，模型达到了71％的准确率，并且auc达到76％。此外，通过将ce-cmr与相应的早期ce-cct结果进行比较，模型与实际的一致性达到了89％。这表明深度学习在早期ce-cct采集中检测到受心肌纤维化影响的左心室节段，而无需额外的造影剂注射或辐射剂量；
4、心脏纤维化是一种以心脏间质中非收缩性细胞外基质异常沉积为特征的病理状态，这种异常沉积导致心脏结构和功能的改变。心脏纤维化的特征特点包括心脏组织的硬化和瘢痕形成，这些变化可能导致心脏收缩和舒张功能的障碍。目前在诊断心脏纤维化的过程中存在以下问题：
5、1.机器学习算法的局限性：使用机器学习算法进行心脏纤维化的诊断具有局限性，机器学习高度依赖手工特征工程，需要医学专家从大量医学影像、血液检测指标、生物标志物水平等多种数据源中提取特征，不同专家对哪些特征最重要可能有不同见解，这也导致模型训练过程中出现一致性问题，影响模型诊断的稳定性和准确性。
6、2.心脏纤维化数据具有异质性：心脏纤维化患者的临床表现和影像学特征可能因个体差异、疾病阶段及合并症的不同而有所变化，导致数据的异质性较高。机器学习算法和简单的神经网络算法在处理这类数据时，可能难以捕捉到心脏纤维化疾病的核心病理特征，影响最终对疾病的诊断正确率
7、3.心脏纤维化数据量少：目前的研究工作心脏纤维化患者的样本数量相对较少，通常只有几百例数据，对于机器学习或者深度学习来说，无法提取到有泛化性的特征，模型的提取能力不足，最终会使得对心脏纤维化疾病的诊断准确率降低。
8、4.需要进行roi标注：对于目前大多数深度学习算法来说，需要先将mr影像中的心脏部分标记出来，接着让神经网络学习对应心脏标注的影像完成对心脏纤维化的诊断，这种做法并不是端到端的提取，需要人工对心脏的标记，而每次对心脏进行标注需要耗费额外的时间。
9、5.病变区域的不明确边界：心脏纤维化可以表现为局灶性或弥漫性，其形态学特征可能包括条带状、斑点状或片状分布，不同类型的纤维化具有不同的形态，因此不同形态区域与正常心肌之间的边界也会不同。
10、针对以上问题，本专利技术提出一种基于多任务的注意力特征融合的心脏纤维化诊断模型。
11、针对问题1和问题2，本专利技术提出一种改进的mask r-cnn算法，引入了创新的双级特征金字塔网络(dual-level feature pyramid network)结构，包括像素级fpn(pixel-feature pyramid network，p-fpn)和区域级fpn(region-feature pyramid network,r-fpn)，以实现更精细的特征融合和逐步提高的掩码分辨率。此外，本专利技术还设计了一个高效的特征聚合模块(feature aggregation module,fam)，通过对区域级特征和像素级特征权重的动态调整，增强了模型对心脏纤维化影像关键特征的学习，同时自注意力的特征融合机制，提升了网络模型对心脏纤维化任务的分割精度和诊断准确性
12、针对问题3，本专利技术采用自监督学习技术来增强模型对心脏mr影像中特征的提取能力，具体而言，本专利技术设计了一个编码器-解码器架构，该架构利用resnet模块作为编码器的基础，接着对原始图像进行随机掩码，图像恢复的目标就是重建图像中的掩码部分，同时对随机掩码后的mr影像进行随机缩放，随机旋转作为数据增强，然后模型通过特征提取和图像重建两个阶段来恢复原始心脏mr影像，通过这一过程，编码器能够深入挖掘心脏纤维化数据的内在语义信息，减少了对大规模标注数据集的依赖，缓解了心脏纤维化患者样本数量少的问题。
13、针对问题4，本专利技术提出一种改进的mask r-cnn算法，对心脏mr影像通过模型进本文档来自技高网...
【技术保护点】
1.一种基于多任务的注意力特征融合的心脏纤维化诊断模型，其特征在于：该诊断模型构建步骤如下：
2.根据权利要求1所述的一种基于多任务的注意力特征融合的心脏纤维化诊断模型，其特征在于，在步骤S01中，所述心脏标签包括0和1号共两个不同的标签，心脏标签具体为：0号标签是背景标签，1号标签是心脏标签，同时对心脏是否纤维化做出判断，同样打出0和1号标签，0号代表正常，1号代表纤维化，将标注后的样本数据分成训练集和测试集。
3.根据权利要求2所述的一种基于多任务的注意力特征融合的心脏纤维化诊断模型，其特征在于，在步骤S02中，归一化处理：(x-μ)/σ，其中，x为心脏MR影像中像素点的HU值，u为所有像素点的HU值得均值，σ为所有像素点的标准差，数据增强：使用随机高斯噪声、随机对比度增强和随机镜像翻转，随机水平翻转和随机旋转。
4.根据权利要求1所述的一种基于多任务的注意力特征融合的心脏纤维化诊断模型，其特征在于，在步骤S03中，心脏纤维化影像特征包括纹理和边缘信息，卷积块的具体组成：卷积层、LeakyReLU激活函数和BN层，卷积层进一步提取心脏MR影
5.根据权利要求4所述的一种基于多任务的注意力特征融合的心脏纤维化诊断模型，其特征在于，在步骤S03中，图像分割网络的作用是将编码器提取的特征图进一步细化和上采样，以恢复到接近原始输入图像的分辨率，ConvTranspose层利用了训练数据中的结构信息减少图像的伪影和模糊。
6.据权利要求5所述的一种基于多任务的注意力特征融合的心脏纤维化诊断模型，其特征在于，在步骤S03中，网络整体结构基于Mask R-CNN进行改进，第一个改进是网络的BackBone，使用步骤S03中图像恢复网络的编码层进行替代，同时将编码层的参数进行迁移，图像恢复网络通过自监督学习心脏影像的恢复任务，编码层学习到了心脏影像的语义信息和典型特征，将网络参数进行迁移，加快改进的Mask R-CNN模型的收敛速度，特征金字塔网络FPN，引入双级特征金字塔网结构，双级特征金字塔网结构包括像素级FPN和区域级FPN，捕获心脏MR影像的全局上下文和局部细节，特征聚合模块FAM，动态调整区域级特征权重和像素级特征权重。
7.据权利要求6所述的一种基于多任务的注意力特征融合的心脏纤维化诊断模型，其特征在于，在步骤S04中，在模型的训练中，使用Adam优化器进行模型训练，具体公式如下：
8.据权利要求7所述的一种基于多任务的注意力特征融合的心脏纤维化诊断模型，其特征在于，在步骤S05中，patience参数设置为5次，当Loss在连续50个Epoch中均未下降时，则学习率自动减小为原来的1/10，共训练5000轮，损失函数使用多种loss混合，包括计算分割的损失diceloss、计算分类的损失cross entropy，以及针对心脏纤维化病变区域边界不明确问题提出的边缘损失edgeloss，diceloss的式子如下：
9.据权利要求8所述的一种基于多任务的注意力特征融合的心脏纤维化诊断模型，其特征在于，在步骤S05中，Cross entropy的式子如下：
10.据权利要求9所述的一种基于多任务的注意力特征融合的心脏纤维化诊断模型，其特征在于，针对心脏纤维化边界不明确问题本专利技术设计了边缘损失edgeloss计算方法如下:
...【技术特征摘要】
1.一种基于多任务的注意力特征融合的心脏纤维化诊断模型，其特征在于：该诊断模型构建步骤如下：
2.根据权利要求1所述的一种基于多任务的注意力特征融合的心脏纤维化诊断模型，其特征在于，在步骤s01中，所述心脏标签包括0和1号共两个不同的标签，心脏标签具体为：0号标签是背景标签，1号标签是心脏标签，同时对心脏是否纤维化做出判断，同样打出0和1号标签，0号代表正常，1号代表纤维化，将标注后的样本数据分成训练集和测试集。
3.根据权利要求2所述的一种基于多任务的注意力特征融合的心脏纤维化诊断模型，其特征在于，在步骤s02中，归一化处理：(x-μ)/σ，其中，x为心脏mr影像中像素点的hu值，u为所有像素点的hu值得均值，σ为所有像素点的标准差，数据增强：使用随机高斯噪声、随机对比度增强和随机镜像翻转，随机水平翻转和随机旋转。
4.根据权利要求1所述的一种基于多任务的注意力特征融合的心脏纤维化诊断模型，其特征在于，在步骤s03中，心脏纤维化影像特征包括纹理和边缘信息，卷积块的具体组成：卷积层、leakyrelu激活函数和bn层，卷积层进一步提取心脏mr影像的高级特征，leakyrelu激活函数引入非线性变化，使得模型能够学习和模拟更复杂的函数映射，bn层用于加快训练速度。
5.根据权利要求4所述的一种基于多任务的注意力特征融合的心脏纤维化诊断模型，其特征在于，在步骤s03中，图像分割网络的作用是将编码器提取的特征图进一步细化和上采样，以恢复到接近原始输入图像的分辨率，convtranspose层利用了训练数据中的结构信息减少图像的伪影和模糊。
6.据权利要求5所述的一种基于多任务的注意力特征融合的心脏纤维化诊断模型，其特征在...
【专利技术属性】
技术研发人员：王辉山，王悦扬，张誉籍，宋永波，
申请(专利权)人：中国人民解放军北部战区总医院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。