一种基于注意力机制的深度学习影像组学诺模图预测方法技术

本发明专利技术涉及一种基于注意力机制的深度学习影像组学诺模图预测方法，该方法包括以下步骤：数据预处理模块，深度学习网络的训练和图像特征提取模块、临床病理的特征选择模块，深度学习特征评分的建立以及多模态特征融合模块；对深度学习网络的训练和图像特征提取模块，使用DenseNet121结合SENet注意力机制训练深度学习网络，并深度学习模型的倒数第二个全连接层输出，作为每个图像的网络特征；特征选择模块，采用单因素和多因素COX回归，将P值小于0.05的显著性因素纳入多变量COX回归中进行分析；本发明专利技术将SENet注意力机制信引入DenseNet121卷积神经网络，可以引导网络以高权重方式聚焦CT图像中的重要信息，使用逻辑回归诺模图的方法结合多模态特征，SEDLR

【技术实现步骤摘要】
一种基于注意力机制的深度学习影像组学诺模图预测方法

：
[0001]本专利技术涉及模型预测的技术，尤其是一种基于注意力机制的深度学习影像组学诺模图预测方法，该方法在模型预测方面有着很好的应用。

技术介绍
：
[0002]乳腺癌是最常见的恶性肿瘤，也是全世界女性癌症相关死亡的主要原因之一。随着辅助治疗的广泛采用，早期乳腺癌患者的预后得到显著改善。然而，大约20％到25％的乳腺癌患者会发生乳腺癌远处转移，远处转移是乳腺癌患者死亡的主要原因。为了提取医学影像中更深层次的医学信息，基于卷积神经网络的深度学习模型被越来越多的研究学者运用到医学图像分析的研究中。深度学习中的卷积神经网络可以用高通量、多维度和抽象化的特征信息来表达原始图像，相比其他方法，卷积核可以自动地提取图像特征，从而避免了繁杂耗时的特征提取工作。采用深度学习方法提取特征，通常将整张图像作为输入。然而医学影像分析更关注于病灶区域信息，对图像的全局处理会导致信息冗余。注意力机制作为一种高效的资源分配方案，已经被应用于特征提取模型。将注意力机制嵌入神经网络中，可以引导网络以高权重方式聚焦身体成分区域的重要信息，以低权重方式忽略不相关的信息，从而能够提高网络的特征提取能力。
[0003]为了实现更好的预测性能，本专利技术采用了一种基于注意力机制的深度学习影像组学诺模图模型，用于预测和评估乳腺癌的远处转移。进一步构建了网络特征，身体成分和临床病理因素的整合多模态诺模图模型。

技术实现思路
：
[0004]为了解决提升模型预测性能的问题，本专利技术公开了一种基于注意力机制的深度学习影像组学诺模图方法。
[0005]为此，本专利技术提供了如下技术方案：
[0006]1.一种基于注意力机制的深度学习影像组学诺模图方法，其特征在于，该方法包括以下步骤：
[0007]步骤1：利用ImageJ软件来分析T4层和T11层的CT横截面图像，从而测量身体成分参数。
[0008]步骤2：使用DenseNet121结合SENet注意力机制训练深度学习网络，然后使用数据集中验证队列的数据调整模型参数。
[0009]步骤3：特征选择模块，采用单因素和多因素COX回归，将P值小于0.05的显著性因素纳入多变量COX回归中进行分析。
[0010]步骤4：从CT图像中提取10个网络特征进行逻辑回归加权得到DL.signature。
[0011]步骤5：使用逻辑回归将选取的临床病理因素和身体成分特征以及DL.signature加权融合构建乳腺癌的诺模图预后模型SEDLR
‑
N。
[0012]有益效果：
[0013]1.本专利技术是一种基于融合注意力机制的深度学习影像组学诺模图方法，是对乳腺癌远处转移模型预测的一种新方法。
[0014]2.本专利技术结合了深度学习影像组学方法从乳腺癌的CT图像中提取出高通量特征，使用融合通道注意力机制的卷积神经网络来以高权重方式聚焦身体成分区域的重要信息，以低权重方式忽略CT图像中不相关的信息，从而能够提高网络的特征提取能力。采用加权诺模图结合不同模态的特征，为每个模态的特征赋予不同的权重值提高多模态模型的预测性能。
附图说明：
[0015]图1为本专利技术的结构示意图。
[0016]图2为本专利技术实施方式中的基于融合注意力机制的深度学习影像组学诺模图模型过程图。
[0017]图3为本专利技术实施方式中的SEDLR
‑
N模型在不同阈值下的标准化净收益图。
具体实施方式：
[0018]为了使本专利技术的实施例中的技术方案能够清楚和完整地描述，以下结合实施例中的附图，对本专利技术进行进一步的详细说明。
[0019]如图1所示，本专利技术实施例提供了一种基于融合注意力机制的深度学习影像组学诺模图方法，包括以下步骤：
[0020]步骤1：利用ImageJ软件来分析T4层和T11层的CT横截面图像，从而测量身体成分参数。
[0021]步骤1
‑
1调整ImageJ软件的阈值，骨骼肌的HU阈值为
‑
29到+150，内脏脂肪组织为
‑
150到
‑
50，皮下脂肪组织为
‑
190到
‑
30。
[0022]步骤1
‑
2从乳腺癌的T4层和T11层的CT图像中测量出胸肌面积(PMA)、竖脊肌面积(ESMA)、内脏脂肪组织面积(VFA)和皮下脂肪组织面积(SFA)。
[0023]步骤1
‑
3面积除以患者身高的平方可计算得到胸肌指数(PMI)、竖脊肌指数(ESMI)、内脏脂肪组织指数(VFI)和皮下脂肪组织指数(SFI)。
[0024]本专利技术实施方式中的一种基于注意力机制的深度学习影像组学诺模图模型过程，如图2所示，具体过程如下：
[0025]步骤2
‑
1DenseNet121网络密集连接的稠密块加强了特征的传播，其第n个卷积块的输出特征向量可以表示为：
[0026]F
n
＝[X0,X1,...,X
n
‑1,H
n
([X0,X1,...,X
n
‑1])][0027]步骤2
‑
2在卷积神经网络模型中加入SENet注意力机制，在每个密集块的最后一层使用SENet模块。
[0028]步骤2
‑
3全链接层，模型在全连接层中执行矩阵计算：output＝WX+b然后进行非线性激活，其中W、X、b分别是可学习的权重矩阵、数据矩阵和按元素添加的偏置值。将深度学习模型的倒数第二个全连接(FC)层输出，作为每个图像的网络特征。
[0029]步骤2
‑
4损失函数，预测分类情况的好坏可以通过损失函数来评价，使用交叉熵损失(Cross
‑
entropy loss)来评价模型。
[0030][0031]n为待预测样本总数，x为预测样本，y为该样本实际值，为该样本预测值。
[0032]步骤2
‑
5优化器，Adam优化器将动量直接整合到了梯度的一阶矩(即指数加权移动平均)估计中。相比于RMSProp优化器在训练初期可能出现高偏差的问题，Adam优化器通过包含修正因子来修正从原点初始化的一阶矩(即动量项)和非中心的二阶矩估计。Adam算法策略可以表示为：
[0033][0034]其中，和分别为一阶动量项和二阶动量项。为动力值大小通常分别取0.9和0.999，分别为各自的修正值。表示t时刻即第t迭代模型的参数，表示t次迭代代价函数关于W的梯度大小；∈是一个取值很小的数(一般为1e
‑
8)为了避免分母为0。
[0035]步骤2
‑
6卷积神经网络中的激活函数可以表示为：
[0036][0037][0038]ReLU＝max(0,r)
[0039]步骤3：特征选本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制的深度学习影像组学诺模图预测方法，其特征在于，该方法包括以下步骤：步骤1：利用ImageJ软件来分析T4层和T11层的CT横截面图像，从而测量身体成分参数。步骤2：使用DenseNet121结合SENet注意力机制训练深度学习网络，然后使用数据集中验证队列的数据调整模型参数。步骤3：特征选择模块，采用单因素和多因素COX回归，将P值小于0.05的显著性因素纳入多变量COX回归中进行分析。步骤4：从CT图像中提取10个网络特征进行逻辑回归加权得到DL.signature。步骤5：使用逻辑回归将选取的临床病理因素和身体成分特征以及DL.signature加权融合构建乳腺癌的诺模图预后模型SEDLR
‑
N。2.根据权利要求1所述的一种基于注意力机制的深度学习影像组学诺模图预测方法，其特征在于，所述步骤1中，数据预处理模块，对完整图像数据集进行身体成分参数的测量，具体步骤为：步骤1
‑
1调整ImageJ软件的阈值，骨骼肌的HU阈值为
‑
29到+150，内脏脂肪组织为
‑
150到
‑
50，皮下脂肪组织为
‑
190到
‑
30。步骤1
‑
2从乳腺癌的T4层和T11层的CT图像中测量出胸肌面积(PMA)、竖脊肌面积(ESMA)、内脏脂肪组织面积(VFA)和皮下脂肪组织面积(SFA)。步骤1
‑
3面积除以患者身高的平方可计算得到胸肌指数(PMI)、竖脊肌指数(ESMI)、内脏脂肪组织指数(VFI)和皮下脂肪组织指数(SFI)。3.根据权利要求1所述的一种基于注意力机制的深度学习影像组学诺模图预测方法，其特征在于，所述步骤2中图像特征提取模块，使用通道注意力机制和卷积神经网络相结合的方法对乳腺癌CT图像进行特征提取，具体步骤为：步骤2
‑
1DenseNet121网络密集连接的稠密块加强了特征的传播，其第n个卷积块的输出特征向量可以表示为：F
n
＝[X0,X1,...,X
n
‑1,H
n
([X0,X1,...,X
n
‑1])]步骤2
‑
2在卷积神经网络模型中加入SENet注意力机制，在每个密集块的最后一层使用SENet模块。步骤2
‑
3全链接层，模型在全连接层中执行矩阵计算：output＝WX+b然后进行非线性激活，其中W、X、b分别是可学习的权重矩阵、数据矩阵和按元素添加的偏置值。将深度学习模型的倒数第二个全连接(FC)层输出，作为每个图像的网络特征。步骤2
‑
4损失函数，预测分类情况的好坏可以通过损失函数来评价，使用交叉熵损失(Cross
‑
entropy loss)来评价模型。n为待预测样本总数，x为预测样本，y为该样本实际值，为该样本预测值。步骤2
‑
5优化器，Adam优化器将动量直接整合到了梯度的一阶矩(即指数加权移动平均)估...

【专利技术属性】
技术研发人员：安云飞，周文进，苗世迪，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：