基于融合深度学习网络的早期肺腺癌病理类型预测系统技术方案

本申请公开了一种基于融合深度学习网络的早期肺腺癌病理类型预测系统，涉及图像处理技术领域，预处理模块，用于获取早期肺腺癌病例的术前CT影像数据以及相应的病理类型标签信息并进行数据预处理获得训练集、验证集和测试集；模型改进模块，用于对ResNet模型和ViT模型进行改进；模型确定模块，用于确定融合深度学习网络模型Res

【技术实现步骤摘要】
基于融合深度学习网络的早期肺腺癌病理类型预测系统


[0001]本申请涉及图像处理
，具体涉及一种基于融合深度学习网络的早期肺腺癌病理类型预测系统。

技术介绍

[0002]肺癌的死亡率居于癌症之首，其中约85%的肺癌是非小细胞肺癌，肺腺癌则是非小细胞肺癌中最常见的类型。肺腺癌被分为MIA（minimally invasive adenocarcinoma，微浸润腺癌）和IAC（invasive adenocarcinoma，浸润性腺癌）。其中，AAH（atypicaladenomatous hyperplasia，非典型腺瘤样增生）和AIS（adenocarcinoma in situ，原位癌）在新的分类方法中被归入腺体前驱病变。研究表明肺腺癌潜在发展顺序是AAH
‑
AIS
‑
MIA
‑
IAC，不同病理阶段的肺腺癌的治疗方法和预后也具有较大差异。因此，尽早发现和准确预测其病理类型是提升肺腺癌患者生存率的重要措施。
[0003]CT（computed tomography，多层螺旋计算机断层扫描）筛查是发现肺腺癌患者的关键方法，能够观察到高分辨率的肺部图像。早期肺腺癌在CT影像上表现为GGN（ground
‑
glass nodule，磨玻璃样结节），GGN是密度稍高于正常肺组织的实性或亚实性肺部阴影。不同病理组织类型的早期肺腺癌具有相似的影像特征，仅凭借临床特征和影像学特征鉴别肺腺癌的类型是非常主观的，因此如何快速准确地预测早期肺腺癌的病理类型是本领域亟待解决的技术问题。

技术实现思路

[0004]本申请为了解决上述技术问题，提出了如下技术方案：第一方面，本申请实施例提供了一种基于融合深度学习网络的早期肺腺癌病理类型预测系统，包括：预处理模块，用于获取早期肺腺癌病例的术前CT影像数据以及相应的病理类型标签信息并进行数据预处理获得训练集、验证集和测试集；模型改进模块，用于在深度学习分类网络ResNet模型和ViT模型基础上，利用训练集和验证集进行五折交叉验证，对ResNet模型和ViT模型进行改进；模型确定模块，用于基于改进后的ResNet模型和ViT模型确定融合深度学习网络模型Res
‑
TransNet，并确定所述Res
‑
TransNet的模型参数；预测模块，用于将测试集输入确定模型参数的Res
‑
TransNet进行肺腺癌病理类型预测。
[0005]在一种可能的实现方式中，所述预处理模块包括：重采样单元，用于将CT影像大小不同的体素归一化到1mm*1mm*1mm；归一化单元，用于将样本的特征值转换到同一量纲下，即采用最大最小值归一化方法，保留像素值在[
‑
1200,600]范围的图像数据，将映射到[0,1]区间内；图像裁剪单元，用于将CT影像以病变中心点为中心，把图像裁剪为大小为48mm*
48mm*48mm的立方体；数据增强单元，用于将裁剪后的3D图像通过以90
˚
为增量旋转、对轴进行重新排序及左右翻转操作进行增强，其中数据增强仅针对训练集，验证集和测试集不做处理。
[0006]在一种可能的实现方式中，所述模型改进模块，包括：ResNet模型改进单元，用于经过一个卷积核大小为7*7*7，步长为1的卷积层，所述ResNet中有4个卷积组，每个卷积组由多个残差块构成，每个残差块由卷积核大小分别为1*1*1、3*3*3和1*1*1的卷积层构成；将后两个卷积组合并，三个卷积组的残差块数量分别为3，4和9；最后平均池化层将特征图转化为一个特征向量，经过全连接层后输出两类标签的预测概率值，以0.5为阈值，输出预测标签；ViT模型改进单元，首先将原始图像，N代表Batch size,C代表输入图像的通道数，而D,H,W分别为输入图像的深度，高度和宽度；分解为L个大小为p*p*p的3D图像块，其中序列长度；以上过程为切分48mm*48mm*48mm的原始GGN 3D图像为64个12mm*12mm*12mm大小的图像块，并将其展平后使用可训练的线性投影将其映射到更高的维度D
´
，再为每个图像块添加位置编码信息，最后添加可学习的分类编码信息，由此可得编码器的输入为：。
[0007]在一种可能的实现方式中，编码器由多个编码块Transformer block组成，每个Transformer block由多头自注意力层和全连接神经网络构成，多头自注意力层的核心是自注意力机制，用于描述图像块之间的相关性。
[0008]在一种可能的实现方式中，所述多头自注意力层的注意力的计算包括如下步骤：首先对于输入图像，分别将其与三个权重矩阵相乘分别生成查询向量、键向量和值向量，所有图像块的Q值、K值和V值的具体计算公式为：计算各个图像块自身与其他图像块之间的相关性得分，以保持训练的稳定性对结果进行归一化，其中表示值向量K的维度，最后与值向量相乘得到单个自注意力的得分SA为：。
[0009]在一种可能的实现方式中，多头自注意力MSA机制把图像块输入到不同的子空间中，以提升模型的表达能力，具体为添加h组权重矩阵，将不同注意力层的结果进行拼接，经过线性变换后输出，表达式为：；多头自注意力的结果经过使训练更加稳定的层归一化LN和防止梯度退化的残差连接后，将其结果输入至多层感知器MLP中，MLP将其映射到更大的维度空间进行非线性筛选，最后恢复至原始的维度，该编码块的输出的表达式为：，；其中LN（）具体为对同一层网络的输出进行标准化操作。
[0010]在一种可能的实现方式中，五折交叉验证的每一折采用70个epoch，使用Adam优化器进行参数学习，初始学习率为0.001，采用gradual warmup策略调整学习率，学习率在15个epoch后达到最大值0.01，之后每20个epoch下降为原来的0.1倍；在二分类任务中，正负样本比例接近1：2，采用focal loss作为模型训练过程中的损失函数，设置α为0.3，γ为2.5，具体表达式为：；其中，y
´
为网络输出预测结果的概率。
[0011]在一种可能的实现方式中，所述模型确定模块，包括：第一改进单元，用于将改进后的ViT模型的网络结构添加卷积层，即将图像输入到ViT之前先对图像进行一次卷积操作，其卷积核大小为3*3*3，进行训练之后进行模型迁移；第二改进单元，用于将改进后的ResNet模型进行迁移学习，包括：将ResNet中最后一个卷积组输出的特征和ViT中的类向量进行拼接，将包含全局信息和局部信息的融合特征经过全连接层，输出预测的早期肺腺癌的病理类型的预测概率值，输出预测标签；五折交叉验证单元，用于对ResNet模型、ViT模型和ResNet模型分别进行五折交叉验证，分别求出每一折对应的真阳性TP、假阳性FP、真阴性FN和假阴性FN；准确率计算单元，用于进一步计算模型的准确率，F1值：，其中，，敏感性、特异性和马修斯相关系数，基于分类结果的概率值生成ROC本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于融合深度学习网络的早期肺腺癌病理类型预测系统，其特征在于，包括：预处理模块，用于获取早期肺腺癌病例的术前CT影像数据以及相应的病理类型标签信息并进行数据预处理获得训练集、验证集和测试集；模型改进模块，用于在深度学习分类网络ResNet模型和ViT模型基础上，利用训练集和验证集进行五折交叉验证，对ResNet模型和ViT模型进行改进；模型确定模块，用于基于改进后的ResNet模型和ViT模型确定融合深度学习网络模型Res
‑
TransNet，并确定所述Res
‑
TransNet的模型参数；预测模块，用于将测试集输入确定模型参数的Res
‑
TransNet进行肺腺癌病理类型预测。2.根据权利要求1所述的基于融合深度学习网络的早期肺腺癌病理类型预测系统，其特征在于，所述预处理模块包括：重采样单元，用于将CT影像大小不同的体素归一化到1mm*1mm*1mm；归一化单元，用于将样本的特征值转换到同一量纲下，即采用最大最小值归一化方法，保留像素值在[
‑
1200,600]范围的图像数据，将映射到[0,1]区间内；图像裁剪单元，用于将CT影像以病变中心点为中心，把图像裁剪为大小为48mm*48mm*48mm的立方体；数据增强单元，用于将裁剪后的3D图像通过以90
˚
为增量旋转、对轴进行重新排序及左右翻转操作进行增强，其中数据增强仅针对训练集，验证集和测试集不做处理。3.根据权利要求1所述的基于融合深度学习网络的早期肺腺癌病理类型预测系统，其特征在于，所述模型改进模块，包括：ResNet模型改进单元，用于经过一个卷积核大小为7*7*7，步长为1的卷积层，所述ResNet中有4个卷积组，每个卷积组由多个残差块构成，每个残差块由卷积核大小分别为1*1*1、3*3*3和1*1*1的卷积层构成；将后两个卷积组合并，三个卷积组的残差块数量分别为3，4和9；最后平均池化层将特征图转化为一个特征向量，经过全连接层后输出两类标签的预测概率值，以0.5为阈值，输出预测标签；ViT模型改进单元，首先将原始图像，N代表Batch size,C代表输入图像的通道数，而D,H,W分别为输入图像的深度，高度和宽度；分解为L个大小为p*p*p的3D图像块，其中序列长度；以上过程为切分48mm*48mm*48mm的原始GGN 3D图像为64个12mm*12mm*12mm大小的图像块，并将其展平后使用可训练的线性投影将其映射到更高的维度D
´
，再为每个图像块添加位置编码信息，最后添加可学习的分类编码信息，由此可得编码器的输入为：。4.根据权利要求3所述的基于融合深度学习网络的早期肺腺癌病理类型预测系统，其特征在于，编码器由多个编码块Transformer block组成，每个Transformer block由多...

【专利技术属性】
技术研发人员：贾守强，聂生东，苏悦，
申请(专利权)人：济南市人民医院，
类型：发明
国别省市：