全局-局部特征关联融合的肺部CT图像分割方法技术

本发明专利技术公开了一种全局

【技术实现步骤摘要】
全局
‑
局部特征关联融合的肺部CT图像分割方法


[0001]本专利技术属于生物信息学
，特别涉及一种肺部CT图像分割方法，可用于分割感染患者肺部的感染区域，也可用于患者是否准确感染和判断病情的严重程度。

技术介绍

[0002]图像分割是给定一张图像数据进行分析的第一步，是图像理解的重要组成部分，同时也是图像处理中最困难的问题之一，其在计算机视觉中有着重要的地位。所述图像分割，是指根据灰度、彩色、空间纹理、几何形状把图像划分为若干个互不相交的区域，使得这些特征在同一个区域内表现出一致性或相似性，再在不同区域间表现出明显的不同，简单的说就是在一幅图像中，把目标从背景中分离出来，为图像中的每一个像素打上标签，其中具有相同标签的像素具有相同的特征。患者的计算机断层扫描CT图像的分割任务在医学领域中发挥了重要的作用。对于病毒性肺炎患者的肺部CT图像而言，其CT图像中病灶形状复杂多变、尺度跨度大、病灶边界模糊，并且与背景组织极易混淆，另外，由于一些病毒性肺炎为代表的医学影像数据标注困难，具有高质量标签的样本规模较小这些亟待解决的问题，越来越多的研究人员提出各种分割方法，想要得到分割性能优越的模型。
[0003]近些年来，基于计算机视觉的分割方法主要利用深度学习构建深度网络来进行医学CT图像的分割。基于深度学习的方法中，主要分为两个类别，第一类是基于卷积神经网络的深度分割网络，卷积神经网络通过对输入图像应用卷积层操作，相当于同一滤波器对一张图像的各个部分反复应用，以产生该图像上具有某个位置强度表现的特征图，对于深层的特征图，通过不断上采样操作，将其复原为原本的像素大小，再与真实标签相对比，就可以完成整个分割任务。第二类是以卷积神经网路为基础，加入了注意力机制，注意力机制可以有选择性的关注分割任务中更加重要的特征图信息，忽略其他不重要的信息，在分割任务中，不论是特征图的提取还是复原操作，注意力机制都能发挥更出色的性能。第三类是将Transformer的思想应用于图像分割领域，通过Transformer中的特有网络结构和自注意力机制，取得了不俗的表现。上述所描述的三类方法，并不是独立存在，其相互结合，相互互补，往往能取得更好的性能。
[0004]公开号为CN115457021A的专利文献公开了一种基于联合注意卷积神经网络的皮肤病图像分割方法。其联合了卷积神经网络、空间注意力模块和通道注意力模块构建了分割网络，其融合了多尺度的特征信息取得不错的分割效果。
[0005]公开号为CN111915612A的专利文献公开了一种基于多编码器的卷积神经网络的图像分割方法。其利用了多个编码器提取图像的特征信息，不同的编码器卷积层与池化层参数设置不同，多个编码器提取了不同的维度特征，再将其整合送到解码器中恢复图像的原始分辨率，得到最终的分割结果。
[0006]上述的两种方法由于未曾考虑到全局特征与局部特征之间的关联，因而对图像特征信息的提取不够全面，使得解码器在恢复图像原始分辨率时特征信息不足，影响模型分割精度。

技术实现思路

[0007]本专利技术的目的在于克服上述现有技术的不足，提出一种全局
‑
局部特征关联融合的肺部CT图像分割方法，以通过网络建模获取对肺部CT图像更强的特征表示及结构信息的补充，扩大特征信息量，通过从全局与局部两个尺度获取图像的特征信息并进行整合，提高模型的分割精确率。
[0008]为实现上述目的，本专利技术采取的技术方案包括如下步骤：
[0009](1)从两个公共来源的数据集下载肺炎患者的CT扫描图像，分别得到训练集和测试集；
[0010](2)对训练集和测试集依次进行图像增强、像素值归一化、维度转换和分割掩码的预处理；
[0011](3)构建基于全局
‑
局部特征关联融合的分割模型：
[0012](3a)建立由N个Transformer层组成的编码器，N大于等于1；
[0013](3b)建立由卷积神经网络组成的编码器；
[0014](3c)建立由Transformer层组成的局部特征关联融合模块，用于提取局部关联特征；
[0015](3d)建立由卷积神经网络组成并与(3b)相对称的解码器，用于恢复图像分辨率并输出分割结果；
[0016](3e)将第一编码器与第二编码器并行连接，再与局部特征关联融合模块和解码器级联构成分割网络模型，并将focalloss这个函数作为该网络模型的损失函数；
[0017](4)将训练集数据并行输入至两个编码器，利用反向传播方法对分割网络模型进行迭代训练，直到损失函数收敛，得到训练后的整个分割网络；
[0018](5)基于训练后的分割模型预测肺部CT图像的感染区域；
[0019]5a)将测试集输入到训练后的分割模型中，得到对每个样本像素点的预测概率值p；
[0020]5b)设置概率阈值d的范围为0.3
‑
0.6，将预测概率值与概率阈值进行比较，得到测试集的肺部CT图像感染区域分割结果；
[0021]若p大于d表示为感染区域，
[0022]若p小于等于d表示为未感染区域。
[0023]本专利技术与现有技术相比，具有以下优点：
[0024]1)本专利技术由于构建了分割网络模型，并通过其中的两个解码器分别提取图像全局特征和局部边缘特征，通过其中的局部特征关联模块提取具有全局属性的局部关联特征，这三个模块的优势整合，可获得更强的图像特征表示，扩大了特征信息量。
[0025]2)本专利技术由于迁移了大型图像视觉库的预训练模型，即由卷积神经网络组成的编码器，便于对数据规模较小的数据集的训练，提高分割模型的准确率。
附图说明
[0026]图1是本专利技术的实现流程图；
[0027]图2是本专利技术构建的分割模型结构图；
[0028]图3是用本专利技术对测试集的预测结果可视化图。
具体实施方式
[0029]以下结合附图对本专利技术的具体实施例和效果作进一步详细描述。
[0030]本专利技术是基于COVID
‑
19数据集的肺部CT图像分割方法。计算机断层扫描CT利用精确的X射线在对肺部进行扫描后，可以对肺部发病区域给出清晰可见的图像。但CT扫描图像都需要放射科医生进行专业的诊断，当大范围的病情爆发，人力资源不足时，计算机辅助诊断CAD就提供了巨大的助力，其通过计算方法来对大量的患者CT图像进行分割与识别。本专利技术就是辅助在CAD诊断病情中进行分割肺部感染区域的方法。
[0031]参照图1，本实例的实现步骤如下：
[0032]步骤1，输入将从公共来源的数据集中收集数据，并进行预处理。
[0033]1.1)从COVID
‑
19
‑
CT
‑
Seg和MosMed数据集中分别收集不同肺炎感染患者的CT扫描图像，得到两个数据集D和S，并将D中的全部图像作为训练集，将S中的所有图像作为独立测试集，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种全局
‑
局部特征关联融合的肺部CT图像分割方法，其特征在于，包括：(1)从两个公共来源的数据集下载肺炎患者的CT扫描图像，分别得到训练集和测试集；(2)对训练集和测试集依次进行图像增强、像素值归一化、维度转换和分割掩码的预处理；(3)构建基于全局
‑
局部特征关联融合的分割模型：(3a)建立由N个Transformer层组成的编码器，N大于等于1；(3b)建立由卷积神经网络组成的编码器；(3c)建立由Transformer层组成的局部特征关联融合模块，用于提取局部关联特征；(3d)建立由卷积神经网络组成并与(3b)相对称的解码器，用于恢复图像分辨率并输出分割结果；(3e)将第一编码器与第二编码器并行连接，再与局部特征关联融合模块和解码器级联构成分割网络模型，并将focal loss这个函数作为该网络模型的损失函数；(4)将训练集数据并行输入至两个编码器，利用反向传播方法对分割网络模型进行迭代训练，直到损失函数收敛，得到训练后的整个分割网络；(5)基于训练后的分割模型预测肺部CT图像的感染区域；5a)将测试集输入到训练后的分割模型中，得到对每个样本像素点的预测概率值p；5b)设置概率阈值d的范围为0.3
‑
0.6，将预测概率值与概率阈值进行比较，得到测试集的肺部CT图像感染区域分割结果；若p大于d表示为感染区域，若p小于等于d表示为未感染区域。2.根据权利要求1所述的方法，其特征在于，步骤(2)中对训练集和测试集依次进行图像增强、像素值归一化、维度转换和分割掩码的预处理，实现如下：2a)使用CV2软件包对所有CT图像进行数据增强；2b)利用下式对所有CT图像的像素值x进行最大最小值归一化处理：其中，x
min
表示一幅图像中最大的像素值，x
max
表示最小的像素值；2c)对图像维度进行转换，即将所有图像的像素值调整为224
×
224的大小；2d)对所有图像对应的分割掩码进行预处理：将与肺炎感染相关的所有发现都在分割掩码中标记为白色，表示成
‘1’
像素；将所有除病变区域外的剩余区域都被标记为黑色，并表示成
‘0’
像素。3.根据权利要求1所述的方法，其特征在于，步骤(3a)构建的编码器，其输入为一长向量，输出向量为Q1，该长向量L1是将输入图像先均匀的分为多个小块Pathes，再将多个小块拼接后加入与长向量维度相同的位置编码形成。4.根据...

【专利技术属性】
技术研发人员：鱼亮，胥新宇，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：