一种融合注意力机制的三维卷积神经网络肺部结节图像自动检测方法技术

本发明专利技术公开了一种融合注意力机制的三维卷积神经网络肺部结节图像自动检测方法，属于医学图像处理领域。本发明专利技术通过将三维卷积神经网络(3D‑CNN)和注意力机制相结合，搭建针对肺部结节图像检测的一阶检测器，实现对肺部CT图像的自动、精准检测，从而有效的提升检测精度和速度。本发明专利技术的主要目的是计算图像中特征对象是肺部节的概率，整个方法是基于特征对象(即医学图像本身)进行的计算。本发明专利技术通过将通道注意力(channel attention)和空间注意力(spatial attention)与3D CNN相结合，增强有用信息，削弱无用信息，提高网络的表达能力，实现对结节的高效、精准检测。

【技术实现步骤摘要】
一种融合注意力机制的三维卷积神经网络肺部结节图像自动检测方法
本专利技术涉及医学图像处理领域，具体涉及实现一种肺部结节自动检测方法，尤其涉及一种融合注意力机制的三维卷积神经网络肺部结节图像自动检测方法。
技术介绍
肺癌是对人类健康威胁最大的恶性肿瘤之一，近几年其发病率明显增高，而肺结节与肺癌密切相关，尤其是一些恶性结节。肺结节一般分为三种，磨玻璃结节、实性结节、部分实性结节。其中部分实性结节恶性概率最大，磨玻璃结节紧随其次。为了防止结节的进一步恶性发展，提早发现、及时治疗显的尤为重要。一般结节检测，都是专家依据个人经验，通过观测肺部CT图像给出结论，这样会给检测结果带来一定的差异性，尤其是有一些结节，边界不清、形状不规则、不同扫描层的变化很大，比较难判定，这样容易出现误判，导致患者错过最佳的治疗时期。随着深度学习的不断发展，人工智能越来越成熟，在各个领域都有广泛的应用，从手写字识别的探究，到分类网络和检测网络的拓展，根据不同的任务需求，各种网络应运而生。将卷积神经网络CNN应用到医学图像当中，使其自动提取特征，实现对病灶的精准检测，辅助医生诊断，也成为一种备受关注的研究趋势。注意力机制的主要思想指的是忽略无关信息、关注重点信息。若将注意力机制分类，则又可分为硬注意力机制和软注意力机制，硬注意力机制指的是区分关注区域和非关注区域，分别用1和0表示，主要用于强化学习；软注意力机制指的是每个区域被关注程度的高低，用0到1间连续的值表示。采用软注意力机制，在三维卷积神经网络中通过融入通道注意力(channelattention)和空间注意力(spatialattention)，可以实现重要信息的筛选，增强网络的特征表达，提高病灶的检测精度，实现对结节的高概率、精准检测。计算机辅助诊断系统大幅度减少了误诊率，确保患者及时发现病灶，及早治疗。近几年，深度学习在医学图像病灶分割、分类、检测中取得了很大成功。由于数据集比较难获得，数量比较少，有一些研究人员直接采用迁移学习的方法，运用现有的、成熟的二维卷积神经网络来进行肺部结节检测，但是这种方法对结节的检测精度不高。考虑到，数据集是由2D图像序列组成的三维数据，为了充分考虑切片间的关系，抓住第三维度的特征，可以采用将三维卷积神经网络代替二维卷积神经网络。三维卷积神经网络指的是利用三维卷积核来提取图像序列的特征，与二维卷积神经网络不同，三维卷积神经网络多了一个维度，这样充分考虑了多幅图像间的关系，能够有效利用图像序列在空间维度上的特征，抓住病灶在空间上的内部联系，提高对结节的检测能力。作为本领域技术人员应该熟知的是，本专利技术方法主要的技术方案在于对采集的肺部CT图像数据进行的计算机处理，整个方案的技术目的在于实现图像自动检测识别目标，而并非进行治疗方案或者诊断技术的检测；对于检测识别后的结果能够在临床医学上的具体应用，这属于技术应用的方向，而并非本专利技术方法的基本目的。而且，本专利技术的主要的技术对象是CT图像，这些图像本身并非活体，在医学图像
中，主要是为了判断和识别图像中的特征对象，这是图像技术的基本技术目的。专利技术目的针对目前肺部CT图像中的结节识别精度不高、识别速度慢的问题，本专利技术通过将三维卷积神经网络(3D-CNN)和注意力机制相结合，搭建针对肺部结节图像检测的一阶检测器，实现对肺部CT图像的自动、精准检测，从而有效的提升检测精度和速度。本专利技术的主要目的是计算图像中特征对象是肺部节的概率，整个方法是基于特征对象(即医学图像本身)进行的计算。为了实现上述目的，本专利技术采用的技术方案为一种融合注意力机制的三维卷积神经网络肺部CT图像自动检测方法，首先，通过定裁和不定裁的方案对采集到的肺部CT图像进行裁剪，把剪裁得到的肺部CT图像送入到由3D注意力残差网络作为基础模块搭建的网络模型中，让网络模型自动提取肺部CT图像中的特征，并采用二分类交叉熵作为分类损失，用SmoothL1作为位置回归损失。然后，通过SGD优化器来指导网络不断训练，使得网络模型学习到合适的参数，输出肺部结节在图像中的位置信息和概率预测。最后，通过检测方法输出的位置信息和概率预测值，找到肺部CT图像中的结节位置并标注出是结节的概率值，从而实现对肺部CT图像中的结节特征检测和预测。注意力模块搭建1)通道注意力机制(channelattention)压缩立体特征图，分别采用全局最大池化和全局平均池化的方法压缩立体特征图，并将所得的特征图，按通道进行像素级的相加。通过sigmoid激活函数将特征输出映射到(0，1)区间，得到对每个通道的关注度(即通道权重)。将输入的立体特征图与通道权重相乘，从而加强对重点特征的关注。2)空间注意力机制(spatialattention)在通道维度上，对输入的立体特征图，分别进行max和mean操作，得到两个立体特征图，并将所得到的两个立体特征图在通道维度上拼接。通过卷积操作压缩通道，并用sigmoid激活函数，将特征输出映射到(0，1)区间，求得对每个像素的关注度(即像素权重)。将输入的立体特征图与像素权重相乘，从而实现对前景信息的加强。3)注意力模块(AttentionBlock)输入的立体特征图，经过通道注意力(channelattention)，获得通道权重，实现对特征的选取功能，加强对有用特征的表达。将获得的立体特征图，经过空间注意力(spatialattention)，获取每个图像像素的权重，实现对有效像素信息的选取，削弱图像背景像素的影响。将获得的立体特征图与原输入的立体特征图相加。注意力残差网络模块的搭建将残差机制和注意力模块相融合，使用残差机制来自动选择合适的网络深度，有效的避免网络的退化现象。并将AttentionBlock模块加入，对特征进行筛选，加强对有用特征的关注，增强网络的表达能力。本专利技术通过将通道注意力(channelattention)和空间注意力(spatialattention)与3DCNN相结合，增强有用信息，削弱无用信息，提高网络的表达能力，实现对结节的高效、精准检测。附图说明图1通道注意力(channelattention)。图1.1输入特征图Xcdhw。图2空间注意力(spatialattention)。图2.1输入特征图Ycdhw。图3注意力模块(AttentionBlock)。图43D注意力残差网络模块(3DAttentionResnetBlock)。图5网络模型。图6肺结节检测结果。具体实施方式下面将对本专利技术的一些技术细节进一步详细说明。本实施例采用Luna16和DataScienceBowl2017两个数据集，共用到1878个低剂量肺部CT影像，1397个CT影像来自DataScienceBowl2017数据集，481个CT影像来自Luna16数据集。图1-图3分别为通道本文档来自技高网...

【技术保护点】
1.一种融合注意力机制的三维卷积神经网络肺部CT图像自动检测方法，其特征在于：该方法的实施过程如下，通过定裁和不定裁的方案对采集到的肺部CT图像进行裁剪，把剪裁得到的肺部CT图像送入到由3D注意力残差网络作为基础模块搭建的网络模型中，让网络模型自动提取肺部CT图像中的特征，并采用二分类交叉熵作为分类损失，用SmoothL1作为位置回归损失；/n通过SGD优化器来指导网络不断训练，使得网络模型学习到参数，输出肺部结节在图像中的位置信息和概率预测；/n通过检测方法输出的位置信息和概率预测值，找到肺部CT图像中的结节位置并标注出是结节的概率值，从而实现对肺部CT图像中的结节特征检测和预测。/n

【技术特征摘要】
1.一种融合注意力机制的三维卷积神经网络肺部CT图像自动检测方法，其特征在于：该方法的实施过程如下，通过定裁和不定裁的方案对采集到的肺部CT图像进行裁剪，把剪裁得到的肺部CT图像送入到由3D注意力残差网络作为基础模块搭建的网络模型中，让网络模型自动提取肺部CT图像中的特征，并采用二分类交叉熵作为分类损失，用SmoothL1作为位置回归损失；
通过SGD优化器来指导网络不断训练，使得网络模型学习到参数，输出肺部结节在图像中的位置信息和概率预测；
通过检测方法输出的位置信息和概率预测值，找到肺部CT图像中的结节位置并标注出是结节的概率值，从而实现对肺部CT图像中的结节特征检测和预测。


2.根据权利要求1所述的一种融合注意力机制的三维卷积神经网络肺部CT图像自动检测方法，其特征在于：注意力模块搭建过程如下，
1)通道注意力机制
压缩立体特征图，分别采用全局最大池化和全局平均池化的方法压缩立体特征图，并将所得的特征图，按通道进行像素级的相加；
通过sigmoid激活函数将特征输出映射到(0，1)区间，得到对每个通道的关注度即通道权重；
将输入的立体特征图与通道...

【专利技术属性】
技术研发人员：赵德群，金亚荣，李煜，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11