基于属性特权与胶囊网络的肺结节识别模型及应用制造技术

本发明专利技术公开了一种基于属性特权与胶囊网络的肺结节识别模型及应用

【技术实现步骤摘要】
基于属性特权与胶囊网络的肺结节识别模型及应用


[0001]本专利技术属于医学图像处理研究领域，涉及一种基于属性特权与胶囊网络的肺结节识别模型及应用
。

技术介绍

[0002]肺癌是死亡率高
、
威胁最大的癌症之一
。
然而，通过对肺部进行检查，在早期发现肺结节并诊断其良恶性，肺癌患者的生存率可以大幅度提高
。
随着医学检验技术的发展，放射科医生可以通过检查病人的肺部
CT
扫描图像查看病人的肺部情况
。
但由于
CT
数据的图片数量繁多，放射科医生人工检查
CT
图像非常消耗时间与精力
。
另一方面，放射科医生的评估大多是依据自身的经验，没有独立检验，从而缺乏结果的客观性
。
因此，通过计算机辅助诊断系统，医生可以快速对病人的肺部情况做出初步诊断，从而提高医生的诊断效率
。
[0003]在早期，研究人员大多选择人工提取肺结节图像中的特征，利用这些特征识别结节良恶性
。
随着深度学习在图像分析领域的发展，研究人员使用深度学习技术判断肺结节的良恶性
。
深度学习可以从图像中自动提取肺结节特征识别其良恶性，实现端到端分类，无需人工提取特征，避免了人工提取特征的复杂性与繁琐性
。
[0004]近年来，使用深度学习来识别肺结节的算法层出不穷
。
肺结节的二维图像获取简单，数据量小，许多研究人员研究使用其评估肺结节良恶性
。Xie
等人通过截取肺结节不同视角的二维截面，结合半监督与对抗网络分类肺结节
。Sahu
等人截取肺结节多个视角的截面图，使用多个轻量级网络提取对应特征，融合不同视角的特征，评估肺结节的良恶性
。
该方法还可用于选择确定结节恶性程度的代表性横截面，以便于解释结果
。Liu
等人提出了一种称为
Res
‑
trans
的深度网络模型识别肺结节良恶性
。
在网络中加入
Transformer
结构来捕获肺结节的全局特征，设计序列融合模块，该序列融合模块处理
Transformer
结构的特征信息，提高识别分类精度
。
虽然使用肺结节二维图像识别良恶性取得较好的结果，但二维图像不能表达肺结节的三维空间信息
。
[0005]肺结节三维图像包含肺结节的整体的立体空间信息，使用深度学习方法判断其良恶性，可以最大化提高诊断性能
。Jiang
等人使用肺结节的三维图像评估其良恶性
。
在识别模型中设计上下文机制与空间注意力机制提高对肺结节的特征提取，使用集成策略提高对肺结节的分类性能
。Xu
等人提出一种称为
MSCS
‑
DeepLN
的方法评估肺结节的恶性程度
。
从
CT
图像中截取三种不同大小的图像，分别输入对应的轻量级网络，每个网络得到初步识别结果，最后融合这些结果计算最终的良恶性结果
。Huang
等人截取肺结节两种不同大小的三维图像输入网络，分别提取肺结节内外特征，使用流形学习优化特征，在特征空间中压缩类内距离，分离类间距离，以实现对肺结节的识别分类
。Mundher
等人提出了一种名为
ProCAN
肺结节分类网络
。
通过使用非局部网络分配注意力，应用课程学习方法逐步提高模型的分类能力
。

技术实现思路

[0006]针对目前多数肺结节识别方法没有使用肺结节的属性信息，同时
CNN
网络结构对肺结节图像中不同部分的相对空间关系不敏感的问题，本专利技术提出了一种基于属性特权与胶囊网络的肺结节识别模型及应用
。
[0007]本专利技术的一方面提供了一种基于属性特权与胶囊网络的肺结节识别模型，包括
Res2net
网络模块
、
卷积模块
、
通道与空间的注意力模块
、
第一识别性能提升模块和第二识别性能提升模块；
[0008]所述的
Res2net
网络模块用于获得输入特征的多个感受野输出
。
[0009]所述的卷积模块连接于
Res2net
网络模块输出端，用于肺结节的特征提取
。
[0010]所述的通道与空间的注意力模块连接于卷积模块的输出端，用于对肺结节特征中不同通道
、
不同空间的特征赋予不同权重
。
[0011]所述第一识别性能提升模块连接于通道与空间的注意力模块的输出端，用于在训练时加入肺结节属性信息，提高模型良恶性识别准确性
。
[0012]所述第二识别性能提升模块连接于通道与空间的注意力模块的输出端，用于在识别模型中加入胶囊结构，帮助模型识别肺结节图像中不同部分的相对空间关系，提升对肺结节良恶性判断的性能
。
[0013]所述第一识别性能提升模块与第二识别性能提升模块的输出端连接至全连接网络，由所述全连接网络输出肺结节的良恶性
。
[0014]本专利技术的另一方面提供了上述肺结节识别模型在肺结节识别中的应用
。
[0015]本专利技术具有如下优点：
[0016]本专利技术结合特权学习范式，将肺结节的属性信息作为特权信息，可以仅在训练时需要肺结节的属性信息，在识别肺结节时不需要事先获取肺结节的属性信息
。
[0017]为了更有效提取肺结节图像中的信息，在识别网络中引入胶囊网络
CapsNets。
与
CNN
不同，
CapsNets
使用以一组神经元向量为基本单位的胶囊代替单个神经元来表示特征实例，在网络中，使用“矢量”的形式传递特征信息
。
帮助模型识别肺结节图像中不同部分的相对空间关系，提升对肺结节良恶性判断的性能
。
附图说明
[0018]图1为本专利技术的网络模型图
。
[0019]图2为
Res2net
网络结构图
。
[0020]图
3(a)
和图
3(b)
及图
3(c)
分别为
CAS
注意力模块结构图
、ECA
注意力模型架构图和空间注意力架构图
。
[0021]图4为普通特征图转化为胶囊结构的具体过程
。
[0022]图5为基准模型结构图
。
[0023]图6为消融实验各模型的
ROC
曲线
。
[0024]图7为部分肺结节识别结果图
。
具体实施方案...

【技术保护点】

【技术特征摘要】
1.
基于属性特权与胶囊网络的肺结节识别模型，其特征在于：包括
Res2net
网络模块
、
卷积模块
、
通道与空间的注意力模块
、
第一识别性能提升模块和第二识别性能提升模块；所述的
Res2net
网络模块用于获得输入特征的多个感受野输出；所述的卷积模块连接于
Res2net
网络模块输出端，用于肺结节的特征提取；所述的通道与空间的注意力模块连接于卷积模块的输出端，用于对肺结节特征中不同通道
、
不同空间的特征赋予不同权重；所述第一识别性能提升模块连接于通道与空间的注意力模块的输出端，用于在训练时加入肺结节属性信息，提高模型良恶性识别准确性；所述第二识别性能提升模块连接于通道与空间的注意力模块的输出端，用于在识别模型中加入胶囊结构，帮助模型识别肺结节图像中不同部分的相对空间关系，提升对肺结节良恶性判断的性能；所述第一识别性能提升模块与第二识别性能提升模块的输出端连接至全连接网络，由所述全连接网络输出肺结节的良恶性
。2.
根据权利要求1所述的基于属性特权与胶囊网络的肺结节识别模型，其特征在于：还包括预处理模块，位于
Res2net
网络模块的输入端，采用核大小为3×3的卷积块
。3.
根据权利要求1所述的基于属性特权与胶囊网络的肺结节识别模型，其特征在于：所述的卷积模块采用两个串联的核大小为3×3的卷积层
。4.
根据权利要求1所述的基于属性特权与胶囊网络的肺结节识别模型，其特征在于：所述通道与空间的注意力模块先对输入的特征应用通道注意处理，后对处理后的特征施加空间...

【专利技术属性】
技术研发人员：高森达，佘青山，胥阳，马玉良，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：