一种融合多种注意力机制神经网络的结直肠息肉分割方法技术

本发明专利技术公开了一种融合多种注意力机制神经网络的结直肠息肉分割方法，包括：(1)收集多种类型内窥镜下结直肠息肉图像，并通过图像随机水平翻转、随机对比度增强、0.75～1.25倍随机多尺度放大缩小和0～360度随机旋转等方法进行图像增强，组成训练样本；(2)构建包含多种注意力机制的神经网络，其中包含特征提取模块、通道分组空间增强模块、轴向自注意力结合感受野增强模块和逆向注意力边界增强模块；(3)利用训练样本训练所述神经网络，优化网络参数，确定网络参数后与神经网络共同组成模型；(4)应用时，采集内窥镜下结直肠图像，并输入至模型中，经计算输出结直肠息肉分割图像。该方法提升结直肠息肉的分割效果。该方法提升结直肠息肉的分割效果。该方法提升结直肠息肉的分割效果。

【技术实现步骤摘要】
一种融合多种注意力机制神经网络的结直肠息肉分割方法


[0001]本专利技术涉及数字图像领域、图像分割、计算机视觉以及深度学习领域，具体涉及一种基于融合多种注意力机制神经网络的结直肠息肉分割方法。

技术介绍

[0002]结直肠癌(Colorectal Cancer,CRC)是一种常见的消化道恶性肿瘤,是全球第三大癌症.大多数结直肠癌由腺瘤性息肉演变而来,因此结直肠癌的早期诊断对提高结直肠癌患者的生存率至关重要,事实上,处于第一阶段的结直肠癌的生存率超过95％,而处于第四和第五阶段,则下降到35％以下.目前,结肠镜检查已广泛应用于临床之中,并已成为筛查结直肠癌的标准方法.在临床实践之中,结肠镜检查在很大程度上依赖于医生的经验,并且由于息肉具有不同大小、形态、颜色、纹理以及和周围组织粘膜高度相似、异常组织边界不清,所处环境在边界处的对比度较低等特点导致漏诊率很高。
[0003]在早期的研究中,基于学习的方法主要依赖手工提取的特征例如：颜色、形状、纹理、外观或其组合.这类方法通常训练一个分类器来从结肠镜图像中分离出息肉.然而,由于手工提取特征在描述异质息肉以及息肉与难样本之间的相似性时表征能力有限,所以通常存在检测精度低的问题，不利于临床的诊断，因此高精度地分割结直肠息肉就具有十分重要的意义。

技术实现思路

[0004]基于上述，本专利技术的目的是提供一种基于融合多种注意力机制神经网络的结直肠息肉分割方法，解决息肉具有不同大小、形态、颜色、纹理以及和周围组织粘膜高度相似、异常组织边界不清所造成的分割精度不高的问题。
[0005]为实现上述专利技术目的，本专利技术提供以下技术方案：
[0006]一种融合多种注意力机制神经网络的结直肠息肉分割方法，其特征在于，包括以下步骤：
[0007]1)收集多种类型内窥镜下结直肠息肉图像，并进行图像增强，组成训练样本；
[0008]2)构建包含多种注意力机制的神经网络，其中包含特征提取模块、通道分组空间增强模块、轴向自注意力结合感受野增强模块和逆向注意力边界增强模块；
[0009]3)利用训练样本训练所述神经网络，优化网络参数，确定网络参数后与神经网络共同组成模型；
[0010]4)应用时，采集内窥镜下结直肠图像，并输入至模型中，经计算输出结直肠息肉分割图像。
[0011]所述的融合多种注意力机制神经网络的结直肠息肉分割方法，其特征在于，步骤1)具体过程如下：
[0012]步骤1.1)收集内窥镜下结直肠息肉图像数据集；
[0013]步骤1.2)通过线性插值插值方法将图像分辨率调整为352
×
352，并将数据集分为
训练数据和测试数据两部分；
[0014]步骤1.3)对训练数据中的图像进行随机水平翻转、随机对比度增强、0.75～1.25倍随机多尺度放大缩小和0～360度随机旋转。
[0015]所述的融合多种注意力机制神经网络的结直肠息肉分割方法，其特征在于，步骤2)中通道分组空间增强模块、轴向自注意力结合感受野增强模块和逆向注意力边界增强模块的构建具体过程如下：
[0016]步骤2.1)构建通道分组空间增强模块：每个独立的分组在空间中位置的特征向量用x
i
表示，其中C代表骨干网络输出的特征图通道数，H
×
W表示特征图的大小，G代表分组数，表示像素所在的空间域；根据实验设置的批处理大小，并结合每一层骨干网络得到的特征图通道数，同时防止过小的分组造成特征细节缺失，当得到的特征图通道数分别为512,1024,2048时，将分组数G分别设置为32,64,128；首先对每个分组都先进行全局最大平均池化，以此逼近每个分组的学习到的特征语义向量并抑制可能存在的噪声，即:
[0017][0018]接着利用这个全局特征GF和局部特征x
i
进行点积运算生成每一个子特征对应的注意力系数c
i
，c
i
＝GF
·
x
i
，即比较每一个子特征和全局特征的相似性；同时为了防止各种不同样本之间的系数的偏差幅度过大，对系数c
i
做了归一化得到注意力特征图a
i
，即：
[0019][0020]其中
ò
为常数1e
‑5,c
j
表示空间中另外一个子特征的注意力系数，j表示空间中另外一个子特征，最后a
i
通过sigmoid激活函数得到最终增强的特征分组y
i
；
[0021]步骤2.2)构建轴向自注意力感受野增强模块：先将输入的特征图分别经过1
×
3、1
×
5、1
×
7、1
×
1卷积层的感受野路径,再各自通过空洞率为3、5、7、1的空洞卷积层扩大感受野后进入轴向自注意力模块,最后与1
×
1感受野路径的特征图进行通道拼接后输出；
[0022]步骤2.3)构建逆向注意力边界增强模块：将从解码器中的得到的特征图视为m
d
,并以此得到对应的前景特征图m
f
和背景特征图m
b
，其中
[0023]m
f
＝max(m
d
‑
0.5，0)，m
b
＝max(0.5
‑
m
d
，0)
[0024]然后计算每个特征图的特征向量：
[0025][0026]v
f
，v
b
，，v
d
分别代表来自前景，背景和解码器的特征图对应的特征向量，i代表在空间维度的每一个像素，e代表自然常数，然后计算每一个以上特征向量和来自编码器的特征图的相似性；
[0027]k
′
fi
＝φ(m
ei
)
T
ψ(v
f
)，k
′
bi
＝φ(m
ei
)
T
ψ(v
b
)，k
′
di
＝φ(m
ei
)
T
ψ(v
d
)
[0028][0029]然后通过权重加总得到得到每个特征向量的相似性分数k
f
，k
b
，k
d
；再通过加权平
均得到语义特征图中的每个像素p
i
；
[0030]p
i
＝δ(k
fi
ρ(v
f
)+k
bi
ρ(v
b
)+k
di
ρ(v
d
))
[0031]ψ(
·
)，φ(
·
)，ρ(
·
)，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合多种注意力机制神经网络的结直肠息肉分割方法，其特征在于，包括以下步骤：1)收集多种类型内窥镜下结直肠息肉图像，并进行图像增强，组成训练样本；2)构建包含多种注意力机制的神经网络，其中包含特征提取模块、通道分组空间增强模块、轴向自注意力结合感受野增强模块和逆向注意力边界增强模块；3)利用训练样本训练所述神经网络，优化网络参数，确定网络参数后与神经网络共同组成模型；4)应用时，采集内窥镜下结直肠图像，并输入至模型中，经计算输出结直肠息肉分割图像。2.如权利要求1所述的融合多种注意力机制神经网络的结直肠息肉分割方法，其特征在于，步骤1)具体过程如下：步骤1.1)收集内窥镜下结直肠息肉图像数据集；步骤1.2)通过线性插值插值方法将图像分辨率调整为352
×
352，并将数据集分为训练数据和测试数据两部分；步骤1.3)对训练数据中的图像进行随机水平翻转、随机对比度增强、0.75～1.25倍随机多尺度放大缩小和0～360度随机旋转。3.如权利要求1所述的融合多种注意力机制神经网络的结直肠息肉分割方法，其特征在于，步骤2)中通道分组空间增强模块、轴向自注意力结合感受野增强模块和逆向注意力边界增强模块的构建具体过程如下：步骤2.1)构建通道分组空间增强模块：每个独立的分组在空间中位置的特征向量用x
i
表示，X＝{x
1...m
},m＝H
×
W，其中C代表骨干网络输出的特征图通道数，H
×
W表示特征图的大小，G代表分组数，表示像素所在的空间域；根据实验设置的批处理大小，并结合每一层骨干网络得到的特征图通道数，同时防止过小的分组造成特征细节缺失，当得到的特征图通道数分别为512,1024,2048时，将分组数G分别设置为32,64,128；首先对每个分组都先进行全局最大平均池化，以此逼近每个分组的学习到的特征语义向量并抑制可能存在的噪声，即:接着利用这个全局特征GF和局部特征x
i
进行点积运算生成每一个子特征对应的注意力系数c
i
，c
i
＝GF
·
x
i
，即比较每一个子特征和全局特征的相似性；同时为了防止各种不同样本之间的系数的偏差幅度过大，对系数c
i
做了归一化得到注意力特征图a
i
，即：其中
ò
为常数1e
‑5,c
j
表示空间中另外一个子特征的注意力系数，j表示空间中另外一个子特征，最后a
i
通过sigmoid激活函数得到最终增强的特征分组y
i
；步骤2.2)构建轴向自注意力感受野增强模块：先将输入的特征图分...

【专利技术属性】
技术研发人员：胡奕标，金燕，贾立新，薛智中，姜智伟，郑秋富，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：