融合卷积与多层感知机神经网络的结直肠息肉分割方法技术

本发明专利技术公开了一种融合卷积与多层感知机神经网络的结直肠息肉分割方法，包括：1)收集多种类型内窥镜下结直肠息肉图像，并通过图像随机水平翻转、随机对比度增强、0.75～1.25倍随机多尺度放大缩小和0～360度随机旋转等方法进行图像增强，组成训练样本；2)构建融合卷积与多层感知机神经网络，其中包含卷积与多层感知机编码器、平行自注意力模块、级联语义特征聚合模块和通道引导分组逆向注意力模块；3)利用训练样本训练所述神经网络，优化网络参数，确定网络参数后与神经网络共同组成模型；4)应用时，采集内窥镜下结直肠图像，并输入至模型中，经计算输出结直肠息肉分割图像。该方法提升结直肠息肉的分割效果。法提升结直肠息肉的分割效果。法提升结直肠息肉的分割效果。

【技术实现步骤摘要】
融合卷积与多层感知机神经网络的结直肠息肉分割方法


[0001]本专利技术涉及数字图像领域、图像分割、计算机视觉以及深度学习领域，具体涉及一种基于融合卷积与多层感知机神经网络的结直肠息肉分割方法。

技术介绍

[0002]结直肠癌(Colorectal Cancer,CRC)是一种常见的消化道恶性肿瘤,是全球第三大癌症。大多数结直肠癌由腺瘤性息肉演变而来,因此结直肠癌的早期诊断对提高结直肠癌患者的生存率至关重要,事实上,处于第一阶段的结直肠癌的生存率超过95％,而处于第四和第五阶段,则下降到35％以下.目前,结肠镜检查已广泛应用于临床之中,并已成为筛查结直肠癌的标准方法.在临床实践之中,结肠镜检查在很大程度上依赖于医生的经验,并且由于息肉具有不同大小、形态、颜色、纹理以及和周围组织粘膜高度相似、异常组织边界不清,所处环境在边界处的对比度较低等特点导致漏诊率很高。
[0003]在早期的研究中，基于学习的方法主要依赖手工提取的特征例如：颜色、形状、纹理、外观或其组合。这类方法通常训练一个分类器来从结肠镜图像中分离出息肉。然而,由于手工提取特征在描述异质息肉以及息肉与难样本之间的相似性时表征能力有限,所以通常存在检测精度低的问题，不利于临床的诊断，因此高精度地分割结直肠息肉就具有十分重要的意义。

技术实现思路

[0004]基于上述，本专利技术的目的是提供一种基于融合卷积与多层感知机神经网络的结直肠息肉分割方法，解决息肉具有不同大小、形态、颜色、纹理以及和周围组织粘膜高度相似、异常组织边界不清所造成的分割精度不高的问题。
[0005]为实现上述专利技术目的，本专利技术提供以下技术方案：
[0006]一种融合卷积与多层感知机神经网络的结直肠息肉分割方法，其特征在于，包括以下步骤：
[0007]1)收集多种类型内窥镜下结直肠息肉图像，并进行图像增强，组成训练样本；
[0008]2)构建包含卷积与多层感知机的神经网络，其中包含多层感知机编码器、平行自注意力模块、级联语义特征聚合模块和通道引导分组逆向注意力模块；
[0009]3)利用训练样本训练所述神经网络，优化网络参数，确定网络参数后与神经网络共同组成模型；
[0010]4)应用时，采集内窥镜下结直肠图像，并输入至模型中，经计算输出结直肠息肉分割图像。
[0011]所述的融合卷积与多层感知机神经网络的结直肠息肉分割方法，其特征在于，步骤1)具体过程如下：
[0012]步骤1.1)收集内窥镜下结直肠息肉图像数据集；
[0013]步骤1.2)通过线性插值方法对图像分辨率进行调整，并将数据集分为训练数据和
测试数据两部分；
[0014]步骤1.3)对训练数据中的图像进行随机水平翻转、随机对比度增强、0.75～1.25倍随机多尺度放大缩小和0～360度随机旋转。
[0015]进一步的，所述的融合卷积与多层感知机神经网络的结直肠息肉分割方法，其特征在于，步骤2)中多层感知机编码器、平行自注意力模块、级联语义特征聚合模块和通道引导分组逆向注意力模块的构建具体过程如下：
[0016]步骤2.1)构建多层感知机编码器：先构建一个纯卷积层，包含一个1
×
1卷积、3
×
3卷积、1
×
1卷积，重复该序列；再构建卷积与多层感知机混合层，依次包含通道感知机、3
×
3深度可分离卷积、通道感知机，分别重复该序列，以此构成3个卷积、感知机混合层；
[0017]步骤2.2)构建平行注意力模块：平行自注意力模块包含通道注意力分支和空间注意力分支，其中通道注意力分支可以描述为
[0018]A
ttch
(X)＝M
z
(σ1(M
v
(X))
×
δ(σ2(M
q
(X))))
[0019]是实数域，M
v
,M
q
和M
z
是1
×
1卷积，σ1,σ2是整形操作，δ是sofmax操作；最后通道注意力分支的输出是
⊙
是Hadamard乘积；再构建空间注意力分支：
[0020][0021]C表示卷积通道数，H表示特征图的高度，W表示特征图的宽度；σ1,σ2和σ3为整形操作，M
v
,M
q
是1
×
1卷积，ρ是全局平均池化操作,δ是sofmax操作。空间注意力分支的最终输出是最后整个模块输出是
[0022]步骤2.3)构建级联语义特征聚合模块：先将高级特征H3和H2进行矩阵相乘后和低级特征H1进行通道相加，同时高级特征H1和低级特征L1进行矩阵相乘后将和高级特征H3和H2融合后的结果进行通道相加；最后经过3
×
3和1
×
1卷积操作将通道维度降低；最后模块的输出为G:
[0023]G＝M1M3(Concat(M3M3(Concat(M3(H3)
×
M3(H2))M3(H1))(M3(L1)
×
M3(H1))))
[0024]是1
×
1卷积,M3是3
×
3卷积,Concat是通道相加操作；
[0025]步骤2.4)构建通道引导分组逆向注意力模块：首先来自级联语义特征聚合模块的全局特征图通过sigmoid操作形成一个显著性特征图；然后通过逆向注意力操作得到反向注意力引导图R：
[0026]R＝φ[σ(μ(S)),E][0027]μ是双线性插值操作，σ(x)＝1/(1+e
‑
x
)是sigmoid函数，φ是逆向注意力操作，E是全1矩阵。
[0028]然后高级特征H1,H2,H3会在通道维度被分成多个组，组别数分别为1，8，32；这个过程可以描述为:
[0029]F
s
(H
i
)＝{H
i,1
,...,H
i,m
}
[0030]然后反向注意力引导图R循环插入到各个分组中。这个过程可以描述为:
[0031]Y
i
＝F
c
({H
i,1
,R}...,{H
i,m
,R})
[0032]其中i表示高级特征的序号，与分组通道数m一一对应，F
s
代表通道分离操作,F
c
代
表通道相加，最后通过H
i
和Y
i
得到最后模块的输出图。
[0033]进一步的，所述的融合卷积与多层感知机神经网络的结直肠息肉分割方法，其特征在于，步骤3)具体过程如下：
[0034]步骤3.1)构建融合卷积与多层感知机神经网络的结直肠息肉分割模型，采用Adam权重递减优化器结合多项式学习率递减策略进行优化，初始学习率设置为0.0002，网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合卷积与多层感知机神经网络的结直肠息肉分割方法，其特征在于，包括以下步骤：1)收集多种类型内窥镜下结直肠息肉图像，并进行图像增强，组成训练样本；2)构建包含卷积与多层感知机的神经网络，其中包含多层感知机编码器、平行自注意力模块、级联语义特征聚合模块和通道引导分组逆向注意力模块；3)利用训练样本训练所述神经网络，优化网络参数，确定网络参数后与神经网络共同组成模型；4)应用时，采集内窥镜下结直肠图像，并输入至模型中，经计算输出结直肠息肉分割图像。2.如权利要求1所述的一种融合卷积与多层感知机神经网络的结直肠息肉分割方法，其特征在于，步骤1)具体过程如下：步骤1.1)收集内窥镜下结直肠息肉图像数据集；步骤1.2)通过线性插值方法对图像分辨率进行调整，并将数据集分为训练数据和测试数据两部分；步骤1.3)对训练数据中的图像进行随机水平翻转、随机对比度增强、0.75～1.25倍随机多尺度放大缩小和0～360度随机旋转。3.如权利要求1所述的一种融合卷积与多层感知机神经网络的结直肠息肉分割方法，其特征在于，步骤2)中卷积与多层感知机编码器、平行自注意力模块、级联语义特征聚合模块和通道引导分组逆向注意力模块的构建具体过程如下：步骤2.1)构建卷积与多层感知机编码器：先构建一个纯卷积层，包含一个1
×
1卷积、3
×
3卷积、1
×
1卷积，重复该序列；再构建卷积与多层感知机混合层，依次包含通道感知机、3
×
3深度可分离卷积、通道感知机，分别重复该序列，以此构成3个卷积、感知机混合层；步骤2.2)构建平行自注意力模块：平行自注意力模块包含通道注意力分支和空间注意力分支，其中通道注意力分支描述为A
ttch
(X)＝M
z
(σ1(M
v
(X))
×
δ(σ2(M
q
(X))))是实数域，M
v
,M
q
和M
z
是1
×
1卷积，σ1,σ2是整形操作，δ是sofmax操作；最后通道注意力分支的输出是
⊙
是Hadamard乘积；再构建空间注意力分支：是Hadamard乘积；再构建空间注意力分支：C表示卷积通道数，H表示特征图的高度，W表示特征图的宽度；σ1,σ2和σ3为整形操作，M
v
,M
q
是1
×
1卷积，ρ是全局平均池化操作,δ是sofmax操作；空间注意力分支的最终输出是最后整个模块输出是步骤2.3)构...

【专利技术属性】
技术研发人员：胡奕标，金燕，贾立新，姜智伟，郑秋富，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：