一种基于改进FastFCN的图像分割方法技术

本发明专利技术公开了一种基于改进FastFCN的图像分割方法；本发明专利技术创新地提出用于提取非线性特征的双重并行非对称卷积模块和用于捕捉多尺度信息的串行空洞空间金字塔池化模块模块。将非对称卷积模块、串行空洞空间金字塔池化模块、双重注意力CBAM模块以及瓶颈层融入子模块中，构建语义文本信息子模块。然后将语义文本信息子模块嵌入到编码器结构优化后的FastFCN网络，结构优化主要表现在编码器部分通过增添特征跳连路径来增强信息流。训练前无需复杂的预处理，训练时采用多尺度深度监督，测试时使用翻转测试。本发明专利技术方法取得了优异的分割性能和极低的模型参数量，其中Jaccard指数为84.05％，模型参数量仅为0.96M。模型参数量仅为0.96M。模型参数量仅为0.96M。

【技术实现步骤摘要】
一种基于改进FastFCN的图像分割方法


[0001]本专利技术涉及图像分割方法，特别涉及一种基于改进FastFCN的图像分割方法，并且应用在了医学领域的皮肤病变图像分割中。

技术介绍

[0002]全卷积神经网络(FCN)是深度学习应用在图像分割的代表作,是一种端到端(end to end)的图像分割方法,让网络做像素级别的预测直接得出分割图。因为FCN网络中所有的层都是卷积层，故称为全卷积网络。全卷积神经网络主要使用了三种技术：
[0003]1、卷积化(Convolutional)；
[0004]2、上采样(Upsample)；
[0005]3、跳跃结构(Skip Layer)。
[0006]FCN对图像进行像素级的分类，从而解决了语义级别的图像分割(semantic segmentation)问题。与经典的CNN在卷积层之后使用全连接层得到固定长度的特征向量进行分类(全联接层+softmax输出)不同，FCN可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷积层的feature map进行上采样,使它恢复到输入图像相同的尺寸，可以对每个像素都产生了一个预测,同时保留了原始输入图像中的空间信息,最后在上采样的特征图上进行逐像素分类。
[0007]但FCN主干网络中常常使用扩展卷积来获得高分辨率的特征图，这会增加计算复杂度和内存占用。因此，学者提出了FastFCN网络，使用一种新型的联合上采样模块JPU(Joint Pyramid Upsampling)以取代扩张卷积，该方法有效降低了计算复杂度和内存占用。
[0008]但传统FastFCN网络存在一些不足，例如编码器部分特征提取能力不足，网络对重要特征缺乏关注，未能捕捉丰富的多尺度特征等，针对这些问题，本研究尝试通过一种基于改进FastFCN的皮肤病变图像分割方法，并在ISIC2018皮肤病变图像数据集上进行实验。

技术实现思路

[0009]本专利技术针对现有技术的不足，提出了一种一种基于改进FastFCN的图像分割方法；本专利技术的目的一是降低图像分割中卷积网络对硬件系统的要求，减少网络参数，缩短训练时间；二是利用改进后的FastFCN提高图像分割准确率。
[0010]按照本专利技术提供的技术方案，提出了一种基于改进FastFCN的皮肤病变图像分割方法，包括以下步骤：
[0011]步骤1、选取ISIC2018数据集作为实验数据，对数据进行预处理，确定测试集和训练集，并将数据经过数据增强后输入；
[0012]步骤2、构建双重并行非对称卷积模块提取非线性特征；
[0013]步骤3、构建串行空洞空间金字塔池化模块获取多尺度特征；
[0014]步骤4、将非对称卷积模块、串行空洞空间金字塔池化模块、双重注意力CBAM模块
以及瓶颈层融入子模块中，构建语义文本信息子模块和轻量级的语义文本信息子模块；
[0015]步骤5、将语义文本信息子模块和轻量级的语义文本信息子模块嵌入到编码器结构优化后的FastFCN网络中，构建改进后的FastFCN网络；
[0016]步骤6、对构建的所述改进后的FastFCN网络进行多尺度监督辅助训练，得到所需分割网络；
[0017]步骤7、测试集图像经过数据增强后输入步骤5得到的分割网络，通过翻转测试输出分割图。
[0018]所述的步骤1中，使用皮肤病变分析黑色素瘤检测大挑战数据集ISIC2018数据集，该数据集包含训练集图像2594幅以及对应的标签，验证集图像100幅以及对应的标签，和测试数据集图像1000幅但无标签。之后进行图像数据预处理，预处理具体步骤为：
[0019]1‑
1.将训练集图像统一大小；
[0020]1‑
2.将训练集划分出新的训练集和测试集；
[0021]1‑
3.对训练集图像以及标签分别处理后输入到网络中。
[0022]所述的步骤2中的构建双重并行非对称卷积模块，具体步骤为：
[0023]2‑
1.双重并行非对称卷积模块由串联的两个并行非对称卷积模块组成，而一个并行非对称卷积模块采用双分支并联连接的结构，分为竖直支路和水平支路；
[0024]2‑
2.将竖直支路与水平支路的输出通过特征图相加的方式合并后，作为并行非对称卷积模块的输出；
[0025]2‑
3.提取特征将串联使用两个并行非对称卷积模块，命名为双重并行非对称卷积模块。
[0026]所述的步骤3中，构建串行空洞空间金字塔池化模块，具体步骤为:
[0027]3‑
1.串行空洞空间金字塔池化模块针对现有空洞空间金字塔池化模块中的较大膨胀率分支进行改进，具有四分支并行连接的结构。最后将四条分支的输出结果通过concat的方式进行融合，得到串行空洞空间金字塔池化模块的最终输出。
[0028]在所述的步骤4中，将非对称卷积模块、串行空洞空间金字塔池化模块、双重注意力CBAM模块以及瓶颈层融入子模块中，构建语义文本信息子模块。语义文本信息子模块中的具体细节如下(假设该模块的输入输出通道数分别为m、n)：
[0029]4‑
1.首先运用瓶颈层；
[0030]4‑
2.然后使用双重并行非对称卷积模块；
[0031]4‑
3.接着采用串行空洞空间金字塔池化模块；
[0032]4‑
4.最后引入空间通道双重注意力的CBAM模块。
[0033]轻量级的语义文本信息子模块在步骤4
‑
3.中替换为普通空洞空间金字塔池化模块，其他组成和语义文本信息子模块相同。
[0034]在所述的步骤5中，将语义文本信息子模块和轻量级的语义文本信息子模块嵌入到编码器结构优化后的FastFCN网络中，构建改进后的FastFCN网络。具体步骤为：
[0035]5‑
1.改进后的FastFCN网络采用了6块子模块，分别是编码器部分运用了5块以及解码器部分的1块。
[0036]5‑
2.在原有FastFCN网络的基础上，编码器部分增添了6条浅层特征图到深层特征图的跳连路径，作为编码器中深层子模块的输入之一。
[0037]在所述的步骤6中，对构建的所述改进后的FastFCN网络进行多尺度监督辅助训练，得到所需分割网络，具体细节如下：
[0038]6‑
1.对网络中的Encoder3、Encoder4、Encoder5以及Dncoder1输出的特征图进行多尺度监督训练，共有4条监督路径，它们相互独立。
[0039]6‑
2.四条监督路径输出的分割图分别与训练标签进行loss值计算，各路径权重相同，结果累加后得到最终的loss值。
[0040]6‑
3.网络训练共两次，第一次训练使用单一的Lovasz Loss损失函数。第二次训练调用第一次训练后模型的参数，使用联合损失函数进行进一步训练，用于克服样本不平衡问题。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进FastFCN的图像分割方法，其特征在于，包括如下步骤：步骤1、选取ISIC2018数据集作为实验数据，对数据预处理，数据充分打乱划分测试集和训练集，并将数据进行增强后输入；步骤2、构建双重并行非对称卷积模块提取非线性特征；所述的双重并行非对称卷积模块由两个串联连接的并行非对称卷积模块组成；步骤3、构建串行空洞空间金字塔池化模块获取多尺度特征；步骤4、将非对称卷积模块、串行空洞空间金字塔池化模块、普通空洞空间金字塔池化模块、双重注意力CBAM模块以及瓶颈层融入子模块中，构建语义文本信息子模块和轻量级的语义文本信息子模块；步骤5、将语义文本信息子模块和轻量级的语义文本信息子模块嵌入到编码器结构优化后的FastFCN网络中，构建改进后的FastFCN网络；步骤6、对构建的所述改进后的FastFCN网络进行多尺度监督辅助训练，得到所需分割网络；步骤7、测试集图像经过数据增强后输入步骤5得到的分割网络，通过翻转测试输出分割图。2.根据权利要求1所述的一种基于改进FastFCN的图像分割方法，其特征在于：所述步骤2中，构建双重并行非对称卷积模块提取非线性特征，具体步骤为：双重并行非对称卷积模块由两个串联连接的并行非对称卷积模块组成，而单个并行非对称卷积模块采用双分支并联连接的结构，分为竖直支路和水平支路；其中竖直支路的结构依次为：第一层为3*1的DOConv卷积层，提取竖直方向的特征；第二层为BN层，控制梯度爆炸以及防止梯度消失；第三层为PRelu层，激活非线性特征；而水平支路的结构除了在第一层使用DOConv(1*3)卷积层，其余部分与竖直支路相同；然后将竖直支路与水平支路的输出通过特征图相加的方式合并后，作为并行非对称卷积模块的输出。3.根据权利要求1所述的一种基于改进FastFCN的图像分割方法，其特征在于：所述步骤3中，构建串行空洞空间金字塔池化模块获取多尺度特征；具体步骤为：具有四分支并行连接的结构，假设各分支的输入通道数为m，四条分支的具体情况如下：第1条分支采用直连的方式，不做任何处理，该分支的输入输出通道数均为m；第2条分支采用串联1个3*3，dilation＝3的DO
‑
Conv卷积层+BN层+PReLU层组合的方式，该分支的输入输出通道数均为m不变；第3条分支采用串联2个3*3，dilation＝3的DO
‑
Conv卷积层+BN层+PReLU层组合的方式；该分支的输入通道数为m，分别经过第1、2个3*3，dilation＝3的DO
‑
Conv卷积层后，输出通道数先增加到2m，后减少到m；第4条分支采用串联3个3*3，dilation＝3的DO
‑
Conv卷积层+BN层+PReLU层组合的方式；该分支的输入通道数为m，在经过第1、2、3个3*3，dilation＝3的DO
‑
Conv卷积层时，输出通道数先增加到3m，然后减少到2m，最后到m；最后将四条分支的输出结果通过concat的方式进行融合，得到串行空洞空间金字塔池化模块的最终输出，输出通道数为4m。4.根据权利要求1所述的一种基于改进FastFCN的图像分割方法，其特征在于：所述步骤4中，将非对称卷积模块、串行空洞空间金字塔池化模块、双重注意力CBAM模块以及瓶颈层融入子模块中，构建语义文本信息子模块；具体步骤为：4
‑
1.首先运用瓶颈层，使用1*1的DO
‑<...

【专利技术属性】
技术研发人员：巫笠平，马玉良，张启忠，孟明，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：