基于全尺度密集连接的图像语义分割方法、系统及设备技术方案

本发明专利技术公开了一种基于全尺度密集连接的图像语义分割方法、系统及设备，首先对待分割图像进行预处理，将其切割或填充为预设大小；然后使用图像语义分割网络实现对待分割图像的语义分割；本发明专利技术的图像语义分割网络(UNet4+)通过全尺度和密集的跳跃连接，编码器中的每个节点从不同尺度的编码器接收中间聚合特征图，而解码器中的每个节点不仅从不同尺度的编码器和解码器接收中间聚合特征图，而且还从相同尺度的编码器接收中间聚合特征图。因此，解码器中的聚合层可以学习使用节点上的所有收集的特征图。本发明专利技术的UNet4+缓解了梯度消失的问题，这也使得网络中的信息流最大化；同时加强了网络中的特征传播；具备更紧凑的模型和极端的特征重用性。端的特征重用性。端的特征重用性。

【技术实现步骤摘要】
2018),Salt Lake City,UT,USA,2018,Conference Proceedings,pp.2403
–
2412.)和Zhou等人(Z.Zhou,M.M.R.Siddiquee,N.Tajbakhsh,and J.Liang,“Unet++:A nested u
‑
net architecture for medical image segmentation,”in 4th International Workshop on Deep Learning in Medical Image Analysis(DLMIA 2018)Held in Conjunction with MICCAI 2018,Granada,SPAIN,2018,Conference Proceedings,pp.3
–
11.)分别提出。
[0008]值得注意的是，UNet+架构中的每个节点从水平角度结合其相邻的前辈在同一尺度上的特征图，从垂直角度整合其相邻的前辈在不同尺度上的特征图。为了确保UNet+架构内所有不同深度的UNet之间的最大信息流，Zhou等人还提出了一个具有密集跳跃连接的嵌套UNet架构，称为UNet++，其解码器从水平角度看在同一维度上密集连接。重新设计的同尺度跳跃连接使密集特征传播更加灵活，将所有前面的特征图直接连接在一起。
[0009]虽然作为一种自然的设计令人信服，但并没有坚实的理论来保证同一尺度的特征图是特征融合的最佳匹配。为了在图像分割中利用全尺度的特征，Huang等人(H.Huang,L.Lin,R.Tong,H.Hu,Q.Zhang,Y.Iwamoto,X.Han,Y.
‑
W.Chen,and J.Wu,“Unet 3+:A full
‑
scale connected unet for medical image segmentation,”in 45th IEEE International Conference on Acoustics,Speech,and Signal Processing(ICASSP 2020),Barcelona,SPAIN,2020,Conference Proceedings,pp.1055
–
1059.)提出了UNet3+，它将细粒度的低级详细特征图与不同尺度的粗粒度高级语义特征图相结合。然而，UNet3+只是部分地重新设计了编码器和解码器之间的长跳跃连接以及解码器内的短跳跃连接。
[0010]尽管在UNet3+架构的解码器中使用不同比例的特征图比使用UNet、UNet+和UNet++架构的编码器中相同比例的特征图的限制要小得多，但仍有改进的空间。

技术实现思路

[0011]为了解决上述技术问题，本专利技术采用的图像语义分割网络在编码器和解码器内部以及两者之间使用所有的全尺度和密集的跳跃连接，从而形成本专利技术的图像语义分割网络(UNet4+架构)。
[0012]本专利技术的方法所采用的技术方案是：一种基于全尺度密集连接的图像语义分割方法，包括以下步骤：
[0013]步骤1：对待分割图像进行预处理，将其切割或填充为预设大小；
[0014]步骤2：使用图像语义分割网络实现对待分割图像的语义分割；
[0015]所述图像语义分割网络，包括编码器、解码器、全尺度密集跳跃连接和全尺度深监督；所述编码器由5个编码卷积块组成，第1
‑
4个编码卷积块各包含2个由顺序连接的Conv、InstanceNorm、LeakyReLU组成的卷积层和1个下采样层MaxPooling，第5个编码卷积块仅包含2个由顺序连接的Conv、InstanceNorm、LeakyReLU组成的卷积层；每个编码卷积块的输出通道数分别为C、2C、4C、8C、16C，卷积核大小均为3
×
3，最大池化核大小及池化步长均为2
×
2；所述解码器由4个解码卷积块组成，每个解码卷积块包含1个上采样层UpsamplingBilinear、1个通过全尺度密集跳跃连接将所有位于该解码块之前的编码器特征图或解码器特征图级联到一起的融合层Concatenate和2个卷积层，每个解码卷积块的侧边输出由1个1
×
1卷积层进行通道数对齐，从而实现后续的全尺度深监督。
[0016]本专利技术的系统所采用的技术方案是：一种基于全尺度密集连接的图像语义分割系
统，包括以下模块：
[0017]模块1，用于对待分割图像进行预处理，将其切割或填充为预设大小；
[0018]模块2，用于使用图像语义分割网络实现对待分割图像的语义分割；
[0019]所述图像语义分割网络，包括编码器、解码器、全尺度密集跳跃连接和全尺度深监督；所述编码器由5个编码卷积块组成，第1
‑
4个编码卷积块各包含2个由顺序连接的Conv、InstanceNorm、LeakyReLU组成的卷积层和1个下采样层MaxPooling，第5个编码卷积块仅包含2个由顺序连接的Conv、InstanceNorm、LeakyReLU组成的卷积层；每个编码卷积块的输出通道数分别为C、2C、4C、8C、16C，卷积核大小均为3
×
3，最大池化核大小及池化步长均为2
×
2；所述解码器由4个解码卷积块组成，每个解码卷积块包含1个上采样层UpsamplingBilinear、1个通过全尺度密集跳跃连接将所有位于该解码块之前的编码器特征图或解码器特征图级联到一起的融合层Concatenate和2个卷积层，每个解码卷积块的侧边输出由1个1
×
1卷积层进行通道数对齐，从而实现后续的全尺度深监督。
[0020]本专利技术的设备所采用的技术方案是：一种基于全尺度密集连接的图像语义分割设备，包括：
[0021]一个或多个处理器；
[0022]存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现所述的基于全尺度密集连接的图像语义分割方法。
[0023]本专利技术提出的图像语义分割网络(UNet4+)网络具有以下优势：
[0024]①
UNet4+通过任何两个卷积块之间的直接跳跃连接，从而缓解了梯度消失的问题，这也使得网络中的信息流最大化。
[0025]②
UNet4+广泛使用了特征级联，从而加强了网络中的特征传播。
[0026]③
UNet4+通过在网络后端卷积块中聚合大量的特征图，从而导致了更紧凑的模型和极端的特征重用性。
附图说明
[0027]图1为本专利技术实施例的流程图；
[0028]图2为本专利技术实施例的图像语义分割网络(UNet4+)结构示意图。
具体实施方式
[0029]为了便于本领域普通技术人员理解和实施本专利技术，下面结合附图及实施例对本专利技术作进一步的详细描述，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于全尺度密集连接的图像语义分割方法，其特征在于，包括以下步骤：步骤1：对待分割图像进行预处理，将其切割或填充为预设大小；步骤2：使用图像语义分割网络实现对待分割图像的语义分割；所述图像语义分割网络，包括编码器、解码器、全尺度密集跳跃连接和全尺度深监督；所述编码器由5个编码卷积块组成，第1
‑
4个编码卷积块各包含2个由顺序连接的Conv、InstanceNorm、LeakyReLU组成的卷积层和1个下采样层MaxPooling，第5个编码卷积块仅包含2个由顺序连接的Conv、InstanceNorm、LeakyReLU组成的卷积层；每个编码卷积块的输出通道数分别为C、2C、4C、8C、16C，卷积核大小均为3
×
3，最大池化核大小及池化步长均为2
×
2；所述解码器由4个解码卷积块组成，每个解码卷积块包含1个上采样层UpsamplingBilinear、1个通过全尺度密集跳跃连接将所有位于该解码块之前的编码器特征图或解码器特征图级联到一起的融合层Concatenate和2个卷积层，每个解码卷积块的侧边输出由1个1
×
1卷积层进行通道数对齐，从而实现后续的全尺度深监督。2.根据权利要求1所述的基于全尺度密集连接的图像语义分割方法，其特征在于：步骤1中，待分割图像如果分辨率大于预设大小，则将其切割为预设大小的图像块；如果待分割图像分辨率小于预设大小，则采用镜像填充图像块边界，将其填充为预设大小的图像。3.根据权利要求1所述的基于全尺度密集连接的图像语义分割方法，其特征在于：步骤2中，所述图像语义分割网络的编码器端和解码器端的特征图分别用和表示，输入通过编码器节点进入所述图像语义分割网络，而位于第i>1层的其他编码器节点仅能从编码器的所有上层节点接收i
‑
1个下采样输入；位于第i<N层的解码器节点则从解码端接收N
‑
i
‑
1个上采样输入以及从编码端接收N个输入；其中，上标i沿着编码器的下采样层进行索引，N表示网络层的深度；所述全尺度深监督，是在解码器节点和的侧边输出端都附加1个双线性插值的上采样层，使得这些节点的输出特征图具有与节点相同的空间分辨率；然后，这4个侧边输出在通道维度上进行级联操作或进行逐像素的加法运算，再通过1个由Conv和Sigmoid组成的3
×
3卷积层输出预测图像。4.根据权利要求1所述的基于全尺度密集连接的图像语义分割方法，其特征在于：步骤2中，所述图像语义分割网络的编码器端和解码器端的特征图分别用和表示，输入通过编码器节点进入所述图像语义分割网络，而位于第i>1层的其他编码器节点仅能从编码器的所有上层节点接收i
‑
1个下采样输入；位于第i<N层的解码器节点则从解码端接收N
‑
i
‑
1个上采样输入以及从编码端接收N个输入；其中，上标i沿着编码器的下采样层进行索引，N表示网络层的深度；所述全尺度深监督，是在解码器节点的侧边输出通过1个双线性插值的上采样层和1个1

【专利技术属性】
技术研发人员：熊炜，田紫欣，陈奕博，强观臣，郑大定，汪锋，邹勤，王松，李利荣，宋海娜，李婕，涂静敏，
申请(专利权)人：湖北工业大学，
类型：发明
国别省市：