基于阶跃特征融合和注意力机制的图像分割方法及系统技术方案

本发明专利技术公开了基于阶跃特征融合和注意力机制的图像分割方法及系统；将待分割的图像输入到训练后的图像分割网络中，输出图像分割结果；训练后的图像分割网络对待分割图像进行特征提取，分别提取出第一第二局部特征和全局特征，对全局特征采用双通道注意力机制进行特征增强，对增强后的全局特征与第二局部特征进行阶跃式特征融合，对阶跃式特征融合后的特征进行解码处理，得到图像分割结果，在解码处理的过程中通过双线性上采样对融合后的特征进行上采样处理，并将上采样处理结果与第一局部特征进行串联拼接，将拼接后的结果进行反卷积处理，通过反卷积来捕捉不同形状物体的细节，最后对反卷积处理结果进行上采样处理，得到图像分割结果。分割结果。分割结果。

【技术实现步骤摘要】
基于阶跃特征融合和注意力机制的图像分割方法及系统


[0001]本专利技术涉及图像分割
，特别是涉及基于阶跃特征融合和注意力机制的图像分割方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提到了与本专利技术相关的
技术介绍
，并不必然构成现有技术。
[0003]语义分割作为经典的计算机视觉问题，其涉及将一些原始数据作为输入并将它们转换为具有突出显示的感兴趣区域的掩膜，其中图像中的每个像素根据其所属的对象被分配类别ID。研究图像的语义分割对于图像复原有着重要的应用意义，语义分割技术对于医学图像、自动驾驶、卫星遥感等都有重要的应用价值。语义分割将属于同一目标的图像部分聚集在一起解决这个问题，从而扩展了其应用领域。
[0004]Deeplabv1修改了VGG16网络，用反卷积来解决感受野和步长之间的矛盾。Deeplabv2使用全连接层，同样引入大量的计算。Deeplabv3使用ResNet
‑
101作为主网络，这提高了分割精度，但降低了分割速度。Deeplabv3+的特征提取和特征修复还不够。

技术实现思路

[0005]为了解决现有技术的不足，本专利技术提供了基于阶跃特征融合和注意力机制的图像分割方法及系统，产生更加准确和精细的分割效果。
[0006]第一方面，本专利技术提供了基于阶跃特征融合和注意力机制的图像分割方法；
[0007]基于阶跃特征融合和注意力机制的图像分割方法，包括：
[0008]获取待分割的图像；
[0009]将待分割的图像输入到训练后的图像分割网络中，输出图像分割结果；
[0010]其中，训练后的图像分割网络，用于对待分割图像进行特征提取，分别提取出第一局部特征、第二局部特征和全局特征，对全局特征采用双通道注意力机制进行特征增强，对增强后的全局特征与第二局部特征进行阶跃式特征融合，对阶跃式特征融合后的特征进行解码处理，得到图像分割结果，在解码处理的过程中通过双线性上采样对融合后的特征进行上采样处理，并将上采样处理结果与第一局部特征进行串联拼接，将拼接后的结果进行反卷积处理，通过反卷积来捕捉不同形状物体的细节，最后对反卷积处理结果进行上采样处理，得到图像分割结果。
[0011]第二方面，本专利技术提供了基于阶跃特征融合和注意力机制的图像分割系统；
[0012]基于阶跃特征融合和注意力机制的图像分割系统，包括：
[0013]获取模块，其被配置为：获取待分割的图像；
[0014]分割模块，其被配置为：将待分割的图像输入到训练后的图像分割网络中，输出图像分割结果；其中，训练后的图像分割网络，用于对待分割图像进行特征提取，分别提取出第一局部特征、第二局部特征和全局特征，对全局特征采用双通道注意力机制进行特征增强，对增强后的全局特征与第二局部特征进行阶跃式特征融合，对阶跃式特征融合后的特
征进行解码处理，得到图像分割结果，在解码处理的过程中通过双线性上采样对融合后的特征进行上采样处理，并将上采样处理结果与第一局部特征进行串联拼接，将拼接后的结果进行反卷积处理，通过反卷积来捕捉不同形状物体的细节，最后对反卷积处理结果进行上采样处理，得到图像分割结果。
[0015]第三方面，本专利技术还提供了一种电子设备，包括：
[0016]存储器，用于非暂时性存储计算机可读指令；以及
[0017]处理器，用于运行所述计算机可读指令，
[0018]其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。
[0019]第四方面，本专利技术还提供了一种存储介质，非暂时性地存储计算机可读指令，其中，当非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法的指令。
[0020]第五方面，本专利技术还提供了一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现上述第一方面所述的方法。
[0021]与现有技术相比，本专利技术的有益效果是：
[0022]本专利技术对Deeplabv3+网络做了三项改进，即跳跃式特征融合，注意力机制和丰富特征模块；
[0023]其中，阶跃式特征融合，实现语义信息和表征信息融合，产生更加准确和精细的分割效果；
[0024]其中，注意力机制，能够使得大尺度目标分割更加完善，利用通道注意力机制和空间注意力机制实现像素间特征信息的相互增强，能够更加准确地分割边缘目标；
[0025]其中，丰富特征模块，采用反卷积层和双线性上采用模块来恢复特征图的大小，能够捕捉不同形状的细节，产生更加精细的分割结果。
附图说明
[0026]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0027]图1为实施例一的图像分割完整结构图；
[0028]图2(a)、图2(b)和图2(c)为实施例一的Entry flow网络、Middle flow网络和Exit flow网络内部结构示意图；
[0029]图3(a)、图3(b)和图3(c)为实施例一的双通道注意力机制模块；
[0030]图4为实施例一的带有空洞卷积的空间金字塔池化模块(ASSP，Atrous Spatial Pyramid Pooling)内部结构示意图；
[0031]图5(a)
‑
图5(i)为实施例一的图像分割结果示意图。
具体实施方式
[0032]应该指出，以下详细说明都是示例性的，旨在对本专利技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本专利技术所属
的普通技术人员通常理解的相同含义。
[0033]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本专利技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式
也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0034]在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0035]本实施例所有数据的获取都在符合法律法规和用户同意的基础上，对数据的合法应用。
[0036]语义分割技术不仅属于计算机科学的研究范畴，还是涉及医学影像、自动驾驶、卫星遥感等多学科的一个前沿研究领域。语义分割技术将具有十分重要的研究意义和应用价值。
[0037]Deeplabv3+是一款优秀的分割网络，它主要由三部分组成：(1)从输入图像中提取特征的主干网络，即DeepLabV3网络(2)ASPP模块用于解决多尺度问题。(3)解码器部分，用于聚合特征进行预测。在DeepLabv3+中，只有从第一个Xception模块和ASPP模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于阶跃特征融合和注意力机制的图像分割方法，其特征是，包括：获取待分割的图像；将待分割的图像输入到训练后的图像分割网络中，输出图像分割结果；其中，训练后的图像分割网络，用于对待分割图像进行特征提取，分别提取出第一局部特征、第二局部特征和全局特征，对全局特征采用双通道注意力机制进行特征增强，对增强后的全局特征与第二局部特征进行阶跃式特征融合，对阶跃式特征融合后的特征进行解码处理，得到图像分割结果，在解码处理的过程中通过双线性上采样对融合后的特征进行上采样处理，并将上采样处理结果与第一局部特征进行串联拼接，将拼接后的结果进行反卷积处理，通过反卷积来捕捉不同形状物体的细节，最后对反卷积处理结果进行上采样处理，得到图像分割结果。2.如权利要求1所述的基于阶跃特征融合和注意力机制的图像分割方法，其特征是，所述训练后的图像分割网络，包括：依次连接的编码器和解码器；所述编码器包括：依次连接的Xception模型、双通道注意力机制模块、带有空洞卷积的空间金字塔池化模块、加法器和第一卷积层；其中，Xception模型，包括：依次连接的Entry flow网络、八个Middle flow网络和Exit flow网络；其中，加法器的输入端还通过第二卷积层与第八个Middle flow网络的输出端阶跃连接。3.如权利要求1所述的基于阶跃特征融合和注意力机制的图像分割方法，其特征是，所述对待分割图像进行特征提取，分别提取出局部特征和全局特征，其中，局部特征是指Middle flow网络的输出结果；全局特征是指Exit flow网络的输出结果。4.如权利要求2所述的基于阶跃特征融合和注意力机制的图像分割方法，其特征是，所述解码器，包括：第一双线性插值上采样模块、第一反卷积层；第一双线性插值上采样模的输入端用于输入第一卷积层的输出结果；第一反卷积层的输入端用于输入Entry flow网络的输出结果；所述第一双线性插值上采样模块的输出端和第一反卷积层的输出端均与串联拼接器的输入端连接，串联拼接器用于对第一双线性插值上采样模块的输出特征图和第一反卷积层的输出特征图进行串联拼接；串联拼接器的输出端与第二反卷积层的输入端链接；第二反卷积层的输出端与第二双线性插值上采样模块的输入端连接；第二双线性插值上采样模块的输出端输出图像分割后的图像。5.如权利要求1所述的基于阶跃特征融合和注意力机制的图像分割方法，其特征是，所述通过反卷积来捕捉不同形状物体的细节，反卷积的具体表达式为：o＝s(i
‑
1)+2p
‑
k+2(1)其中，o表示输出尺寸的大小，s表示步长，i表示输入特征图的尺寸大小；p表示边界扩充尺寸；k表示卷积核的大小。6.如权利要求4所述的基于阶跃特征融合和注意力机制的图像分割方法，其特...

【专利技术属性】
技术研发人员：李天平，崔朝童，韩宇，李冠兴，李萌，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：