一种无人机用语义分割网络模型及图像分割识别方法技术

本发明专利技术提供了提供了一种无人机用语义分割网络模型及图像分割识别方法，基于BiseNetv2轻量化语义分割的框架进行搭建，包括细节分支部分、语义分支部分、融合分支部分和聚合层部分；所述细节分支部分使用宽通道和浅层来处理空间细节，语义分支部分采用三种特殊的网络构造代替经典网络并作为语义分支的主体，融合分支部分在语义分支的第三、四、五层和细节分支的第三层分别使用了RFB模块来扩大感受野；聚合层部分用于进行特征融合来合并特性表示。本发明专利技术区分于传统的语义分割，借鉴了伪装物检测方法，将融入背景中的难以区分的目标物体分离出来，此网络模型分割速度快、区分相似度更大的物体分割精度更准确。相似度更大的物体分割精度更准确。相似度更大的物体分割精度更准确。

【技术实现步骤摘要】
一种无人机用语义分割网络模型及图像分割识别方法


[0001]本专利技术属于无人机图像识别
，尤其涉及一种无人机用语义分割网络模型及图像分割识别方法。

技术介绍

[0002]近年来，无人机因其灵活便捷，成本低，维护方便和高分辨率快速成像等特点，弥补了卫星遥感监测的不足，被广泛应用到农林业，资源勘测和海洋环境监测等领域。在海洋环境监测方面，溢油和海面、互花米草和藻类植物等不同种类的物体之间相似度较高，通用的分割算法效果较差，给无人机场景下的语义分割带来了新的挑战。因此，本专利技术针对无人机场景下不同类间相似度较高、分割精度差的问题进行了深入研究。
[0003]目前无人机中使用的实时语义分割的网络设计包括以下几种：DeepLab系列：对图像做密集的分割任务，分割每个像素到指定的类别上，将图像分割成几个有意义的目标并给对象分配指定的类别标签。
[0004]BiSeNet系列：BiSeNet系列网络结构的设计是对这一工作的一次尝试，在精度与 DeepLab 系列相差不大的情况下，极大的提升了速度。众所周知，图像特征中低层次的细节信息和高层次的语义信息是图像语义分割的基础。但是，在轻量化的网络设计中，为了提高模型的推理速度，通用的方法一般是减少图像的大小和降低模型的复杂度，减少图像大小就会丢失一些细节信息，降低模型复杂度则会导致模型的特征提取能力下降，尤其是一些底层的特征细节信息多，但计算量大，丢失这些特征，对语义分割这种像素级的任务影像很大。因此，BiSeNet系列提出双向分割网络，旨在同时提升语义分割的速度与精度。
[0005]现有的DeepLab系列网络，虽然具有较高的分割精度，但分割速度却不够；BiSeNet在精度与DeepLab系列相差不大的情况下，极大的提升了速度；但在无人机的搭载环境下，对相似物之间的区分度仍不够高。

技术实现思路

[0006]针对上述问题，本专利技术基于BiseNetv2轻量化语义分割的框架，借鉴了伪装物体检测的方法，提出了一种基于注意力引导的多尺度融合的语义分割网络TriseNet，通过引入MSCA多尺度通道注意力机制的ACFM模块，建立新的融合分支，有效地融合多尺度特征。
[0007]本专利技术第一方面提供了一种无人机用语义分割网络模型，基于BiseNetv2轻量化语义分割的框架进行搭建，包括细节分支部分、语义分支部分、融合分支部分和聚合层部分；所述细节分支部分使用宽通道和浅层来处理空间细节，所述细节分支部分提取的输出特征映射是原始输入的1/8；所述语义分支部分采用三种特殊的网络构造代替经典网络并作为语义分支的主体，分别为StemBlock网络、Gather
‑
and
‑
Expansion Layer网络和Context Embelding Block 网络；
所述融合分支部分在语义分支的第三、四、五层和细节分支的第三层分别使用了 RFB 模块来扩大感受野，得到了特征L3，L4，L5和L1，将L3和L4作为 ACFM 模块的输入，得到输出特征 L
34
，再将L
34
和L5作为ACFM模块的输入，得到输出特征 L
345
，最后将L
345
和L1作为ACFM模块的输入，得到输出特征 L0；所述聚合层部分用于进行特征融合来合并特性表示，所述分割分支的输出大小为细节分支的1/4，分割分支经过上述处理后通过激活函数sigmoid激活输出，然后与经过处理的细节分支相乘；细节分支和语义分支使用聚合层进行融合得到了特征L
c
，然后将融合分支的输出特征L0和聚合层的输出特征L
c
进行拼接操作得到最终分支聚合之后的输出。
[0008]在一种可能的设计中，所述RFB 模块包含5个分支，所述每个分支中先通过一个1
×
1的卷积将通道数降低到64 维，第三个分支再经过一个1
×
3卷积、3
×
1卷积和3
×
3卷积，第四个分支再经过一个1
×
5卷积、5
×
1卷积和3
×
3卷积，第五个分支再经过一个1
×
7卷积、7
×
1卷积和3
×
3卷积，然后将第二、第三、第四和第五个分支的输出拼接到一起，再通过一个3
×
3的卷积将通道数降低到64维，最后将输出的特征和第一个分支的输出相加，经过ReLU激活函数得到最后的输出特征。
[0009]在一种可能的设计中，所述ACFM模块的具体结构为，给定两个不同尺度的输入特征图 F
a
和F
b
，将较深层特征图F
b
进行上采样处理，得到和F
a
特征图同样大小的尺寸，记为F
c
；然后将特征图F
a
和上采样得到的特征图F
c
进行相加操作，以得到融合的总特征F
x
，将得到的总特征F
x
送入 MSCA 模块进一步处理，得到特征 F
y
，然后将特征F
y
与特征F
a
以及特征F
y
的反向和特征F
b
进行相乘再相加操作，得到特征F
O
；ACFM模块结构用公式可以表示如下：最后特征F
O
经过一个3
×
3卷积，得到最终的输出特征F。
[0010]在一种可能的设计中，所述ACFM模块中使用了多尺度通道注意力机制MSCA模块，所述MSCA模块共有两个分支，上面的分支由PWC+BN+ReLU+PWC+BN组成，其中点卷积为1
×
1的卷积，以保持原始特征大小，获得局部信息；下面的分支由GAP+PWC+BN+ReLU+PWC+BN组成，其中使用全局平均池化获取全局上下文信息，并突出显示全局分布的大型对象；最后，将上下两个分支结构得到的特征进行相加操作，在经过激活函数sigmoid处理后得到输出特征 W。
[0011]在一种可能的设计中，所述StemBlock网络采用两种不同的下采样方式来缩小特征表示，然后将两个分支的输出特征串联起来作为输出；将StemBlock网络作为语义分支的第一个特征提取块，图像输入经过卷积后分为两个分支，最后将经过两层卷积块后的输出与经过卷积核大小为3的最大池化层连接在一起再卷积作为输出，图像输出是缩小为原图的1/4，维度数为16；所述Gather
‑
and
‑
Expansion Layer网络包括一个3
×
3的卷积，有效地聚合特征响应并扩展到高维空间，在每个单独输出通道上独立进行3
×
3深度卷积，以1
×
1的卷积作为投影层，将深度卷积的输出投影到低信道容量空间中；所述Context Embelding Block网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人机用语义分割网络模型，基于BiseNetv2轻量化语义分割的框架进行搭建，其特征在于：包括细节分支部分、语义分支部分、融合分支部分和聚合层部分；所述细节分支部分使用宽通道和浅层来处理空间细节，所述细节分支部分提取的输出特征映射是原始输入的1/8；所述语义分支部分采用三种特殊的网络构造代替经典网络并作为语义分支的主体，分别为StemBlock网络、Gather
‑
and
‑
Expansion Layer网络和Context Embelding Block 网络；所述融合分支部分在语义分支的第三、四、五层和细节分支的第三层分别使用了 RFB 模块来扩大感受野，得到了特征L3，L4，L5和L1，将L3和L4作为 ACFM 模块的输入，得到输出特征 L
34
，再将L
34
和L5作为ACFM模块的输入，得到输出特征 L
345
，最后将L
345
和L1作为ACFM模块的输入，得到输出特征 L0；所述聚合层部分用于进行特征融合来合并特性表示，所述分割分支的输出大小为细节分支的1/4，分割分支经过上述处理后通过激活函数sigmoid激活输出，然后与经过处理的细节分支相乘；细节分支和语义分支使用聚合层进行融合得到了特征L
c
，然后将融合分支的输出特征L0和聚合层的输出特征L
c
进行拼接操作得到最终分支聚合之后的输出。2.如权利要求1所述的一种无人机用语义分割网络模型，其特征在于：所述RFB 模块包含5个分支，所述每个分支中先通过一个1
×
1的卷积将通道数降低到64 维，第三个分支再经过一个1
×
3卷积、3
×
1卷积和3
×
3卷积，第四个分支再经过一个1
×
5卷积、5
×
1卷积和3
×
3卷积，第五个分支再经过一个1
×
7卷积、7
×
1卷积和3
×
3卷积，然后将第二、第三、第四和第五个分支的输出拼接到一起，再通过一个3
×
3的卷积将通道数降低到64维，最后将输出的特征和第一个分支的输出相加，经过ReLU激活函数得到最后的输出特征。3.如权利要求1所述的一种无人机用语义分割网络模型，其特征在于：所述ACFM模块的具体结构为，给定两个不同尺度的输入特征图 F
a
和F
b
，将较深层特征图F
b
进行上采样处理，得到和F
a
特征图同样大小的尺寸，记为F
c
；然后将特征图F
a
和上采样得到的特征图F
c
进行相加操作，以得到融合的总特征F
x
，将得到的总特征F
...

【专利技术属性】
技术研发人员：魏玲，胥志伟，杨晓刚，
申请(专利权)人：山东巍然智能科技有限公司，
类型：发明
国别省市：