一种多尺度语义信息和边界信息的遥感图像语义分割方法技术

本发明专利技术涉及一种多尺度语义信息和边界信息的遥感图像语义分割方法，属于图像处理领域。将多尺度的语义信息加入到U

【技术实现步骤摘要】
一种多尺度语义信息和边界信息的遥感图像语义分割方法


[0001]本专利技术属于图像处理领域，涉及一种多尺度语义信息和边界信息的遥感图像语义分割方法。

技术介绍

[0002]高分辨率的遥感图像包含了大量的信息，包括大量的空间细节信息，可以为土地覆盖分类与分割提供数据的支持。遥感图像语义分割是将图像中的每一个像素点归结到特定类别中的一项基本任务。遥感图像语义分割在土地资源利用，土地管理，精准化农业，城市规划等许多遥感应用方面发挥着重要的作用。

技术实现思路

[0003]有鉴于此，本专利技术的目的在于提供一种多尺度语义信息和边界信息的遥感图像语义分割方法。
[0004]为达到上述目的，本专利技术提供如下技术方案：
[0005]一种多尺度语义信息和边界信息的遥感图像语义分割方法，该方法包括以下步骤：
[0006]步骤1：获得高分辨率遥感影像原始数据集，并将其划分为训练样本集与测试样本集；
[0007]步骤2：预处理上述高分辨率遥感影像训练样本集，构建训练数据集；
[0008]步骤3：搭建基于多尺度语义信息和边界信息的遥感图像语义分割网络模型，包括多尺度语义信息分割分流网络和边界信息提取分流网络，通过协调注意力机制模块实现多尺度语义信息和边界信息的融合；
[0009]步骤4：利用上述训练数据集对所描述的多尺度语义信息和边界信息的遥感图像语义分割网络模型进行监督训练，获得相应语义分割模型；
[0010]步骤5：利用步骤4所获得的语义分割模型对测试样本集中的高分遥感影像进行推理预测，得到最后的分割结果。
[0011]可选的，所述步骤2中，预处理包括：遥感影像数据归一化处理和数据增强。
[0012]可选的，所述步骤3中，多尺度语义分割采用编码
‑
解码范式结构，具体搭建流程为：
[0013]步骤311：搭建含五级网络结构的特征解码器:经过五个连续的卷积单元与2*2最大池化层，所述的卷积单元为非对称卷积块，批归一化层，线性激活函数层；
[0014]非对称卷积块具有三个分支，即3
×
3卷积，1
×
3水平核的卷积和3
×
1垂直核的卷积，以获得交叉感受野，3
×
3卷积通过感受野捕获特征，水平核和垂直核保持特征在骨架上的显著性，扩展网络的宽度，减少在捕获代表性特征时冗余信息的影响；得到最后的编码器层的结果A1‑
A5[0015][0016][0017]其中x
i
是非对称卷积块的输出，x
i
‑1是非对称块的输入；Var(
·
)和E(
·
)表示输入的方差函数和期望；是一个保持数值稳定性的小常数；γ和β是BN层的两个可训练参数，归一化结果用γ缩放，用β移位；σ(
·
)为ReLU的激活函数；
[0018]步骤312：搭建含四级网络结构的特征解码器：每一级解码器融合不同尺度的语义信息，通过多尺度连接来捕获编解码器之间的相互作用，提取细粒度的细节信息和粗粒度的语义信息；每一个解码器连接同级编码器的特征映射，其次包含底层解码器层的细粒度详细信息，对于底层的细粒度详细信息通过转置卷积和非对称卷积块进行传输，还包含高级别的编码器层的粗粒度语义信息，对于高级的粗粒度语义信息通过最大池化和非对称卷积块进行传输；
[0019]步骤313：协调注意机制通道融合模块：每一个解码器获得五个相同大小和分辨率的特征图，减少通道数，引入协调注意机制，将位置信息嵌入到通道注意中，将通道注意分解为两个一维的特征编码过程，分别沿两个方向聚合特征，在一个空间方向上捕获长程依赖，同时在另一个空间方向上保留精确的位置信息；水平和垂直启用全局接受域对精准的位置信息进行编码，得到两个一维向量，然后在空间维度上进行拼接，使用1
×
1卷积来压缩通道F1，另外两个1
×
1卷积将F
h
和F
w
变换f
h
和f
w
变换为具有相同通道数的张量，在进行归一化加权，输出的g
h
和g
w
被扩展并分别用作注意权重；最后输出结果；
[0020][0021]可选的，所述步骤3中，边界信息提取分流网络的具体构建流程为：
[0022]步骤321：编码器端卷积特征提取：从步骤311所述的五级网络结构的特征编码器中提取所有的卷积特征A1‑
A5，将其作为边界信息提取分流网络的编码器端特征：
[0023]步骤322：各级边界信息融合特征集成:首先将步骤321所得的每一级的特征A1‑
A5通过3
×
3的卷积层将通道数统一为k，获得不同尺度相同通道数的语义信息F1‑
F5；
[0024]步骤323：使用1
×
1卷积层和Sigmoid函数将边界特征映射到边缘图，将所有边界特征比例尺调整为输入图像的1/m大小，得到相应的边界融合特征E1‑
E5[0025]步骤324：多尺度边界融合特征集成：对特征E1‑
E5进行通道维度拼接，得到多尺度边界特征F
jieguo
，进行后续的上下文聚合；
[0026]步骤325：边界的上下文聚合模块，对上下文的语义进行聚合；使用一个类注意力机制的方法，对于同一物体的像素激活相似的注意区域，而来自不同物体的像素具有较少的相似性；具体为：对于主干网络编码器层生成的语义特征映射A5∈R
C1
×
H
×
W
和从步骤324中生成的多尺度边界特征F
jieguo
的特征映射B∈R
C2
×
H
×
W
，经过两个卷积层的处理，生成两个新的特征映射{A1,B1}∈R
C
×
H
×
W
，其中C＝K，然后将特征重塑为R
C
×
N
，其中N＝H
×
W为像素数；在重塑A1和B1的转置之间进行矩阵乘法，然后应用Softmax函数，得到边界语义相似度映射F；接着用核大小为1
×
1的两层卷积层对A进行处理，并将输出A2重塑为R
C
×
N
，然后在A2与边界语义相似度映射F之间进行矩阵乘法，然后对特征A进行元素和运算得到最后的结果；
[0027][0028]所述语义分割模型与边界信息提取分流模块使用相同的编码器层，通过多尺度信息的融合将相同分辨的语义分割编码特征和边界信息提取的编码特征进行融合，实现端到端的不同层次之间语义分割信息与多尺度的边界信息之间的相互融合。
[0029]可选的，所述步骤4的具体流程为：
[0030]步骤41：将制作的训练集数据输入到多尺度语义信息和边界信息的预感图像语义分割模型，通过自动化特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多尺度语义信息和边界信息的遥感图像语义分割方法，其特征在于：该方法包括以下步骤：步骤1：获得高分辨率遥感影像原始数据集，并将其划分为训练样本集与测试样本集；步骤2：预处理上述高分辨率遥感影像训练样本集，构建训练数据集；步骤3：搭建基于多尺度语义信息和边界信息的遥感图像语义分割网络模型，包括多尺度语义信息分割分流网络和边界信息提取分流网络，通过协调注意力机制模块实现多尺度语义信息和边界信息的融合；步骤4：利用上述训练数据集对所描述的多尺度语义信息和边界信息的遥感图像语义分割网络模型进行监督训练，获得相应语义分割模型；步骤5：利用步骤4所获得的语义分割模型对测试样本集中的高分遥感影像进行推理预测，得到最后的分割结果。2.根据权利要求1所述的一种多尺度语义信息和边界信息的遥感图像语义分割方法，其特征在于：所述步骤2中，预处理包括：遥感影像数据归一化处理和数据增强。3.根据权利要求1所述的一种多尺度语义信息和边界信息的遥感图像语义分割方法，其特征在于：所述步骤3中，多尺度语义分割采用编码
‑
解码范式结构，具体搭建流程为：步骤311：搭建含五级网络结构的特征解码器:经过五个连续的卷积单元与2*2最大池化层，所述的卷积单元为非对称卷积块，批归一化层，线性激活函数层；非对称卷积块具有三个分支，即3
×
3卷积，1
×
3水平核的卷积和3
×
1垂直核的卷积，以获得交叉感受野，3
×
3卷积通过感受野捕获特征，水平核和垂直核保持特征在骨架上的显著性，扩展网络的宽度，减少在捕获代表性特征时冗余信息的影响；得到最后的编码器层的结果A1‑
A
55
其中x
i
是非对称卷积块的输出，x
i
‑1是非对称块的输入；Var(
·
)和E(
·
)表示输入的方差函数和期望；是一个保持数值稳定性的小常数；γ和β是BN层的两个可训练参数，归一化结果用γ缩放，用β移位；σ(
·
)为ReLU的激活函数；步骤312：搭建含四级网络结构的特征解码器：每一级解码器融合不同尺度的语义信息，通过多尺度连接来捕获编解码器之间的相互作用，提取细粒度的细节信息和粗粒度的语义信息；每一个解码器连接同级编码器的特征映射，其次包含底层解码器层的细粒度详细信息，对于底层的细粒度详细信息通过转置卷积和非对称卷积块进行传输，还包含高级别的编码器层的粗粒度语义信息，对于高级的粗粒度语义信息通过最大池化和非对称卷积块进行传输；步骤313：协调注意机制通道融合模块：每一个解码器获得五个相同大小和分辨率的特征图，减少通道数，引入协调注意机制，将位置信息嵌入到通道注意中，将通道注意分解为两个一维的特征编码过程，分别沿两个方向聚合特征，在一个空间方向上捕获长程依赖，同时在另一个空间方向上保留精确的位置信息；水平和垂直启用全局接受域对精准的位置信息进行编码，得到两个一维向量，然后在空间维度上进行拼接，使用1
×
1卷积来压缩通道
F1，另外两个1
×
1卷积将F
h
和F
w
变换f
h
和f
w
变换为具有相同通道数的张量，在进行归一化加权，输出的g
h
和g
w
被扩展并分别用作注意权重；最后输出结果；4.根据权利要求1所述的一种多尺度语义信息和边界信息的遥感图像语义分割方法，其特征在于：所述步骤3中，边界信息提取分流网络的具体构建流程为：步骤321：编码器端卷积特征提取：从步骤311所述的五级网络结构的特征编码器中提取所有的卷积特征A1‑
A5，将其作为边界信息提取分流网络的编码器端特征：步骤322：各级边界信息融...

【专利技术属性】
技术研发人员：袁正午，王阳，邓阳，王秋粮，陈强，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：