用于城市绿地提取的语义分割方法技术

技术编号：41726244 阅读：11 留言：0更新日期：2024-06-19 12:49

本发明专利技术公开了一种用于城市绿地提取的语义分割方法，包括如下步骤：S1、获取Vaihingen高分辨率遥感影像语义分割数据集；S2、分别构建ST分支编码器和CNN分支编码器；S3、构建NPM模块；S4、构建EASPP模块；S5、构建CBAM模块；S6、将ST分支和CNN分支提取得到的深层特征图像进行融合；S7、在模型上采样的过程中，引入浅层特征；S8、在联合损失函数下进行模型训练，得到城市绿地提取结果图；S9、将STRD‑Net模型与CNN和Transformer系列模型进行对比。本发明专利技术更加关注重要特征，抑制不必要的特征，有效地克服了特征提取结果图的“椒盐”现象。

全部详细技术资料下载

【技术实现步骤摘要】

本专利技术属于计算机视觉，更具体地说，涉及一种用于城市绿地提取的语义分割方法。

技术介绍

1、城市绿地是城市系统的重要组成部分，是城市环境和居民生活水平的重要标志。快速准确掌握城市绿地面积，对于城市居民的身心健康以及城市规划建设至关重要。受人类活动的影响，绝大多数的城市绿地都是由人工植被组成。人工植被主要有人工林、人工草地以及城市农田。其中，人工林可以改善空气质量、减少噪音污染以及调节城市气温，降低城市热岛效应。草地的根系能够牢固固定土壤，防止土壤侵蚀，维护土壤的健康。另外，由于人工草地同样可以用于城市农业种植各类农作物，因此，经常将城市农田与人工草坪合并为低矮植被。

2、伴随着计算机视觉领域快速发展，专家学者们提出了众多网络模型用于遥感影像中的城市绿地提取。这些模型大致可以分为两类：一类是由传统卷积运算构成的卷积神经网络(convolutionalneuralnetworks,cnn)模型；另一类是完全基于注意力机制的transformer系列模型。然而，上述两大类模型各自都有一定的局限性：基于cnn的方法，虽然在用于遥感影像城市绿地时局部特征提取能力较强，但是全局特征提取能力较弱，不能完整地识别出城市绿地大类，常常遗漏掉某棵树木或者小区域的低矮植被；transformer系列模型在用于城市绿地提取时则恰好相反，全局特征提取能力较强而在局部特征的提取方面欠缺较多，虽然能够较为完整地识别出城市绿地大类，但是在树木与低矮植被等小类上的区分效果比较差。

3、因此，亟需一种新的用于城市绿地提取的语义分割方法。</p>

技术实现思路

1、本专利技术基于卷积神经网络的方法，在用于遥感影像城市绿地时局部特征提取能力较强，全局特征提取能力较弱；transformer系列模型在用于城市绿地提取时则恰好相反，全局特征提取能力较强而在局部特征的提取方面欠缺较多。针对上述现有技术的不足，本专利技术提供了一种用于城市绿地提取的语义分割方法。与现有的语义分割网络相比较，无论是在城市绿地的细节特征还是全局特征上的提取能力都有所增加。

2、为了解决上述技术问题至少之一，根据本专利技术的一方面，提供了一种用于城市绿地提取的语义分割方法，包括如下步骤：

3、s1、获取vaihingen高分辨率遥感影像语义分割数据集；

4、s2、分别构建st分支编码器和cnn分支编码器，对输入的遥感影像进行特征提取，获取不同层次特征的语义分割特征图；

5、s3、构建npm模块；

6、s4、构建easpp模块；

7、s5、构建cbam模块；

8、s6、将st分支和cnn分支提取得到的深层特征图像进行融合，将融合后的特征进行上采样；

9、s7、在模型上采样的过程中，在编码器与解码器之间构建跳跃连接，引入浅层特征；

10、s8、在联合损失函数下进行模型训练，并将测试集遥感影像输入至训练完成的语义分割网络模型，得到城市绿地提取结果图；

11、s9、将strd-net模型与cnn和transformer系列模型进行对比，评价指标以kappa系数为主，同时加入平均交并比和平均f1值。

12、进一步的，s1具体为：

13、s101、对获得的遥感影像数据集的标签数据进行调整，保留低矮植被和树木类别，将其他三类统一归属为背景；

14、s102、对预处理后的遥感数据制作语义标签，将图像裁剪成256×256大小，得到n张初始图像和n张标签图像；

15、s103、将所得的n张初始图像按照6:2:2的比例划分为训练集、验证集和测试集；

16、s104、对所得的训练集图像进行归一化植被指数提取处理，并保留初始的训练集图像。

17、进一步的，在s2中，在st分支编码器中，输入经过ndvi提取处理的遥感影像；patchpartition模块将图像划分为非重叠的8×8的图像块；然后linearembedding模块将patchpartition模块得到的图像块进行编码并进行线性映射，将其维度映射为c1；将得到的图像块放入由swintransformer块堆叠而成的st分支编码器中；st分支的编码器共分为四个特征提取阶段，每个阶段的图像输出为

18、

19、cnn分支骨干提取网络为resnet50，原始的遥感影像输入到resnet50先经过3层3×3卷积获取浅层特征图并将通道更改为c2；将浅层特征图复制，一部分留存，另一部分放入残差块中；resnet50共有4个残差块，每部分的图像输出为

20、进一步的，s3中，npm模块包括两个分支，分支一是具有空洞金字塔的瓶颈块，分支二引入了soft-pool；

21、分支一中，输入图像先经过第一个1×1卷积增加维度，再利用中间的空洞金字塔来获取图像的特征信息，最后通过1×1卷积恢复为原本维度；其中空洞金字塔包含三个3×3的空洞卷积，扩张率分别为1、2、4；

22、分支二中，图像先经过soft-pool进行精细下采样，然后将特征图输入到1×1卷积层中增加特征维度；以池化核r中的单个像素为例，soft-pool的计算方法如式(2)所示：

23、

24、进一步的，s4中，改进aspp模块，构建easpp模块，保留原本的1×1卷积以及三个3×3空洞卷积，利用soft-pool替换掉原本的全局平均池化，之后，使用deformconv2d替换conv2d辅助五个分支的特征图像进行通道融合。

25、进一步的，s8中，focalloss损失函数的计算方法如式(3)所示：

26、

27、其中y∈{±1}指定了基本真值类，p∈[0,1]是该类的模型估计概率；pt计算方式如式(4)所示：

28、

29、diceloss损失函数的计算方法如式(5)所示：

30、

31、其中，x表示真实分割图像的像素标签，y表示模型预测分割图像的像素。

32、进一步的，kappa系数的计算公式如式(6)所示，其中po是每一类正确分类的样本数量之和除以总样本数，也就是总体分类精度，pe是通过计算每个类别的预测数量和实际数量的乘积，然后除以样本总数的平方得到的；交并比(iou)计算方法如式(7)所示；f1值的计算方法如式(8)所示，其中precision＝tp/(tp+fp)，recall＝tp/(tp+fn)：

33、

34、

35、

36、根据本专利技术的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本专利技术的用于城市绿地提取的语义分割方法中的步骤。

37、根据本专利技术的又一方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本专利技术的用于城市绿地提取的语义分割方法中的步骤。本文档来自技高网...

【技术保护点】

1.一种用于城市绿地提取的语义分割方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的方法，其特征在于，S1具体为：

3.根据权利要求2所述的方法，其特征在于，在S2中，在ST分支编码器中，输入经过NDVI提取处理的遥感影像；Patch Partition模块将图像划分为非重叠的8×8的图像块；然后Linear Embedding模块将Patch Partition模块得到的图像块进行编码并进行线性映射，将其维度映射为C1；将得到的图像块放入由Swin Transformer块堆叠而成的ST分支编码器中；ST分支的编码器共分为四个特征提取阶段，每个阶段的图像输出为

4.根据权利要求1所述的方法，其特征在于，S3中，NPM模块包括两个分支，分支一是具有空洞金字塔的瓶颈块，分支二引入了Soft-Pool；

5.根据权利要求4所述的方法，其特征在于，S4中，改进ASPP模块，构建EASPP模块，保留原本的1×1卷积以及三个3×3空洞卷积，利用Soft-Pool替换掉原本的全局平均池化，之后，使用DeformConv2d替换Conv2

6.根据权利要求5所述的方法，其特征在于，S8中，Focal Loss损失函数的计算方法如式(3)所示：

7.根据权利要求6所述的方法，其特征在于，Kappa系数的计算公式如式(6)所示，其中po是每一类正确分类的样本数量之和除以总样本数，也就是总体分类精度，pe是通过计算每个类别的预测数量和实际数量的乘积，然后除以样本总数的平方得到的；交并比(IoU)计算方法如式(7)所示；F1值的计算方法如式(8)所示，其中Precision＝TP/(TP+FP)，Recall＝TP/(TP+FN)：

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现如权利要求1～7中任一项所述的用于城市绿地提取的语义分割方法中的步骤。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～7中任一项所述的用于城市绿地提取的语义分割方法中的步骤。

...

【技术特征摘要】

1.一种用于城市绿地提取的语义分割方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的方法，其特征在于，s1具体为：

3.根据权利要求2所述的方法，其特征在于，在s2中，在st分支编码器中，输入经过ndvi提取处理的遥感影像；patch partition模块将图像划分为非重叠的8×8的图像块；然后linear embedding模块将patch partition模块得到的图像块进行编码并进行线性映射，将其维度映射为c1；将得到的图像块放入由swin transformer块堆叠而成的st分支编码器中；st分支的编码器共分为四个特征提取阶段，每个阶段的图像输出为

4.根据权利要求1所述的方法，其特征在于，s3中，npm模块包括两个分支，分支一是具有空洞金字塔的瓶颈块，分支二引入了soft-pool；

5.根据权利要求4所述的方法，其特征在于，s4中，改进aspp模块，构建easpp模块，保留原本的1×1卷积以及三个3×3空洞卷积，利用soft-pool替换掉原本的全局平均池化，之后，使用defor...

【专利技术属性】
技术研发人员：于谋哲，何立恒，沈哲辉，那嘉明，唐程凯，吕萌，周阳萍，
申请(专利权)人：南京林业大学，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人