基于卷积神经网络的遥感正射影像密集建筑物提取方法技术

本发明专利技术涉及基于卷积神经网络的遥感正射影像密集建筑物提取方法，具体包括以下步骤：S1：制作训练样本：获取原始建筑物遥感影像，并标注，然后进行数据增强；S2：建立改进的Mask‑RCNN模型：在Mask‑RCNN原有的基础特征提取网络后设有一个由底到上的特征增强结构，从特征增强结构输出的特征经区域建议网络RPN输入到池化层，对池化后每一层级特征进行融合，特征融合后连接旋转不变全连接层，最后进行Mask‑RCNN分类、边框定位和mask回归；S3：模型训练、微调；S4：模型测试：将待测遥感影像数据输入训练好的最优模型中进行处理，获得建筑物提取结果。本申请的提取方法克服了遥感影像方向多样性、尺度多样性带来的识别误差，能够实现对建筑物的高精度提取。

【技术实现步骤摘要】
基于卷积神经网络的遥感正射影像密集建筑物提取方法
本专利技术涉及计算机视觉实例分割领域，特别是涉及基于卷积神经网络的遥感正射影像密集建筑物提取方法。
技术介绍
高分辨率遥感影像中建筑物的自动化提取对数字地图的制作和更新、城市变化检测、违规建筑检测以及智慧城市的建设等具有极其重要的作用。目前常用的建筑物识别和提取的方法分为两类：传统的机器学习方法和深度学习方法。传统的机器学习通过人工设计特征来实现对建筑物的表达，从而实现建筑物的识别与提取，通常设计的建筑物特征包括：长度、面积、形状、高度以及一些纹理特征等，这种方法主要是基于经验来设计特征，并且设计的特征会由于外部环境的变化而有所改变，所以这种方法提取的精度都不是很高。2006年深度学习的提出，极大地促进了机器学习的发展，相较于传统的机器学习人工提取特征的方式，深度学习采用的是神经网络自动提取特征。其中在图像识别上卷积神经网络(ConvolutionalNeuralNetwork，CNN)应用最为广泛，2015年卷积神经网络开始被引入遥感领域中，在遥感影像分类、图像检索，对象识别等方面凸显巨大的优势。遥感影像的建筑物提取属于计算机视觉任务，但是相较于其他的计算机视觉任务较为复杂，它不仅牵涉了计算机视觉里面的图像分类和语义分割问题，还是一个目标检测和实例分割问题。目前大部分学者使用的是图像的语义分割来实现建筑物的提取，但是显然这并不能满足实际生产的需要，在实际生产中我们往往关注的是建筑物本身属性，比如建筑物的数量和建筑物的位置等。因此，如何以实例分割方法来实现建筑物的提取成为目前亟待研究的问题。目前最流行的深度学习实例分割框架是Mask-RCNN，但是将Mask-RCNN直接用于遥感影像建筑物识别精度并不是很高，主要原因有两点：1.遥感影像本身具有多方向性的特点，遥感数据集多为俯拍，目标的方向都是不确定的。2.遥感影像拍摄的高度不一，几百米到几万米均有，这时地面的同类目标可能大小不一；就地面建筑物来说，建筑物的形状大小本身就存在大小不一的情况，现有的Mask-RCNN模型并不能检测出所有房屋，比如对小型房屋提取的效果较好，对于大型建筑物提取的效果并不是很好。
技术实现思路
为了克服现有技术的上述不足，本专利技术提出了基于卷积神经网络的遥感正射影像密集建筑物提取方法，解决现有遥感影像建筑物识别精度不高，无法克服遥感影像方向多样性、尺度多样性带来识别误差的技术问题。本专利技术是通过以下技术方案实现的：基于卷积神经网络的遥感正射影像密集建筑物提取方法，具体包括以下步骤：S1：制作训练样本：获取原始建筑物遥感影像，并通过VIA数据标记工具进行标注，然后进行数据增强；S2：建立改进的Mask-RCNN模型：所述改进的Mask-RCNN模型包括Mask-RCNN原有的基础特征提取网络，所述基础特征提取网络后设有一个由底到上的特征增强结构，从特征增强结构输出的特征经区域建议网络RPN输入到池化层，对池化后每一层级特征进行融合，特征融合后连接旋转不变全连接层，最后进行Mask-RCNN分类、边框定位和mask回归，实现对遥感影像中建筑物的提取；S3：模型训练、微调：将S1中制作好的训练样本输入改进的Mask-RCNN模型中进行训练，并微调模型超参数，当损失函数收敛或近似收敛时，停止训练，得到训练的最优模型；S4：模型测试：将待测遥感影像数据输入训练好的最优模型中进行测试，并分析建筑物提取结果，统计提取精度。进一步的，S1中对数据进行标注之前先剪裁。进一步的，S1中数据增强的方式为随机90°倍数旋转、水平翻转和伸缩变换。进一步的，S2中采用的Mask-RCNN基础特征提取网络有特征提取主干网络和主干网络的扩展网络，Mask-RCNN特征提取主干网络为深度残差网络，主干网络的扩展网络为特征金字塔网络FPN。进一步的，S3中模型超参数包括迭代次数、学习率。进一步的，S4中模型测试时，先裁剪为小块进行测试，之后再拼接。进一步的，S4中测试前，观察在训练集和验证集上的精度曲线来分析模型是否存在过拟合和欠拟合的情况，如若不存在过拟合和欠拟合则可进行后续的测试。与现有技术相比，本专利技术的有益效果在于：(1)本专利技术提出的基于卷积神经网络的遥感正射影像密集建筑物提取方法，通过在制作训练样本的时候对原始遥感影像进行数据增强，并在原有Mask-RCNN分类层前面加一个旋转不变层，很好的解决遥感影像方向多样性的技术问题；(2)在原有Mask-RCNN基础特征提取网络后增设一个由底到上的特征增强结构进行底层特征增强，增强低层特征的信息传播能力，并对池化后的每一层级特征进行融合，利用融合后的特征进行预测，解决了遥感影像尺度多样性的技术问题；综上，本申请提出的基于卷积神经网络的遥感正射影像密集建筑物提取方法，自动化程度高，节省了大量的人力物力；建筑物识别精度高，克服遥感影像因方向多样性、尺度多样性产生的识别误差。附图说明图1为现有Mask-RCNN网络的工作流程图；图2为本专利技术实施例所述基于卷积神经网络的遥感正射影像密集建筑物提取方法的流程示意图；图3为本专利技术实施例所述特征增强结构示意图；图4为本专利技术实施例所述特征融合示意图；图5为本专利技术实施例所述改进的Mask-RCNN网络的工作流程图；图6(a)本专利技术实施例所述待测遥感影像；图6(b)为图6(a)的建筑物识别结果；图6(c)为图6(a)的建筑物提取结果。具体实施方式展示一下实例来具体说明本专利技术的某些实施例，且不应解释为限制本专利技术的范围。对本专利技术公开的内容可以同时从材料、方法和反应条件进行改进，所有这些改进，均应落入本专利技术的精神和范围之内。现有Mask-RCNN网络的工作流程如图1所示，待检测的图像先经过特征提取网络，进行特征提取；然后经区域建议网络(RegionProposalNetwork，RPN)生成候选区域，由于生成的候选区域具有高度的重叠，Mask-RCNN中利用非极大值抑制算法(Non-MaximumSuppression，NMS)进行抑制；接着对经抑制后剩余的候选区域进行ROIAlign池化；最后对候选区域通过Softmax分类器进行分类、多任务损失边框回归算法得到检测边框的坐标、利用全卷积分割网络(FullyConvolutionalNetworks，FCN)生成掩膜(Mask)等操作。如图2所示，本申请基于卷积神经网络的遥感正射影像密集建筑物提取方法，具体包括以下步骤：S1：制作训练样本：获取原始建筑物遥感影像(1024*1024)，先进行剪裁，由于遥感影像一般尺寸大无法直接输入网络进行训练，因此需要剪裁成小块，然后对剪裁之后的图像采用VIA数据标记工具进行标注，最后对数据进行增强来增强训练数据的多样性，数据增强采用的方式为随机90°倍数旋转、水平翻转和伸缩变换；S2：建立改进的Mask-RCNN模型，如图本文档来自技高网...

【技术保护点】
1.基于卷积神经网络的遥感正射影像密集建筑物提取方法，其特征在于，具体包括以下步骤：/nS1：制作训练样本：获取原始建筑物遥感影像，并通过VIA数据标记工具进行标注，然后进行数据增强；/nS2：建立改进的Mask-RCNN模型：所述改进的Mask-RCNN模型包括Mask-RCNN原有的基础特征提取网络，所述基础特征提取网络后设有一个由底到上的特征增强结构，从特征增强结构输出的特征经区域建议网络RPN输入到池化层，对池化后每一层级特征进行融合，特征融合后连接旋转不变全连接层，最后进行Mask-RCNN分类、边框定位和mask回归，实现对遥感影像中建筑物的提取；/nS3：模型训练、微调：将S1中制作好的训练样本输入改进的Mask-RCNN模型中进行训练，并微调模型超参数，当损失函数收敛或近似收敛时，停止训练，得到训练的最优模型；/nS4：模型测试：将待测遥感影像数据输入训练好的最优模型中进行测试，并分析建筑物提取结果，统计提取精度。/n

【技术特征摘要】
1.基于卷积神经网络的遥感正射影像密集建筑物提取方法，其特征在于，具体包括以下步骤：
S1：制作训练样本：获取原始建筑物遥感影像，并通过VIA数据标记工具进行标注，然后进行数据增强；
S2：建立改进的Mask-RCNN模型：所述改进的Mask-RCNN模型包括Mask-RCNN原有的基础特征提取网络，所述基础特征提取网络后设有一个由底到上的特征增强结构，从特征增强结构输出的特征经区域建议网络RPN输入到池化层，对池化后每一层级特征进行融合，特征融合后连接旋转不变全连接层，最后进行Mask-RCNN分类、边框定位和mask回归，实现对遥感影像中建筑物的提取；
S3：模型训练、微调：将S1中制作好的训练样本输入改进的Mask-RCNN模型中进行训练，并微调模型超参数，当损失函数收敛或近似收敛时，停止训练，得到训练的最优模型；
S4：模型测试：将待测遥感影像数据输入训练好的最优模型中进行测试，并分析建筑物提取结果，统计提取精度。


2.根据权利要求1所述的基于卷积神经网络的遥感正射影像密集建筑物提取方法，其特征在于，S1中对数据进行标注之前先剪裁。

【专利技术属性】
技术研发人员：张银松，
申请(专利权)人：武汉大势智慧科技有限公司，
类型：发明
国别省市：湖北;42