一种遥感图像语义分割方法及装置制造方法及图纸

本发明专利技术涉及一种遥感图像语义分割方法及装置，包括：获取待分割遥感图像；将所述待分割遥感图像输入至预先建立的自注意力多尺度特征聚合网络，获取所述预先建立的自注意力多尺度特征聚合网络输出的待分割遥感图像的初始预测结果；将所述待分割遥感图像的初始预测结果上采样至所述待分割遥感图像的影像大小，获取所述待分割遥感图像的最终预测结果；本发明专利技术提供的技术方案能够有效增强模态特征和空间信息的关联，提高对多尺度目标向下文信息感知能力，获得更加精细的语义标注结果。

【技术实现步骤摘要】
一种遥感图像语义分割方法及装置
本专利技术涉及遥感图像处理
，具体涉及一种遥感图像语义分割方法及装置。
技术介绍
近年来随着深度学习技术在图像处理领域中逐步深入的研究，基于深度学习特别是全卷积神经网络的图像处理方法在遥感领域发展迅速。在遥感场景下的图像处理中，语义分割能够获取目标像素级别的类别标注信息，在土地规划、战时侦查、环境监测等领域有广阔的应用前景。然而基于深度学习的语义分割方法是数据驱动的方法，需要大量准确标注的数据。传统人工标注的方式成本高昂，效率低下，因此提高数据标注效率和精度尤为重要。现有的语义标注方法对遥感场景中复杂背景引入的噪声敏感，对多尺度地物要素的语义感知能力差。通常使用带孔卷积来提升卷积神经网络的特征感受野，然而目前多尺度带孔结构包含感受野大小和种类有限，仍然无法标注高分辨率遥感场景中复杂的地物要素，难以在多尺度要素造成大类间差异的情况下进行语义信息的获取。提升遥感场景中语义标注的另一思路是利用多种模态数据丰富的特征。然而现有方法通常直接对多模态图像或特征直接进行合并或相加，其特征学习完全依赖卷积神经网络的性能，忽略了不同模态固有的数据结构、特征复杂程度的差异，容易引入冗余的特征，造成标注性能降低，网络规模和参数量冗余。
技术实现思路
针对现有技术的不足，本专利技术的目的是提供一种能够有效增强模态特征和空间信息的关联，提高对多尺度目标向下文信息感知能力，获得更加精细的语义标注结果的遥感图像语义分割方法及装置。本专利技术的目的是采用下述技术方案实现的：一种遥感图像语义分割方法，其改进之处在于，所述方法包括：获取待分割遥感图像；将所述待分割遥感图像输入至预先建立的自注意力多尺度特征聚合网络，获取所述预先建立的自注意力多尺度特征聚合网络输出的待分割遥感图像的初始预测结果；将所述待分割遥感图像的初始预测结果上采样至所述待分割遥感图像的影像大小，获取所述待分割遥感图像的最终预测结果。优选的，所述预先建立的自注意多尺度特征聚合网络的建立过程包括：步骤1.对遥感图像数据集中的遥感图像进行人工语义标注，并将所述遥感图像数据集划分为训练集、验证集和测试集；步骤2.对所述训练集进行数据增强；步骤3.将所述训练集、验证集和测试集数据切片为513x513；步骤4.利用所述训练集、验证集和测试集对预先建立的自注意多尺度特征聚合初始网络进行训练。进一步的，所述预先建立的自注意多尺度特征聚合初始网络包括：深层卷积神经网络、VGG神经网络、自注意模态校准模块、密集多尺度上下文聚合模块和自注意空间校准模块；所述深层卷积神经网络，用于提取遥感图像中光学影像的特征；所述VGG神经网络，用于提取遥感图像中数字表面模型数据的特征；所述自注意模态校准模块，用于对所述光学影像的特征和数字表面模型数据的特征进行特征融合，获取多模态特征融合图；所述密集多尺度上下文聚合模块，用于提取所述多模态特征融合图的多尺度融合特征图；所述自注意空间校准模块，用于基于光学影像的特征、数字表面模型数据的特征和多尺度融合特征图获取初始预测结果。进一步的，所述深层卷积神经网络为改进的Xception网络结构，其改进过程包括：将Xception网络结构中间流通组的重复结构减少到6组，去掉Xception网络结构最后的全连接层，将Xception网络结构中所有的最大池化层替换为步长为2的深度可分离卷积层，将Xception网络结构末端流通组最后三层深度可分卷积分别替换为带孔率为1,3,5的带孔卷积层。进一步的，所述VGG神经网络为改进的VGG16网络结构，其改进过程包括：将VGG16网络结构所有卷积层替换为深度可分离卷积层，去掉VGG16网络结构最后的全连接层，将VGG16网络结构所有的最大池化层替换为步长为2的深度可分离卷积层，将VGG16网络结构最后三层深度可分卷积分别替换为带孔率为1,3,5的带孔卷积层。进一步的，所述自注意模态校准模块包括：依次连接的第一合并连接层、第一全局最大池化层、第一全连接层、第一Relu函数层、第二全连接层和第一Sigmoid函数层。进一步的，所述密集多尺度上下文聚合模块包括：1x1卷积层、第一3x3卷积层、第二3x3卷积层、第三3x3卷积层和第二合并连接层；所述1x1卷积层的输出端分别于所述第一3x3卷积层、第二3x3卷积层和第三3x3卷积层的输入端连接，所述第一3x3卷积层、第二3x3卷积层和第三3x3卷积层的输出端均连接所述第二合并连接层的输入端。进一步的，所述自注意空间校准模块包括：第三合并连接层、第二全局最大池化层、第三全连接层、第二Relu函数层、第四全连接层和第二Sigmoid函数层。进一步的，所述步骤2包括：对所述训练集依次按照概率0.5进行水平和垂直方向的随机翻转，角度-20度到20度，步距1度的图像随机旋转操作，90度、180度、270度的固定角度随机旋转操作，以及图像尺寸0.25到4倍随机缩放操作。基于同一专利技术构思，本专利技术还提供了一种遥感图像语义分割装置，其改进之处在于，所述装置包括：获取模块，用于获取待分割遥感图像；分割模块，用于将所述待分割遥感图像输入至预先建立的自注意力多尺度特征聚合网络，获取所述预先建立的自注意力多尺度特征聚合网络输出的待分割遥感图像的初始预测结果；调节模块，用于将所述待分割遥感图像的初始预测结果上采样至所述待分割遥感图像的影像大小，获取所述待分割遥感图像的最终预测结果。与最接近的现有技术相比，本专利技术具有的有益效果：本专利技术涉及一种遥感图像语义分割方法及装置，包括：获取待分割遥感图像；将所述待分割遥感图像输入至预先建立的自注意力多尺度特征聚合网络，获取所述预先建立的自注意力多尺度特征聚合网络输出的待分割遥感图像的初始预测结果；将所述待分割遥感图像的初始预测结果上采样至所述待分割遥感图像的影像大小，获取所述待分割遥感图像的最终预测结果；能够有效增强模态特征和空间信息的关联，提高对多尺度目标向下文信息感知能力，获得更加精细的语义标注结果；其中，预先建立的自注意力多尺度特征聚合网络中利用双路网络提取多模态数据的语义特征，在利用丰富模态信息提高标注精度的同时，非对称的网络结构提高参数效率，降低模型复杂度，提高泛化能力。预先建立的自注意力多尺度特征聚合网络中的自注意模态校准模块对不同模态的特征进行全局语义的显示建模关联，利用自注意机制弱化冗余的特征突出有用特征，经过校准的模态融合特征可以增强标注结果的准确度。预先建立的自注意力多尺度特征聚合网络中的密集多尺度上下文聚合模块利用多种带孔率的卷积提高了网络上下文语义信息的感知范围，同时密集连接也使得多尺度特征图有效特征更加密集，有助于精细化标注结果。预先建立的自注意力多尺度特征聚合网络中的自注意空间校准模块对丢失了大量空间信息的高层的特征进行校准，引入两种模态底层富含空间信息的特征，在本文档来自技高网...

【技术保护点】
1.一种遥感图像语义分割方法，其特征在于，所述方法包括：/n获取待分割遥感图像；/n将所述待分割遥感图像输入至预先建立的自注意力多尺度特征聚合网络，获取所述预先建立的自注意力多尺度特征聚合网络输出的待分割遥感图像的初始预测结果；/n将所述待分割遥感图像的初始预测结果上采样至所述待分割遥感图像的影像大小，获取所述待分割遥感图像的最终预测结果。/n

【技术特征摘要】
1.一种遥感图像语义分割方法，其特征在于，所述方法包括：
获取待分割遥感图像；
将所述待分割遥感图像输入至预先建立的自注意力多尺度特征聚合网络，获取所述预先建立的自注意力多尺度特征聚合网络输出的待分割遥感图像的初始预测结果；
将所述待分割遥感图像的初始预测结果上采样至所述待分割遥感图像的影像大小，获取所述待分割遥感图像的最终预测结果。


2.如权利要求1所述的方法，其特征在于，所述预先建立的自注意多尺度特征聚合网络的建立过程包括：
步骤1.对遥感图像数据集中的遥感图像进行人工语义标注，并将所述遥感图像数据集划分为训练集、验证集和测试集；
步骤2.对所述训练集进行数据增强；
步骤3.将所述训练集、验证集和测试集数据切片为513x513；
步骤4.利用所述训练集、验证集和测试集对预先建立的自注意多尺度特征聚合初始网络进行训练。


3.如权利要求2所述的方法，其特征在于，所述预先建立的自注意多尺度特征聚合初始网络包括：深层卷积神经网络、VGG神经网络、自注意模态校准模块、密集多尺度上下文聚合模块和自注意空间校准模块；
所述深层卷积神经网络，用于提取遥感图像中光学影像的特征；
所述VGG神经网络，用于提取遥感图像中数字表面模型数据的特征；
所述自注意模态校准模块，用于对所述光学影像的特征和数字表面模型数据的特征进行特征融合，获取多模态特征融合图；
所述密集多尺度上下文聚合模块，用于提取所述多模态特征融合图的多尺度融合特征图；
所述自注意空间校准模块，用于基于光学影像的特征、数字表面模型数据的特征和多尺度融合特征图获取初始预测结果。


4.如权利要求3所述的方法，其特征在于，所述深层卷积神经网络为改进的Xception网络结构，其改进过程包括：将Xception网络结构中间流通组的重复结构减少到6组，去掉Xception网络结构最后的全连接层，将Xception网络结构中所有的最大池化层替换为步长为2的深度可分离卷积层，将Xception网络结构末端流通组最后三层深度可分卷积分别替换为带孔率为1,3,5的带孔卷积层。
<...

【专利技术属性】
技术研发人员：付琨，刁文辉，孙显，代贵杰，牛瑞刚，闫梦龙，卢宛萱，郭荣鑫，
申请(专利权)人：中国科学院空天信息创新研究院，
类型：发明
国别省市：北京;11