【技术实现步骤摘要】
本专利技术涉及一种基于场景感知类关注的异构遥感图像分割方法，属于图像处理。
技术介绍
1、遥感影像的语义分割在地貌特征的像素级分类方面具有重要意义。通过为每个像素分配类别，可以获得位置和语义信息。该技术已经在许多工业级图像中得到广泛应用。例如，在环境灾害监测、土地利用与土地覆盖制图、农业资源管理、城市规划和交通管理等领域中发挥着重要作用。
2、随着人工智能技术的不断发展，全卷积神经网络将端到端的学习思想应用于图像分割，通过推送图像来预测每个像素的类别标签，从而进行密集预测。hazirbas等人提出了fusenet，该方法通过将多级深度特征自下而上地融合到编码器中；ma等人提出了一种新型的动态深度网络amm-fusenet，该网络采用了通道注意机制和密集连接的空间金字塔池化来增强网络的表征能力；jin等人提出了edgnet，利用包含在边界中的空间信息来辅助多模态信息融合，将高层和低层特征之间的细节和语义融合实现边界信息，以获得多模态融合特征。然而，由于遥感图像中地物覆盖类型繁多且背景环境复杂，提出精准的特征提取方法仍面临许多困难。
3、传统的注意机制由于密集的亲和操作会过度平滑化图像特征，导致细节信息丢失或被模糊化，难以处理类内方差大的问题，同时专注于像素之间关系的方法，忽略了对场景的感知，使得地面物体的空间相关性在遥感图像中未被充分探索。因此在遥感道路图像分割中，为了更好地整合dsm(digital surface model，数字地表模型数据)信息，捕捉输入数据的丰富特征，并解决物体视觉特征模糊和背景类
技术实现思路
1、本专利技术所要解决的技术问题是：提供一种基于场景感知类关注的异构遥感图像分割方法，更好的融合多种模态的数据特征，嵌入像素的场景感知来实现将像素级别的局部特征与整体图像的全局上下文联系起来，显著改善遥感图像的分割性能。
2、本专利技术为解决上述技术问题采用以下技术方案：
3、一种基于场景感知类关注的异构遥感图像分割方法，包括如下步骤：
4、步骤1，获取遥感图像数据集，所述遥感图像数据集中的每个遥感图像数据均包括可见光图像、可见光图像对应的数字地表模型图像以及可见光图像对应的标签图，对遥感图像数据集进行预处理后，按照预设比例划分为训练集、验证集和测试集；
5、步骤2，构建基于场景感知类关注的异构遥感图像语义分割网络，所述网络为编解码结构，包括双分支特征提取模块、ca融合模块、主干网络、层级感知网络、多尺度聚合模块和多级上采样模块，其中，双分支特征提取模块和ca融合模块构成网络的异构模块，异构模块、主干网络和层级感知网络构成网络的编码模块，多尺度聚合模块和多级上采样模块构成网络的解码模块；
6、步骤3，利用训练集和验证集对步骤2构建的基于场景感知类关注的异构遥感图像分割网络进行训练和验证，计算损失函数并进行反向传播，更新网络参数，得到最佳参数网络；
7、步骤4，利用步骤3得到的最佳参数网络对测试集进行测试，得到遥感图像的分割结果。
8、作为本专利技术的一种优选方案，所述双分支特征提取模块包括第一分支和第二分支，第一分支和第二分支结构相同，均包括依次连接的第一卷积层、最大池化层和第二卷积层；ca融合模块包括注意力机制、反卷积层、深度卷积层和标准卷积层；
9、可见光图像作为第一分支的输入，依次经第一卷积层、最大池化层和第二卷积层后，输出可见光特征图；可见光图像对应的数字地表模型图像作为第二分支的输入，依次经第一卷积层、最大池化层和第二卷积层后，输出数字地表模型特征图；可见光特征图与数字地表模型特征图拼接后，依次经注意力机制和反卷积层，得到加权特征图；加权特征图与可见光图像经第一卷积层后的输出以及可见光图像对应的数字地表模型图像经第一卷积层后的输出相拼接，得到的拼接结果，依次经深度卷积层和标准卷积层后，得到异构模块最终融合后的特征图。
10、作为本专利技术的一种优选方案，所述主干网络包括依次连接的三层，第一层为一个卷积层，第二层堆叠15个瓶颈层，第三层由一个标准卷积层、软池化层和两个不含批归一化的标准卷积层组成；15个瓶颈层中第2、4、7、11和13个瓶颈层均为双路径的瓶颈块，第5、6、14和15个瓶颈层均包括卷积核大小为5×5的卷积操作，第1、3、8、9、10和12个瓶颈层均包括卷积核大小为3×3的卷积操作；
11、所述双路径的瓶颈块包括第一路径和第二路径，第一路径和第二路径结构相同，均包括1×1的卷积层、3×3的深度可分离卷积层和1×1的卷积层，瓶颈块的输入分别经过第一路径和第二路径，第一路径的输出与第二路径的输出拼接后，再经过点卷积操作，得到瓶颈块的输出。
12、作为本专利技术的一种优选方案，所述层级感知网络包括类中心生成模块和场景感知注意力模块，对主干网络输出的特征图r进行预分类操作，得到相应的分布d，分别对r和d沿空间维度进行裁剪，得到rl和dl，将rl和dl输入类中心生成模块，计算局部类中心sl；将r输入类中心生成模块，计算全局类中心s，对s沿空间维度进行裁剪，得到sg；将rl、sl和sg作为场景感知注意力模块的输入，生成增强的特征表示ra，将ra和r拼接起来，得到层级感知网络输出的抽象深层特征图。
13、作为本专利技术的一种优选方案，所述多尺度聚合模块包括第一至第五3×3的卷积层以及第一至第二两倍上采样层；将主干网络输出的原始输入图像1/4、1/8和1/16分辨率的特征图作为多尺度聚合模块的输入，原始输入图像1/16分辨率的特征图经第一3×3的卷积层和第一两倍上采样层后，得到第一特征图；原始输入图像1/8分辨率的特征图经第二3×3的卷积层后，与第一特征图拼接，得到第二特征图；原始输入图像1/4分辨率的特征图经第三3×3的卷积层后，与第二特征图经第二两倍上采样层后的输出相拼接，得到第三特征图；第三特征图经第四3×3的卷积层，得到多尺度聚合模块的第一输出；第二特征图经第五3×3的卷积层，得到多尺度聚合模块的第二输出。
14、作为本专利技术的一种优选方案，所述多级上采样模块包括第一至第四1×1的卷积层、第三至第四两倍上采样层、第一至第二深度可分离卷积层以及双线性插值四倍上采样层；多尺度聚合模块的第二输出经第一1×1的卷积层得到第一低级特征图，层级感知网络输出的抽象深层特征图经第三两倍上采样层后，再与第一低级特征图拼接，得到第一低层特征；多尺度聚合模块的第一输出经第二1×1的卷积层得到第二低级特征图，第一低层特征经第四两倍上采样层后，再与第二低级特征图拼接，得到第二低层特征；第二低层特征依次经第三1×1的卷积层、第一深度可分离卷积层、第二深度可分离卷积层、第四1×1的卷积层和双线性插值四倍上采样层后，得到多级上采样模块输出的特征图。
15、一种计算机设备，包括存储器、处理器，以及存储在所述存储器中并能够在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的基于场景感知类关注的异构遥感本文档来自技高网...
【技术保护点】
1.一种基于场景感知类关注的异构遥感图像分割方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于场景感知类关注的异构遥感图像分割方法，其特征在于，所述双分支特征提取模块包括第一分支和第二分支，第一分支和第二分支结构相同，均包括依次连接的第一卷积层、最大池化层和第二卷积层；CA融合模块包括注意力机制、反卷积层、深度卷积层和标准卷积层；
3.根据权利要求1所述的基于场景感知类关注的异构遥感图像分割方法，其特征在于，所述主干网络包括依次连接的三层，第一层为一个卷积层，第二层堆叠15个瓶颈层，第三层由一个标准卷积层、软池化层和两个不含批归一化的标准卷积层组成；15个瓶颈层中第2、4、7、11和13个瓶颈层均为双路径的瓶颈块，第5、6、14和15个瓶颈层均包括卷积核大小为5×5的卷积操作，第1、3、8、9、10和12个瓶颈层均包括卷积核大小为3×3的卷积操作；
4.根据权利要求1所述的基于场景感知类关注的异构遥感图像分割方法，其特征在于，所述层级感知网络包括类中心生成模块和场景感知注意力模块，对主干网络输出的特征图R进行预分类操作，得到相应的分
5.根据权利要求1所述的基于场景感知类关注的异构遥感图像分割方法，其特征在于，所述多尺度聚合模块包括第一至第五3×3的卷积层以及第一至第二两倍上采样层；将主干网络输出的原始输入图像1/4、1/8和1/16分辨率的特征图作为多尺度聚合模块的输入，原始输入图像1/16分辨率的特征图经第一3×3的卷积层和第一两倍上采样层后，得到第一特征图；原始输入图像1/8分辨率的特征图经第二3×3的卷积层后，与第一特征图拼接，得到第二特征图；原始输入图像1/4分辨率的特征图经第三3×3的卷积层后，与第二特征图经第二两倍上采样层后的输出相拼接，得到第三特征图；第三特征图经第四3×3的卷积层，得到多尺度聚合模块的第一输出；第二特征图经第五3×3的卷积层，得到多尺度聚合模块的第二输出。
6.根据权利要求5所述的基于场景感知类关注的异构遥感图像分割方法，其特征在于，所述多级上采样模块包括第一至第四1×1的卷积层、第三至第四两倍上采样层、第一至第二深度可分离卷积层以及双线性插值四倍上采样层；多尺度聚合模块的第二输出经第一1×1的卷积层得到第一低级特征图，层级感知网络输出的抽象深层特征图经第三两倍上采样层后，再与第一低级特征图拼接，得到第一低层特征；多尺度聚合模块的第一输出经第二1×1的卷积层得到第二低级特征图，第一低层特征经第四两倍上采样层后，再与第二低级特征图拼接，得到第二低层特征；第二低层特征依次经第三1×1的卷积层、第一深度可分离卷积层、第二深度可分离卷积层、第四1×1的卷积层和双线性插值四倍上采样层后，得到多级上采样模块输出的特征图。
7.一种计算机设备，包括存储器、处理器，以及存储在所述存储器中并能够在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的基于场景感知类关注的异构遥感图像分割方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于场景感知类关注的异构遥感图像分割方法的步骤。
...【技术特征摘要】
1.一种基于场景感知类关注的异构遥感图像分割方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于场景感知类关注的异构遥感图像分割方法，其特征在于，所述双分支特征提取模块包括第一分支和第二分支，第一分支和第二分支结构相同，均包括依次连接的第一卷积层、最大池化层和第二卷积层；ca融合模块包括注意力机制、反卷积层、深度卷积层和标准卷积层；
3.根据权利要求1所述的基于场景感知类关注的异构遥感图像分割方法，其特征在于，所述主干网络包括依次连接的三层，第一层为一个卷积层，第二层堆叠15个瓶颈层，第三层由一个标准卷积层、软池化层和两个不含批归一化的标准卷积层组成；15个瓶颈层中第2、4、7、11和13个瓶颈层均为双路径的瓶颈块，第5、6、14和15个瓶颈层均包括卷积核大小为5×5的卷积操作，第1、3、8、9、10和12个瓶颈层均包括卷积核大小为3×3的卷积操作；
4.根据权利要求1所述的基于场景感知类关注的异构遥感图像分割方法，其特征在于，所述层级感知网络包括类中心生成模块和场景感知注意力模块，对主干网络输出的特征图r进行预分类操作，得到相应的分布d，分别对r和d沿空间维度进行裁剪，得到rl和dl，将rl和dl输入类中心生成模块，计算局部类中心sl；将r输入类中心生成模块，计算全局类中心s，对s沿空间维度进行裁剪，得到sg；将rl、sl和sg作为场景感知注意力模块的输入，生成增强的特征表示ra，将ra和r拼接起来，得到层级感知网络输出的抽象深层特征图。
5.根据权利要求1所述的基于场景感知类关注的异构遥感图像分割方法，其特征在于，所述多尺度聚合模块包括第一至第五3×3的卷积层以及第一至第二两倍上采样层；将主干网络输出的原始输入图像1/4、1/8和1/16分辨率的特征图作为多尺度聚合...
【专利技术属性】
技术研发人员：单梦姣，张银胜，张文华，张培琰，钟思远，胡宇翔，
申请(专利权)人：无锡学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。