基于双向特征融合的高分辨率光学遥感图像地物分类方法技术

本发明专利技术提供一种基于双向特征融合的高分辨率光学遥感图像地物分类方法，本方案通过设计的包括上采样和下采样的双向特征融合结构，结合了浅层的细节信息和深层的语义信息，避免了之前的特征融合方式中存在的信息损失问题；同时设计了一种结合特征图语义信息的上采样方式，多次重复的融合操作更有效聚合不同层次的特征。从而提升了在遥感图像的地物分割效果，提高了分割的准确度。提高了分割的准确度。提高了分割的准确度。

【技术实现步骤摘要】
基于双向特征融合的高分辨率光学遥感图像地物分类方法


[0001]本专利技术涉及光学遥感图像地物分类
，尤其涉及一种基于双向特征融合的高分辨率光学遥感图像地物分类方法。

技术介绍

[0002]光学遥感图像成像技术不断发展，图像的分辨率不断提高。光学遥感图像地物分类的应用场景不断增加，其在民用国防等领域起着越来越重的作用。光学遥感图像的地物分割是遥感图像信息提取的重要环节。影像分割是面向对象的影像分析方法的关键步骤，其分割结果质量直接影响着后续影像信息的提取质量。准确及时地从得到的遥感影像中获取地物信息有着实际需求。
[0003]以深度学习技术的兴起为界，可以将遥感图像的地物分类划分为两个阶段，即基于传统方法的地物分类和基于深度学习技术的地物分类。传统的遥感图像地物分类方法主要包括：遥感图像的特征提取、遥感图像的特征选择和分类算法三大部分。近年来光学遥感图像的分辨率不断提高，对光学遥感图像的分割精细度有了更高的要求。
[0004]通常基于卷积神经网络的地物分割方法，利用级联的卷积和池化操作获得高级的分类语义信息，为弥补分辨率降低带来的空间信息损失，需结合不同层次的特征图来细化分割结果。之前采用的自下而上的特征融合与上采样方式，信息流仅仅在单个方向上流动，浅层特征图的细节信息与深层特征图的语义信息无法很好的融合进而影响最终的分割结果。现有方法多采用线性上采样来恢复输出图像的分辨率，这种方法忽略了图像内部像素间的相关性，通常无法获得令人满意的上采样结果。
[0005]面临问题：
[0006](1)传统单向信息流的多尺度特征融合方式无法很好地结合不同层的特征，影响最终的分割准确度。
[0007](2)常见的线性上采样方式无法结合不同层特征图的内在信息，影响最终分割结果的精细度。

技术实现思路

[0008]基于此，有必要针对上述技术问题，提供一种基于双向特征融合的高分辨率光学遥感图像地物分类方法。
[0009]本申请提供的一种基于双向特征融合的高分辨率光学遥感图像地物分类方法是基于卷积神经网络的。
[0010]一种基于双向特征融合的高分辨率光学遥感图像地物分类方法，所述方法包括：S110利用主干网络提取输入图像的不同分辨率的初始特征图，并按照分辨率的大小依次排序；S120依次选取相邻的三张初始特征图作为一组，以每组位于中间的初始特征图作为一阶段采样标准特征图，其余初始特征图以一阶段采样表征特征图为标准，对应进行上采样和下采样，得到与一阶段采样标准特征图相同分辨率的一阶段过渡特征图；S130将相同分
辨率的所述一阶段过渡特征图与所述一阶段采样标准特征图进行特征融合，得到初始融合特征图；S140将所述初始融合特征图根据上述步骤S120-步骤130中特征融合的方式，得到进阶融合特征图；S150将所述进阶融合特征图、所述初始特征图和所述初始融合特征图进行迭代上采样融合后，得到恢复分辨率的目标特征图；S160根据所述目标特征图生成最终的预测结果，从而训练得到目标网络，根据所述目标网络对遥感图像进行地物分割。
[0011]在其中一个实施例中，所述S140将所述初始融合特征图根据上述步骤S120-步骤130中特征融合的方式，得到进阶融合特征图，具体为：将所述初始融合特征图按照分辨率大小进行排序，依次选取相邻的三张所述初始融合特征图作为一组；以每组位于中间的初始融合特征图作为二阶段采样标准特征图，其余初始融合特征图以二阶段采样表征特征图为标准，对应进行上采样和下采样，得到与二阶段采样标准特征图相同分辨率的二阶段过渡特征图；将相同分辨率的所述二阶段过渡特征图与所述二阶段采样标准特征图进行特征融合，得到进阶融合特征图。
[0012]在其中一个实施例中，所述S150将所述进阶融合特征图、所述初始特征图和所述初始融合特征图进行迭代上采样融合后，得到恢复分辨率的目标特征图，具体为：将所述进阶融合特征图进行上采样，并与上采样后分辨率相同的初始融合特征图进行特征融合，得到初始待采样特征图；同时将所述初始融合特征图进行上采样，并与上采样后分辨率相同的初始特征图进行特征融合，得到待融合特征图；将所述初始特征采样特征图进行上采样，然后与所述待融合特征图进行融合，得到目标待采样特征图；将所述目标待采样特征图进行上采样，得到恢复分辨率的目标特征图。
[0013]在其中一个实施例中，所述的每一次上采样均为固定倍率的采样。
[0014]上述基于双向特征融合的高分辨率光学遥感图像地物分类方法，通过设计的双向特征融合结构，结合了浅层的细节信息和深层的语义信息，避免了之前的特征融合方式中存在的信息损失问题；同时设计了一种结合特征图语义信息的上采样方式，多次重复的融合操作更有效聚合不同层次的特征。最终结果上，该网络在遥感图像的地物分割效果上获得了提升，分割的准确度获得了提高。
附图说明
[0015]图1为一个实施例中基于双向特征融合的高分辨率光学遥感图像地物分类方法的流程示意图；
[0016]图2为一个实施例中特征融合的结构示意图。
具体实施方式
[0017]为了使本专利技术的目的、技术方案及优点更加清楚明白，下面通过具体实施方式结合附图对本专利技术做进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0018]本申请提供的基于双向特征融合的高分辨率光学遥感图像地物分类方法，。
[0019]在一个实施例中，如图1所示，提供了一种基于双向特征融合的高分辨率光学遥感图像地物分类方法，包括以下步骤：
[0020]S110利用主干网络提取输入图像的不同分辨率的初始特征图，并按照分辨率的大
小依次排序。
[0021]具体地，如图2所示，m为输入的图像，首先利用主干网络提取输入图像的不同分辨率的初始特征图：m11，m12，m13，m14，m15，通过特征的提取，可以获得输入图像不同层次的特征，其中浅层的特征图包含待分割图像的细节信息，而深层特征图包含待分割图像的类别信息。图中，m11的分辨率为二分之一，m12的分辨率为四分之一，m13的分辨率为八分之一，m14和m15的分辨率均为十六分之一。
[0022]S120依次选取相邻的三张初始特征图作为一组，以每组位于中间的初始特征图作为一阶段采样标准特征图，其余初始特征图以一阶段采样表征特征图为标准，对应进行上采样和下采样，得到与一阶段采样标准特征图相同分辨率的一阶段过渡特征图。
[0023]具体地，如图2所示，将相邻的三层初始特征图分别进行上采样和下采样后拼接进行特征融合。下采样采用卷积操作，上采样利用预先设计的上采样模块来实现。将统一尺寸后的特征图拼接进而融合特征。图中，即可分为(m11，m12，m13)、(m12，m13，m14)、(m13，m14，m15)，对于分辨率较大的特征图进行下采样操作，对于分辨率较小的特征图利用本方法提出的方式进行上采样操作，以(m11，m12，m13)为例，选择m12为一阶段采样标准特征图，那么m11需要进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双向特征融合的高分辨率光学遥感图像地物分类方法，其特征在于，包括以下步骤：S110利用主干网络提取输入图像的不同分辨率的初始特征图，并按照分辨率的大小依次排序；S120依次选取相邻的三张初始特征图作为一组，以每组位于中间的初始特征图作为一阶段采样标准特征图，其余初始特征图以一阶段采样表征特征图为标准，对应进行上采样和下采样，得到与一阶段采样标准特征图相同分辨率的一阶段过渡特征图；S130将相同分辨率的所述一阶段过渡特征图与所述一阶段采样标准特征图进行特征融合，得到初始融合特征图；S140将所述初始融合特征图根据上述步骤S120-步骤130中特征融合的方式，得到进阶融合特征图；S150将所述进阶融合特征图、所述初始特征图和所述初始融合特征图进行迭代上采样融合后，得到恢复分辨率的目标特征图；S160根据所述目标特征图生成最终的预测结果，从而训练得到目标网络，根据所述目标网络对遥感图像进行地物分割。2.根据权利要求1所述的方法，其特征在于，所述S140将所述初始融合特征图根据上述步骤S120-步骤130中特征融合的方式，得到进阶融合特征图，具体为：将所述初始...

【专利技术属性】
技术研发人员：王裕沛，师皓，陈亮，樊嘉禾，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：