大尺寸航空遥感影像的目标检测方法技术

一种大尺寸航空遥感影像的目标检测方法，属于目标检测技术领域。本发明专利技术针对大尺寸航空遥感影像因图像切分会导致上下文信息缺失的问题。包括，确定原始图像名称；为子图配置子图名称；根据子图名称在原始遥感图像集中检索获得对应的当前原始遥感图像；对当前待检测子图采用局部特征提取器进行特征提取获得一组多尺度子图特征图；将当前原始遥感图像进行下采样后采用全局特征提取器进行特征提取获得一组多尺度原始图像特征图；采用全局局部耦合机制的特征金字塔网络获得融合后特征图；再分别获得目标预测结果和滤波后全局预测结果；将融合目标预测结果和滤波后全局预测结果再融合，获得检测目标。本发明专利技术用于目标检测。本发明专利技术用于目标检测。本发明专利技术用于目标检测。

【技术实现步骤摘要】
大尺寸航空遥感影像的目标检测方法


[0001]本专利技术涉及大尺寸航空遥感影像的目标检测方法，属于目标检测


技术介绍

[0002]随着图像传感器和航空技术的发展，航空遥感光学图像的分辨率逐渐提高，图像蕴含的数据量也显著提升。目标检测是计算机视觉的常用技术手段之一，用于推断图像中每个目标对象的位置和类别。在高分辨率的航空遥感图像应用领域中，目标检测技术可以在建筑识别、自然灾害管理、变化检测、交通规划、农业调查、军事等方面发挥重要作用。
[0003]与计算机视觉中的自然图像相比，航空遥感图像具有更大的分辨率和尺寸。许多航空图像数据集提供的大尺寸图像无法被GPU直接读取，例如DOTA数据集中包含10000
×
10000分辨率的大尺寸图像。如果仅仅直接将图片缩小到内存能容纳的程度会导致明显的精度下降。因此，学者们普遍采用的方法是在数据预处理过程中，将所有原始图像分割成固定大小显卡可以容纳的子图像，且子图像之间存在一定的重叠。然而，这种预处理方法往往会导致两个很容易被忽视的问题：一是来自全局的上下文信息随着图像被切分；二是即使相邻子图之间存在一定的重叠，一些超大的目标也可能在每个子图上都不完整，因而无法被完整的检测到。在航空图像中，许多目标都和大型场景相关联，比如飞机通常出现在机场，而港口只出现在大面积水体的边缘。在语义分割和医学图像领域，这些来自大尺寸图像的全局上下文已被证明有利于神经网络模型的精度提升。
[0004]如今许多应用在自然图像领域的优秀的目标检测模型已经出现，如FasterR
‑
CNN、CascadeR
‑
CNN和YOLO。然而，这些方法只关注对象目标自身区域的特征，而忽略了对象的多尺度和上下文信息。人类的视觉系统可以利用上下文和更多的信息来支持我们的知觉推断和判断。在计算机视觉领域，上下文信息的作用也很重要。已有许多方法表明，多尺度特征和上下文信息有利于提升目标检测的精度。例如，特征金字塔(FPNs)建立了自顶向下的金字塔结构，使得模型可以使用多尺度的联合特征。Inside
‑
outside网络利用循环神经网络捕获多尺度的上下文信息，显著提升检测精度，说明了多尺度上下文信息对目标检测的重要性。AC
‑
CNN可以利用注意力机制和循环神经网络提取多尺度的上下文信息。MS
‑
CNN模型用来感知对象的上下文信息。FPN结构也可以利用上采样程度较大的特征图提取周边上下文信息。FA
‑
SSD能够使用注意力机制提取更显著的上下文信息，提升了小目标检测的性能。
[0005]对于航空图像目标检测来说，上下文信息的作用也很重要。例如，桥梁与道路在纹理信息上非常相似，但桥梁往往出现在水域上，因此桥梁周围的上下文给我们提供了判别的依据。许多学者们根据遥感图像的特征设计了特殊的上下文感知模型。上下文感知检测网络(CAD
‑
Net)使用GC
‑
Net和PLC
‑
Net分别在全局场景级和局部对象级感知上下文信息。CA
‑
CNN通过多个不同尺寸的上下文锚框提取多尺度特征中的上下文信息。GLNet使用长期短期记忆(LSTM)网络结构来提取全局上下文信息。这些提取上下文信息的网络结构虽然取得了良好的结果，但是他们并不专门针对大尺寸图像，因此无法解决因图像切分而导致的上下文信息缺失问题。

技术实现思路

[0006]针对大尺寸航空遥感影像因图像切分会导致上下文信息缺失的问题，本专利技术提供一种大尺寸航空遥感影像的目标检测方法。
[0007]本专利技术的一种大尺寸航空遥感影像的目标检测方法，包括，
[0008]由原始遥感图像组成原始遥感图像集，每张原始遥感图像配置原始图像名称；
[0009]将每张原始遥感图像按预定重叠率切分为预设大小的子图，每个子图配置子图名称，所述子图名称包括原始图像名称、子图序列号以及子图在原始遥感图像上的起始位置信息；
[0010]根据当前待检测子图的子图名称在原始遥感图像集中检索获得对应的当前原始遥感图像；
[0011]对当前待检测子图采用局部特征提取器进行特征提取获得一组多尺度子图特征图；
[0012]将当前原始遥感图像进行下采样后采用全局特征提取器进行特征提取获得一组多尺度原始图像特征图；
[0013]采用全局局部耦合机制的特征金字塔网络对多尺度子图特征图和多尺度原始图像特征图进行特征融合，获得融合后特征图；
[0014]融合后特征图经一号RPN生成侯选框，再经一号RolAlign进行特征对齐，再经FC全连接层更改特征维度，获得一维融合特征图，将一维融合特征图分别进行分类和回归操作后获得融合目标预测结果；
[0015]将一组多尺度原始图像特征图进行多尺度变换后，经二号RPN生成侯选框，先过滤再经二号RolAlign进行特征对齐，再经FC全连接层更改特征维度，获得一维全局特征图，将一维全局特征图分别进行分类和回归操作后再进行NLS滤波，获得滤波后全局预测结果；
[0016]将融合目标预测结果和滤波后全局预测结果再融合，获得检测目标。
[0017]根据本专利技术的大尺寸航空遥感影像的目标检测方法，局部特征提取器输出的一组多尺度子图特征图包括四张不同尺度子图特征图；
[0018]全局特征提取器输出的一组多尺度原始图像特征图包括四张不同尺度原始图像特征图；
[0019]全局局部耦合机制的特征金字塔网络采用自顶向下的方式交互融合，分别将四张不同尺度子图特征图和四张不同尺度原始图像特征图变换为五张变换后多尺度子图特征图和五张变换后多尺度原始图像特征图；将五张变换后多尺度子图特征图和五张变换后多尺度原始图像特征图按对应尺度进行融合，获得多尺度融合后特征图。
[0020]根据本专利技术的大尺寸航空遥感影像的目标检测方法，将五张变换后多尺度子图特征图和五张变换后多尺度原始图像特征图按对应尺度进行融合的方法包括，将五张变换后多尺度子图特征图和五张变换后多尺度原始图像特征图按对应尺度先拼接后，再降维处理。
[0021]根据本专利技术的大尺寸航空遥感影像的目标检测方法，获得融合后特征图的过程包括：
[0022]对五张变换后多尺度子图特征图进行中间级别的选择获得选定子图特征图；
[0023]对五张变换后多尺度原始图像特征图进行中间级别的选择获得选定原始图像特
征图；
[0024]将选定原始图像特征图中对应选定子图特征图的指定区域裁剪后，上采样至原始图像特征图的大小，然后与选定子图特征图进行特征融合，获得融合后特征图。
[0025]根据本专利技术的大尺寸航空遥感影像的目标检测方法，局部特征提取器和全局特征提取器均采用ResNet
‑
50作为特征提取器。
[0026]根据本专利技术的大尺寸航空遥感影像的目标检测方法，全局局部耦合机制的特征金字塔网络中，采用映射函数根据目标侯选框的大小进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大尺寸航空遥感影像的目标检测方法，其特征在于包括，由原始遥感图像组成原始遥感图像集，每张原始遥感图像配置原始图像名称；将每张原始遥感图像按预定重叠率切分为预设大小的子图，每个子图配置子图名称，所述子图名称包括原始图像名称、子图序列号以及子图在原始遥感图像上的起始位置信息；根据当前待检测子图的子图名称在原始遥感图像集中检索获得对应的当前原始遥感图像；对当前待检测子图采用局部特征提取器进行特征提取获得一组多尺度子图特征图；将当前原始遥感图像进行下采样后采用全局特征提取器进行特征提取获得一组多尺度原始图像特征图；采用全局局部耦合机制的特征金字塔网络对多尺度子图特征图和多尺度原始图像特征图进行特征融合，获得融合后特征图；融合后特征图经一号RPN生成侯选框，再经一号RolAlign进行特征对齐，再经FC全连接层更改特征维度，获得一维融合特征图，将一维融合特征图分别进行分类和回归操作后获得融合目标预测结果；将一组多尺度原始图像特征图进行多尺度变换后，经二号RPN生成侯选框，先过滤再经二号RolAlign进行特征对齐，再经FC全连接层更改特征维度，获得一维全局特征图，将一维全局特征图分别进行分类和回归操作后再进行NLS滤波，获得滤波后全局预测结果；将融合目标预测结果和滤波后全局预测结果再融合，获得检测目标。2.根据权利要求1所述的大尺寸航空遥感影像的目标检测方法，其特征在于，局部特征提取器输出的一组多尺度子图特征图包括四张不同尺度子图特征图；全局特征提取器输出的一组多尺度原始图像特征图包括四张不同尺度原始图像特征图；全局局部耦合机制的特征金字塔网络采用自顶向下的方式交互融合，分别将四张不同尺度子图特征图和四张不同尺度原始图像特征图变换为五张变换后多尺度子图特征图和五张变换后多尺度原始图像特征图；将五张变换后多尺度子图特征图和五张变换后多尺度原始图像特征图按对应尺度进行融合，获得多尺度融合后特征图。3.根据权利要求2所述的大尺寸航空遥感影像的目标检测方法，其特征在于，将五张变换后多尺度子图特征图和五张变换后多尺度原始图像特征图按对应尺度进行融合的方法包括，将五张变...

【专利技术属性】
技术研发人员：王超杰，陈曦，李治洪，刘敏，郑来文，方涛，李庆利，刘小平，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：