基于兴趣区域重检测的宽幅光学遥感目标检测方法技术

本发明专利技术公开了一种基于兴趣区域重检测的宽幅光学遥感目标检测方法，主要解决宽幅光学遥感目标检测中对小尺度目标检测精度低及重叠滑窗检测时效性慢的问题。具体步骤有：制作多尺度训练样本；设计检测网络模型结构；对混合重检测网络模型进行训练；宽幅影像候选兴趣区域提取与重检测。本发明专利技术设计的检测网络模型，能拟合不同尺度目标的检测；基于兴趣区域检测不需重叠检测，降低了宽幅遥感图像候选区域提取的时间，采用对候选区域基于目标的尺度先验性进行重检测，改善了小目标的检测效果，检测精度更高。可应用于任何宽幅像素分辨率大小的光学遥感图像的检测。

A Wide-band Optical Remote Sensing Target Detection Method Based on Re-detection of Region of Interest

【技术实现步骤摘要】
基于兴趣区域重检测的宽幅光学遥感目标检测方法
专利技术属于光学遥感图像处理
，更进一步涉及智能宽幅光学遥感目标检测，具体是一种基于兴趣区域重检测的宽幅光学遥感目标检测方法。本专利技术可用于星载、机载光学宽幅光学遥感图像场景下进行目标准确定位、目标跟踪、行人重识别、违章车辆检测等诸多应用。
技术介绍
随着现代航天遥感技术的发展，卫星对地观测能力大幅提升，光学遥感数据分析与处理在军用和民用上都发挥重要的作用。在军事方面，光学遥感数据分析与处理方便收集情报和侦察，进而调整作战计划、军事部署；在民用方面，可以用于灾情监测、农业估产调查、土地利用规划、城市交通监测等诸多应用，遥感图像目标检测与识别是遥感图像处理中非常重要的内容，对遥感图像进行高效和精准的检测与识别在实际军事和民用应中发挥着重要的作用。现阶段的光学遥感技术，已经达到了高分辨率、大幅宽、高速以及多谱段探测的水平，导致获取的光学遥感数据量不断增大；高效的遥感图像处理方式在如此庞大的数据量中变得至关重要。中科院大学WangW等人其发表论文[Anovelmethodofaircraftdetectionbasedonhigh-resolutionpanchromaticopticalremotesensingimages[J].Sensors,2017,17(5):1047.]，其中以直线段加权密度显著模型为基础设计改进了机场区域检测算法，主要针对大幅宽低分辨率复杂场景光学遥感图像中进行机场目标的快速搜索与定位，得到目标的候选区域，提高目标识别效率，但是该设计方法将宽幅遥感大图基于传统的特征。文献[LiuG,ZhangY,ZhengX,etal.Anewmethodoninshoreshipdetectioninhigh-resolutionsatelliteimagesusingshapeandcontextinformation[J].IEEEGeoscienceandRemoteSensingLetters,2014,11(3):617-621.]采用一种基于能量的轮廓模型，在候选区域提取阶段加入了基于传统人工特征进行关键点检测，并结合船只的先验性尺度比例分布来去除虚假候选区域。现有的宽幅遥感检测技术存在以下几个问题：1、光学遥感图像受光照、天气、成像条件等因素影响，采用传统人工设计的特征很难准确表示目标信息，导致图像检测精度下降；2、传统的候选区域提取基于传统特征提取，时效性慢；3、基于滑窗重叠的宽幅遥图像检测方法速度慢。
技术实现思路
本专利技术针对上述方法的不足，提出一种快速、检测精度高的兴趣区域重检测的宽幅光学遥感目标检测方法。本专利技术是一种基于兴趣区域重检测的宽幅光学遥感目标检测方法，包括有以下步骤：(1)制作多尺度训练样本：输入宽幅光学遥感大图，将宽幅遥感图像切块分割成多尺度小图，制作成检测网络模型训练样本；(2)构造混合重检测网络模型：网络模型主要包括特征提取网络、反卷积模块、侧连接融合模块和预测网络结构四部分；(2a)通过基于ImageNet预训练模型ResNet-50进行多尺度小图特征提取；(2b)在特征提取层后面加入反卷积层，提取分辨率高的、语义信息丰富的特征；(2c)将浅层特征与深层特征通过侧连接模块进行特征拼接融合方式，得到融合特征；(2d)将融合特征进行预测，设置6个不同尺度的融合特征进行预测；(2e)将6个不同尺度融合特征每个位置点设定其预测锚框anchors的数量、尺度和比例；(2f)对6个不同尺度融合特征分别加入位置回归金字塔网络和分类预测回归金字塔网络。(3)对混合重检测网络模型进行训练：反卷积模块、侧连接融合模块和预测网络结构参数随机初始化，采用反向传播算法进行检测网络模型参数反复迭代更新；检测网络模型训练到最大迭代次数，模型更新结束，得到训练好的检测网络模型；(4)宽幅影像候选兴趣区域提取与重检测：通过训练好的检测网络模型对输入宽幅光学遥感大图先进行滑窗候选兴趣区域提取，不重叠检测，再对候选兴趣区域进行重检测，得到重检测后的整张光学遥感大图的检测结果；本专利技术提高了宽幅遥感图像的检测速度，同时提高了检测精度。本专利技术与现有技术相比，具有以下优点：第一，提高宽幅遥感图像小目标的检测效果；本专利技术结合深层特征预测大目标和浅层特征预测小目标的原理，构造深度回归网络将网络浅层卷积特征和深层卷积特征相结合，防止小目标信息丢失；同时，基于兴趣区域目标重检测算法根据候选区域目标类型，从而以先验性尺度兴趣区域进行重检测，使得小目标在新的重检测区域比例放大，小目标的检测率提高。第二，检测精度更高；本专利技术构造的基于兴趣区域目标重检测算法，以粗检检测框为中心进行先验性尺度兴趣区域重检测，模拟了训练数据的分布；第三，本专利技术检测速度更快；传统的宽幅遥感目标检测方式需要重叠滑窗检测，消耗了大量的时间，但基于兴趣区域目标重检测算法利用遥感宽幅图像数据目标稀疏分布的特点，无须带有重叠检测，减少了检测时间。附图说明图1为本专利技术的流程图；图2为本专利技术设计的检测网络模型示意图；图3为本专利技术设计的宽幅遥感图像兴趣区域重检测的流程图；图4为本专利技术实验结果，其中图4(a)为本专利技术与其它测试方法在宽幅遥感大图平均精度对比结果，图4(b)为本专利技术与其它测试方法在测试宽幅遥感大图速度对比结果；图5为本专利技术检测网络模型与现有的检测模型实验对比结果。具体实施方式下面结合附图对本专利技术的具体步骤描述如下：实施例1遥感图像目标检测其基本任务是确定遥感图像中是否存在感兴趣的候选目标，并对其进行精准定位，同时提取目标相关属性和状态参数；该问题的解决综合利用了数学、物理、计算机、信息科学等方法，涉及到遥感、模式识别、视觉原理等多方面的内容，是一个涉及多学科的问题。光学遥感影像目标检测面临极大挑战，包括遥感视角改变、遮挡、背景、图像目标发生畸变、噪声干扰、光照等引起的目标外形上的变化，同时遥感影像在分辨率上的提高、重访周期的增加，遥感图像在数量和质量上爆炸性增长对遥感目标检测算法的实时性要求越来越高。但现有的遥感图像检测基于传统的人工特征提取方式，特征的鲁棒性比较差，同时传统的宽幅遥感检测方式基于滑窗重叠检测，检测速度慢，检测缺乏认知先验性，导致检测精度低。本专利技术经过研究和探讨，提出了一种基于兴趣区域重检测的宽幅光学遥感目标检测方法。参见图1，本专利技术的基于兴趣区域重检测的宽幅光学遥感目标检测方法包括有如下步骤：(1)制作多尺度训练样本：输入宽幅光学遥感大图，将宽幅遥感图像切块分割成多尺度小图，制作成检测网络模型训练样本。(2)构造混合重检测网络模型：参见图2，混合检测网络模型主要包括特征提取网络、反卷积模块、侧连接融合模块和预测网络结构四部分。混合检测网络模型通过基于ImageNet预训练模型ResNet-50进行多尺度小图特征提取，在预训练模型ResNet-50输出层后面加入反卷积层，提取分辨率高的、语义信息丰富的特征，然后将浅层特征与深层特征通过侧连接模块进行特征拼接融合。将整个混合检测网络模型设置6个不同尺度的特征进行预测，最后对6个不同尺度特征分别加入位置回归网络结构和分类预测网络结构。具体也可以通过以下步骤表述。(2a)通过基于ImageNet预训练模型ResNet-50本文档来自技高网...

【技术保护点】
1.一种基于兴趣区域重检测的宽幅光学遥感目标检测方法，包括有以下步骤：(1)制作多尺度训练样本：输入宽幅光学遥感大图，将宽幅遥感图像切块分割成多尺度小图，制作成检测网络模型训练样本；(2)构造混合重检测网络模型：检测网络模型主要包括特征提取网络、反卷积模块、侧连接融合模块和预测网络结构四部分；(2a)通过基于ImageNet预训练模型ResNet‑50进行多尺度小图特征提取；(2b)在特征提取层后面加入反卷积层，提取分辨率高的、语义信息丰富的特征；(2c)将浅层特征与深层特征通过侧连接模块进行特征拼接融合，得到融合特征；(2d)将检测网络模型设置多个不同尺度的融合特征进行预测；(2e)对多个不同尺度特征每个位置点设定其预测锚框anchors的数量、尺度和比例；(2f)对多个不同尺度特征分别加入位置回归金字塔网络和分类金字塔预测网络；(3)对混合重检测网络模型进行训练：反卷积模块、侧连接融合模块和预测网络参数随机初始化，采用反向传播算法进行重检测网络模型参数反复迭代更新；重检测网络模型训练到最大迭代次数，模型更新结束，得到训练好的重检测网络模型；(4)宽幅影像候选兴趣区域提取与重检测：通过训练好的重检测网络模型对输入宽幅光学遥感大图先进行滑窗候选兴趣区域提取，不重叠检测，再对候选兴趣区域通过重检测模型进行重检测，得到重检测后的整张光学遥感大图的检测结果。...

【技术特征摘要】
1.一种基于兴趣区域重检测的宽幅光学遥感目标检测方法，包括有以下步骤：(1)制作多尺度训练样本：输入宽幅光学遥感大图，将宽幅遥感图像切块分割成多尺度小图，制作成检测网络模型训练样本；(2)构造混合重检测网络模型：检测网络模型主要包括特征提取网络、反卷积模块、侧连接融合模块和预测网络结构四部分；(2a)通过基于ImageNet预训练模型ResNet-50进行多尺度小图特征提取；(2b)在特征提取层后面加入反卷积层，提取分辨率高的、语义信息丰富的特征；(2c)将浅层特征与深层特征通过侧连接模块进行特征拼接融合，得到融合特征；(2d)将检测网络模型设置多个不同尺度的融合特征进行预测；(2e)对多个不同尺度特征每个位置点设定其预测锚框anchors的数量、尺度和比例；(2f)对多个不同尺度特征分别加入位置回归金字塔网络和分类金字塔预测网络；(3)对混合重检测网络模型进行训练：反卷积模块、侧连接融合模块和预测网络参数随机初始化，采用反向传播算法进行重检测网络模型参数反复迭代更新；重检测网络模型训练到最大迭代次数，模型更新结束，得到训练好的重检测网络模型；(4)宽幅影像候选兴趣区域提取与重检测：通过训练好的重检测网络模型对输入宽幅光学遥感大图先进行滑窗候选兴趣区域提取，不重叠检测，再对候选兴趣区域通过重检测模型进行重检测，得到重检测后的整张光学遥感大图的检测结果。2.根据权利要求1所述的基于兴趣区域重检测的宽幅光学遥感目标检测方法，其特征在于，步骤(1)中所述的制作多尺度训练样本，具体包括有如下步骤：1.1输入一张宽幅光学RGB遥感图像；1.2先对宽幅光学RGB遥感图像分别进行飞机、舰船目标进行人工标注，得到宽幅大图数据的标签文件；1.3将宽幅光学遥感图像以600*600大小滑窗分块切割成小图，切块顺序为从左至右，从上往下；再以宽幅遥感数据的每个目标的标注为中心，分别以两个固定区域大小448*448和600*600切块成多尺度小图；1.4对每张小图的每个目标进行判断，如果目标在某个多尺度小图的面积比例大于目标在原来宽幅光学RGB遥感大图面积的25％，则将该多尺度小图中的目标标记为真实目标，否则作为虚警目标；1.5判断每张切块多尺度小图是否包含真实目标，如果不包含真实目标，则将多尺度小图作为为负类样本，不作为检测模型的训练数据。3.根据权利要求1所述的基于兴趣区域重检测的宽幅光学遥感目标检测方法，其特征在于，步骤(2e)中所述对多个不同尺度融合特征每个位置点设定其预测锚框anchors的数量、尺度和比例，具体包括有如下步骤：2e.1为了考虑遥感数据小目标的分布，本发明设定6个预测层，分别为P7，P6，P5，P4，P3，P2；6个预测层锚框anchors基准尺度设定分别为[1...

【专利技术属性】
技术研发人员：杨淑媛，胡滔，冯志玺，王敏，刘志，徐光颖，王俊骁，孟会晓，郝晓阳，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61