基于中心点的深度全卷积网络遥感图像密集车辆检测方法技术

本发明专利技术提出一种基于中心点的深度全卷积网络遥感图像密集车辆检测方法，主要解决现有遥感影像中目标小且排列密集导致检测精度低的问题。其方案为：在遥感影像目标检测数据集中获取训练集和测试集；构建中心点深度全卷积网络密集车辆目标检测模型，设定目标中心点分类任务和目标尺寸回归任务的整体损失函数；将训练集输入到构建的网络模型中进行训练，得到训练好的车辆检测模型；将测试集输入训练好的车辆目标检测模型中，预测输出目标的中心点位置和目标尺寸。本发明专利技术降低了目标尺寸对密集场景目标定位的影响，提高了遥感影像中密集车辆目标的召回率，提升了车辆目标的检测精度。可用于城市规划，车流控制，交通监管及军事侦查。

A dense vehicle detection method based on the center point of deep convolution network remote sensing image

【技术实现步骤摘要】
基于中心点的深度全卷积网络遥感图像密集车辆检测方法
本专利技术属于遥感影像
，特别涉及一种车辆目标检测方法，可用于城市规划，车流控制，交通监管及军事侦查。
技术介绍
遥感影像车辆目标检测旨在对遥感影像中的车辆目标进行定位和识别，传统的遥感影像目标检测方法有基于模板匹配的方法、基于知识的方法和基于检测对象的方法，这些方法极大程度上依赖于大量的特征工程来实现对遥感影像中目标的检测。然而，对于遥感影像中目标背景复杂、尺寸小、排列密集、尺度差异明显等问题，这些方法的适应性并不强。近年来，遥感影像目标检测普遍采用基于深度学习的方法。深度卷积神经网络在目标检测问题上不需要手工设计特征，对遥感影像数据自行进行特征提取，性能表现超过传统算法。目前在基于深度学习的目标检测方法中，主要可分为两大类，一类是单阶段的SDD，YOLO系列的算法，另一类是两阶段的FasterR-CNN系列的方法。然而无论是单阶段方法还是两阶段的方法，都需要设定一些繁杂的超参数，增加了算法的复杂性，并且这类算法需要在一些事先设定好的位置上进行检测和识别，很难处理密集排列的目标，从而导致密集目标的检测性能很差。
技术实现思路
本专利技术的目的在于克服上述现有技术的不足，提出一种基于中心点的深度全卷积网络遥感图像密集车辆检测方法，以通过提高遥感影像中密集车辆的召回率，提高车辆目标的检测精度。本专利技术的技术方案是，首先用深度全卷积网络的骨干网络提取遥感图像不同层级的特征图，再通过对不同层级的特征图进行多尺度特征融合，增强特征图的细节信息和语义信息，最后在增强后的特征图上引入两个并列的子网络，即目标中心点分类子网络和目标尺寸回归子网络，分别用于目标中心点的分类和目标尺寸的回归。其具体实现步骤包括如下：(1)构建训练集和测试集：获取带有人工标注的光学遥感图像，构成遥感图像密集车辆目标检测数据集，将数据集中的75％作为训练集M，其余25％作为测试集N；(2)构建中心点深度全卷积网络的密集车辆目标检测模型：(2a)从深度全卷积网络的骨干网络ResNet-50中获得3个不同尺度特征图C3，C4，C5，并对其进行融合得到多尺度特征图F；(2b)构建中心点深度全卷积网络的目标中心点分类子网络和目标尺寸回归子网络：用一个1×1的卷积层和一个Sigmoid激活层组成目标中心点分类子网络；用一个1×1的卷积层和一个线性激活层组成目标尺寸回归子网络；(2c)将融合后的多尺度特征图F先通过一个3×3的卷积层，再在其后连接(2b)构建的两个子网络；(2d)设定中心点深度全卷积网络模型的整体损失函数：L＝λcLcenter+λsLsize，其中Lcenter是目标中心点分类子网络的分类损失函数，λc是分类损失函数在整体损失函数中的加权因子；Lsize是目标尺寸回归子网络的回归损失函数，λs是回归损失函数在整体损失函数中的加权因子；(3)对(2)构建的密集车辆目标检测模型进行训练：将在ImageNet数据集上使用骨干网络ResNet-50训练的分类模型的权重参数设置为中心点深度全卷积网络密集车辆目标检测模型的初始化参数；将训练的初始学习率设为0.002，训练步数设为4500，使用Adam优化算法，利用训练集M和整体损失函数L，对密集车辆目标检测模型进行训练，当训练轮数达到150时，得到训练好的中心点深度全卷积网络密集车辆目标检测模型；(4)将测试集N中的所有图像输入到训练好的中心点深度全卷积网络密集车辆目标检测模型中，预测输出每幅图像中的车辆目标中心点位置和目标尺寸。本专利技术与现有技术相比，具有以下优点：第一，本专利技术在提取遥感图像特征的时候，考虑低级特征图的细节信息和高层级特征图的语义信息，采用多尺度特征融合的方法丰富了特征图的表达，改善了由于遥感影像中目标尺寸小，背景复杂，很难获得目标精确定位的问题，同时提高了目标中心点的分类置信度。第二，本专利技术将车辆目标检测任务解耦成两个子任务，即目标中心点定位任务和目标尺寸回归任务，降低了目标的尺寸对目标定位的影响，对目标小且排列密集的目标，极大地提高了目标的召回率。第三，本专利技术使用深度全卷积网络以像素级预测的方式实现车辆目标中心点的分类和目标尺寸的回归，简化了车辆目标检测模型，提高了车辆目标检测算法的运行速度。附图说明图1为本专利技术的实现流程图；图2为仿真使用的遥感影像；图3为用本专利技术和现有技术对图2进行检测的仿真结果图像。具体实施方式下面结合附图对本专利技术的实施例和效果作进一步详细说明。参照图1，本实例基于中心点深度全卷积网络遥感图像密集车辆检测方法，其实现步骤如下：步骤1，获取遥感影像的训练集和测试集。获取公开的遥感图像目标检测数据集DOTA_v1.0，该数据集包含2806幅宽为800～4000像素大小的遥感图像，以及对应遥感图像中目标类别和目标位置的真实标签。本实例从该数据集中获取包含车辆的622幅遥感图像数据构成车辆目标检测数据集，将其中75％作为训练集M，25％作为测试集N，其中训练集M中包含467幅遥感图像，测试集N中包含155幅遥感图像。步骤2，构建中心点深度全卷积网络密集车辆检测模型。2.1)从深度全卷积网络的骨干网络ResNet-50中获得3个不同尺度特征图C3，C4，C5，并对其进行融合得到多尺度特征图F：2.2.1)将特征图C3经过一个2倍的上采样层得到通道维数为256的特征图P3，将特征图C4经过一个4倍的上采样层得到通道维数为256的特征图P4，将特征图C5经过一个8倍的上采样层得到通道维数为256的特征图P5；2.2.2)分别对经过上采样层得到的三个特征图P3，P4，P5使用L2正则化，获得归一化后的特征图N3，N4，N5，再将这三个归一化后的特征图N3，N4，N5沿通道轴进行拼接，获得包含低层级细节信息和高层级语义信息的多尺度特征图F；2.3)构建中心点深度全卷积网络的目标中心点分类子网络和目标尺寸回归子网络；用一个1×1的卷积层和一个Sigmoid激活层组成目标中心点分类子网络；用一个1×1的卷积层和一个线性激活层组成目标尺寸回归子网络；2.4)将融合后的多尺度特征图F首先通过一个3×3的卷积层，将特征图F的维数降到256维，再在后面接2.3)构建的两个子网络，用于以像素级的方式对车辆目标进行分类和回归。2.5)设定中心点深度全卷积网络密集车辆目标检测模型的整体损失函数L：2.5.1)设定目标中心点分类子网络的分类损失函数Lcenter如下：其中，K是一幅图片中的目标数量，W，H分别表示图像的宽和高，r为下采样因子，pij是网络估计位置(i,j)为目标中心点的概率，yij对应于真实标注，其中yij＝1表示正样本中心点，yij＝0表示负样本；αij表示正负样本的平衡参数，γ表示专注参数，本实施例取值2；Mij是对每个正样本中心点生成一本文档来自技高网...

【技术保护点】
1.一种基于中心点的深度全卷积网络遥感图像密集车辆检测方法，其特征在于，包括如下：/n(1)构建训练集和测试集：获取带有人工标注的光学遥感图像，构成遥感图像密集车辆目标检测数据集，将数据集中的75％作为训练集M，其余25％作为测试集N；/n(2)构建中心点深度全卷积网络的密集车辆目标检测模型：/n(2a)从深度全卷积网络的骨干网络ResNet-50中获得3个不同尺度特征图C3，C4，C5，并对其进行融合得到多尺度特征图F；/n(2b)构建中心点深度全卷积网络的目标中心点分类子网络和目标尺寸回归子网络：/n用一个1×1的卷积层和一个Sigmoid激活层组成目标中心点分类子网络；/n用一个1×1的卷积层和一个线性激活层组成目标尺寸回归子网络；/n(2c)将融合后的多尺度特征图F先通过一个3×3的卷积层，再在其后连接(2b)构建的两个子网络；/n(2d)设定中心点深度全卷积网络模型的整体损失函数：L＝λ

【技术特征摘要】
1.一种基于中心点的深度全卷积网络遥感图像密集车辆检测方法，其特征在于，包括如下：
(1)构建训练集和测试集：获取带有人工标注的光学遥感图像，构成遥感图像密集车辆目标检测数据集，将数据集中的75％作为训练集M，其余25％作为测试集N；
(2)构建中心点深度全卷积网络的密集车辆目标检测模型：
(2a)从深度全卷积网络的骨干网络ResNet-50中获得3个不同尺度特征图C3，C4，C5，并对其进行融合得到多尺度特征图F；
(2b)构建中心点深度全卷积网络的目标中心点分类子网络和目标尺寸回归子网络：
用一个1×1的卷积层和一个Sigmoid激活层组成目标中心点分类子网络；
用一个1×1的卷积层和一个线性激活层组成目标尺寸回归子网络；
(2c)将融合后的多尺度特征图F先通过一个3×3的卷积层，再在其后连接(2b)构建的两个子网络；
(2d)设定中心点深度全卷积网络模型的整体损失函数：L＝λcLcenter+λsLsize，其中Lcenter是目标中心点分类子网络的分类损失函数，λc是分类损失函数在整体损失函数中的加权因子；Lsize是目标尺寸回归子网络的回归损失函数，λs是回归损失函数在整体损失函数中的加权因子；
(3)对(2)构建的密集车辆目标检测模型进行训练：
将在ImageNet数据集上使用骨干网络ResNet-50训练的分类模型的权重参数设置为中心点深度全卷积网络密集车辆目标检测模型的初始化参数；
将训练的初始学习率设为0.002，训练步数设为4500，使用Adam优化算法，利用训练集M和整体损失函数L，对密集车辆目标检测模型进行训练，当训练轮数达到150时，得到训练好的中心点深度全卷积网络密集车辆目标检测模型；
(4)将测试集N中的所有图像输入到训练好的中心点深度全卷积网络密集车辆目标检测模型中，预测输出每幅图像中的车辆目...

【专利技术属性】
技术研发人员：张向荣，孙文亮，朱鹏，张天扬，王少娜，唐旭，陈璞花，古晶，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61