一种任意尺度的高分辨率图像小目标检测方法技术

一种任意尺度的高分辨率图像小目标检测方法，包括以下步骤：获取标注清洗的目标数据集，划分训练集和测试集；对数据集通过优化聚类算法计算预设锚框；设计卷积神经网络，通过特征提取得到特征图，在预测网络上添加补丁使上采样得到的特征图和特征提取层对应特征图维度保持一致，在不同尺度特征图上做多尺度检测；利用卷积神经网络对数据集进行训练，待性能评价指标收敛后得到具有小目标检测能力的神经网络模型；对测试数据集进行检测，得到目标类别和位置坐标。本发明专利技术适用任意尺寸的图像输入网络，避免缩小到固定尺寸输入网络后特征图上小目标特征的丢失，或裁剪图像导致边缘目标上下文信息丢失，有助于高分辨率图像小目标的检测，适用性广。

A small target detection method of high resolution image at any scale

【技术实现步骤摘要】
一种任意尺度的高分辨率图像小目标检测方法
本专利技术属于深度学习图像处理和遥感高分辨率图像小目标检测
，特别涉及到一种任意尺度的高分辨率图像小目标检测方法。
技术介绍
随着卫星遥感技术及计算机视觉技术的发展和应用，光学遥感图像中的目标检测在民用和军事方面有着重要意义。在民用上，高精度目标检测有助于辅助交通管理和规划；在军事上，高精度的目标检测有助于准确的情报侦察，精确锁定敌对目标入侵和危害，维护国家安全。而分辨率高、目标小是遥感图像目标检测的难点和最突出的问题之一。传统的遥感图像目标检测基于图像处理，即先进行纹理分割、纹理特征提取，然后使用模板匹配等方法对目标进行判断，不仅对特征的抽象和泛化能力弱，而且工程复杂度高。深度卷积神经网络的应用大大提高了目标检测精度，但是无论是以YOLO为代表的one-stage检测算法，还是以R-CNN为代表的two-stage检测算法，都需要对高分辨率的遥感图像进行裁剪或者进行插值计算放缩到较小的图像尺寸，裁剪导致特征提取后裁剪块边缘目标上下文信息丢失，而对图像进行插值计算放缩到较小的固定尺寸，原始图像中小目标尺寸更小，通过深层的特征提取网络所得到的特征图，小目标特征丢失，会造成小目标的漏检。以YOLO为例，如果输入图像原始大小为1355×1526，图像中小目标尺寸为32×32，输入网络需要对图片进行插值缩小到416×416的固定大小，小目标尺寸缩小到10～16之间，小目标通过特征提取网络在特征图上目标特征消失，最终造成小目标的漏检。
技术实现思路
本专利技术要解决的技术问题在于提供一种任意尺度的高分辨率图像小目标检测方法，该检测方法克服了现有深度学习网络固定输入图像尺寸，大尺寸图像需要缩放到固定尺寸输入网络，造成小目标漏检的不足，提高了大尺寸图像情况下小目标识别的准确性。为了解决上述技术问题，本专利技术通过以下方式来实现：一种任意尺度的高分辨率图像小目标检测方法，具体包括以下步骤：S1、获取目标数据集，对目标数据集进行标注清洗，并划分训练集和测试集；S2、对步骤S1中的目标数据集通过优化的kmeans聚类算法计算预设锚框Anchors；S3、设计卷积神经网络，通过特征提取网络得到特征图，并在预测网络上通过添加补丁的方式使上采样得到的特征图和特征提取层所对应特征图维度保持一致，进行特征融合，在原图的和大小的特征图上做多尺度检测；S4、将步骤S1中得到的训练集和对应的样本标签作为输入数据，利用步骤S3中得到的卷积神经网络进行训练，待性能评价指标达到收敛后得到具有小目标检测能力的神经网络模型；S5、根据步骤S4得到的神经网络模型，对测试数据集进行检测，得到检测结果。进一步地，所述步骤S1具体包含以下子步骤：S11、选取数据集中包含汽车的图片作为目标数据集，对目标数据集进行标注清洗，构成实验中所用的数据集和样本标签；S12、对步骤S11中得到的数据集和样本标签进行旋转、翻转、加噪声等操作，实现数据扩展和数据增强，不对图片进行尺寸变换；S13、对步骤S12中得到的数据集和对应样本标签随机打乱后，任取80％～90％作为训练集，剩下的作为测试集。进一步地，所述步骤S2中具体包含以下子步骤：S21、对样本中目标数据进行如下公式的去归一化处理，其中，Txmin和Tymin分别表示去归一化后目标框左上角横、纵坐标，Tw和Th分别表示去归一化后目标框的宽、高，Gw和Gh分别表示图片的宽、高，center_x和center_y分别表示归一化目标中心坐标，tw和th分别表示归一化的宽、高。S22、将步骤S21去归一化处理后的样本标签数据进行随机打乱，并记录在列表集合中，从中随机选取一个索引，该索引在列表中代表目标框的宽、高作为初始聚类中心，计算列表中每一个索引代表的目标框和最近的聚类中心的交并比，最后得到预设的K个聚类中心，通过kmeans算法得到K个预设的锚框Anchor值，其中公式如下：其中，d(box，centroid)表示聚类的距离度量，选取新聚类中心点时，d(box，centroid)越大，被选取的概率就越大，IOU(box，centroid)表示交并比，Sbox代表目标框的面积，Scentroid代表聚类中心框的面积。S23、针对步骤S21得到的去归一化后的样本标签，使用步骤S22中kmeans算法得到本专利技术实施数据集的12对预设锚框Anchor值。进一步地，所述步骤S3中具体包含以下步骤：S31、以YOLOv3骨干网络Darknet-53为基础构建特征提取网络，包含53个卷积层和23个shortcut层，形成类残差网络结构，每个卷积层后都会有一个BatchNormalization层和LeakyReLU激活层，BatchNormalization层用于在每个Batch上将其按一层的激活值重新规范化，LeakyReLU激活层对上层的输出增加非线性，整个特征提取网络有5次下采样，其中下采样操作通过卷积层增加卷积步长完成；S32、通过步骤S31特征提取网络，得到原图大小的特征图，并在该尺度特征图上进行目标分类和位置预测；S33、将步骤S32累加得到的特征图，通过添加补丁的方式进行上采样依次放大2倍，使得上采样得到的特征图和特征提取层对应尺寸的特征图各个维度保持一致，然后依次进行累加得到原图大小的特征图，并在相应尺度特征图上进行目标分类和位置预测；S34、将步骤S32和S33中各个尺度上目标分类和位置预测坐标映射到原图上，通过非极大值抑制输出精确的小目标检测结果。进一步地，所述步骤S4具体实现方法为：将步骤S1中得到的训练集和对应的样本标签作为输入数据，利用步骤S3中得到的卷积神经网络进行训练，修改网络配置文件，增加在原图大小特征图上的预测层的网络参数，并把步骤S2中所得的12组Anchor作为预设Anchors替换原始配置文件中预测网络中YOLO层的Anchors，不固定输入网络尺寸，读取每个Batch的图片中最大尺寸为该Batch的输入尺寸，小于最大尺寸的图片通过添加补丁的方式进行扩充，训练过程中待性能评价指标达到收敛终止训练，得到小目标检测模型。进一步地，所述步骤S5具体实现方法为：利用所述步骤S4得到的神经网络模型对测试集进行特征提取，通过在原图和的特征图上进行多尺度预测，最终通过非极大值抑制得到精确的目标类别和位置坐标。与现有技术相比，本专利技术具有的有益效果：本专利技术提出一种端到端的任意尺度深度学习目标检测网络，通过缩减预处理和后处理过程，任意尺寸的图像直接输入网络，不要求输入图像缩放到固定尺寸，利用图像在预测层上采样过程中通过对特征图添加补丁，使得上采样得到的特征图和特征提取层对应尺寸的特征图维度保持一致，进行特征融合，使网络在原始图像和的特征图上进行多尺度预测，提高大尺寸图像情况下小目标识别的准确性，更有助于高分辨率图像中小目标的检测，适用性广。附图说明图1为本文档来自技高网...

【技术保护点】
1.一种任意尺度的高分辨率图像小目标检测方法，其特征在于：具体包括以下步骤：/nS1、获取目标数据集，对目标数据集进行标注清洗，并划分训练集和测试集；/nS2、对步骤S1中的目标数据集通过优化的kmeans聚类算法计算预设锚框Anchors；/nS3、设计卷积神经网络，通过特征提取网络得到特征图，并在预测网络上通过添加补丁的方式使上采样得到的特征图和特征提取层所对应特征图维度保持一致，进行特征融合，在原图的

【技术特征摘要】
1.一种任意尺度的高分辨率图像小目标检测方法，其特征在于：具体包括以下步骤：
S1、获取目标数据集，对目标数据集进行标注清洗，并划分训练集和测试集；
S2、对步骤S1中的目标数据集通过优化的kmeans聚类算法计算预设锚框Anchors；
S3、设计卷积神经网络，通过特征提取网络得到特征图，并在预测网络上通过添加补丁的方式使上采样得到的特征图和特征提取层所对应特征图维度保持一致，进行特征融合，在原图的和大小的特征图上做多尺度检测；
S4、将步骤S1中得到的训练集和对应的样本标签作为输入数据，利用步骤S3中得到的卷积神经网络进行训练，待性能评价指标达到收敛后得到具有小目标检测能力的神经网络模型；
S5、根据步骤S4得到的神经网络模型，对测试数据集进行检测，得到检测结果。


2.根据权利要求1所述的一种任意尺度的高分辨率图像小目标检测方法，其特征在于：所述步骤S1具体包括以下子步骤：
S11、选取数据集中包含汽车的图片作为目标数据集，对目标数据集进行标注清洗，构成实验中所用的数据集和样本标签；
S12、对步骤S11中得到的数据集和样本标签进行旋转、翻转、加噪声操作，实现数据扩展和数据增强，不对图片进行尺寸变换；
S13、对步骤S12中得到的数据集和对应样本标签随机打乱后，任取80％～90％作为训练集，剩下的作为测试集。


3.根据权利要求1所述的一种任意尺度的高分辨率图像小目标检测方法，其特征在于：所述步骤S2中具体包含以下子步骤：
S21、对样本中目标数据进行如下公式的去归一化处理，



其中，Txmin和Tymin分别表示去归一化后目标框左上角横、纵坐标，Tw和Th分别表示去归一化后目标框的宽、高，Gw和Gh分别表示图片的宽、高，center_x和center_y分别表示归一化目标中心坐标，tw和th分别表示归一化的宽、高；
S22、将步骤S21去归一化处理后的样本标签数据进行随机打乱，并记录在列表集合中，从中随机选取一个索引，该索引在列表中代表目标框的宽、高作为初始聚类中心，计算列表中每一个索引代表的目标框和最近的聚类中心的交并比，最后得到预设的K个聚类中心，通过kmeans算法得到K个预设的锚框Anchor值，其中公式如下：



其中，d(box，centroid)表示聚类的距离度量，选取新聚类中心点时，d(box，centroid)越大，被选取的概率就越大，IOU...

【专利技术属性】
技术研发人员：李建清，吴锦涛，王宏，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51