一种基于深度学习的卫星图像目标检测方法技术

本发明专利技术公开了一种基于深度学习的卫星图像目标检测方法，包括16倍下采样使得416x416像素的输入图像经过模型后，生成26x26的feature map。该网络结构在YOLO基础上降低下采样率以及减少网络层数来提高对小目标和密集目标的检测。网络结构中直通层的作用：直通层即跳跃连接层，是为了改进小物体的保真度。在网络结构中表现为对8层和16层的特征图进行融合。模型中使用到的直通层类似于ResNet网络模型中的identity mappings即恒等映射，使得检测器可以在扩展的特征图上得到更加细粒度的特征。在该卫星图像目标检测模型中，实现了通过多个传感器上相对较少的训练数据快速检测出各种规模的物体。测出各种规模的物体。测出各种规模的物体。

【技术实现步骤摘要】
一种基于深度学习的卫星图像目标检测方法


[0001]本专利技术涉及卫星图像目标检测
，尤其涉及一种基于深度学习的卫星图像目标检测方法。

技术介绍

[0002]在目标检测领域，很多目标检测算法对原始图像的输入大小都是存在一定限制的，例如：Faster R-CNN要求原始图像的输入大小是1000x 600pixel；SSD要求原始图像的输入大小是300x 300pixel或者512x 512pixel；YOLO要求原始图片的输入大小是416x 416pixel或者544x 544pixel。卫星图像的目标检测和普通场景的目标检测最大的区别在于卫星图像尺寸很大，比如16000x 16000pixel，并且在图像中目标通常很小且容易聚集在一起。
[0003]标准的深度神经网络，如AlexNet、ResNet、VGG与GoogLeNet，都是针对低分辨率图像进行图像分类与目标检测的框架，所以对于卫星图像这样的高分辨率图像进行目标检测并不适用。
[0004]在大尺寸图像中检测小物体是卫星图像目标检测领域感兴趣的主要点之一。早期的工作是利用本地滑动窗口和HOG特征描述来确定目标的位置，但这种传统方法的缺点是不适用于不均匀背景的数据集，此时检测效果不理想。
[0005]在一些研究报告中，也有使用YOLO框架完成卫星图像的目标检测，该框架使用单一卷积层预测目标类别和边界。这种方法结合获取背景信息的能力在卫星图像的目标检测中能起到一定效果，但是缺点也很显著。卷积本身不具有旋转不变性，而卫星图像中的物体不会因为物体发生旋转而改变属性，所以说需要训练一个具有旋转不变性的网络。当某类数据样本少时，可能会造成过拟合使得训练结果不理想。卫星图像往往图片尺寸很大，单靠下采样是不可行的。
[0006]因此，现有技术需要进一步改进和完善。

技术实现思路

[0007]本专利技术的目的在于克服现有技术的不足，提供一种基于深度学习的卫星图像目标检测方法。
[0008]本专利技术的目的通过下述技术方案实现：
[0009]一种基于深度学习的卫星图像目标检测方法，该方法主要包括如下具体步骤：
[0010]1)准备数据集，数据集中包含了开放水域的船、在港湾的船、飞机以及飞机场这四类目标的卫星图。
[0011]2)对训练数据集进行预处理，采用滑动窗口将训练数据集裁剪成指定尺寸大小。
[0012]3)扩充数据集，对输入的训练图像在色相和饱和度上进行旋转和缩放。
[0013]4)采用超分辨率技术来增强卫星图像。
[0014]5)由于飞机场图像少，并且飞机场与其他样本在尺度上存在较大差异，所以单独
针对飞机场训练了一个检测模型。
[0015]6)构造针对卫星图像目标检测的卷积神经网络模型，借鉴YOLO框架，在YOLO基础上降低下采样率以及减少网络层数来提高对小目标和密集目标的检测。
[0016]7)项目中使用到的网络模型在8层和16层卷积层间增添了直通层。
[0017]8)模型中设置扰动层，通过优化前一层与当前层的凸组合来扩展自身结构。
[0018]9)项目中使用到的网络模型结构除了18层卷积层的激活函数使用Linear激活函数，结构中在18层前的所有卷积层，其激活函数都采用LeakyReLU加上Batch Normalization(批量归一化处理)。
[0019]10)准备测试数据集。对测试数据的处理与训练数据的处理过程类似。
[0020]11)对结果后处理。目标检测过程中，重叠部分会被重复检测到两次，把非极大值抑制方法应用于边界框预测的全局矩阵，来减轻此类重叠检测。
[0021]12)将不同检测模型、不同划分区域的检测结果合并在一起，得到最终一张卫星图像的输出。
[0022]进一步的，步骤1)还包括：从收集的卫星图像中挑选出如下四类目标构成训练数据集：开放水域的船、在港湾的船、飞机以及飞机场。数据集的选择上需要满足如下几个条件：在数据集中需要包含尺度变化明显的图像；目标类别特点鲜明；希望能从检测结果中判断背景对于目标检测的影响。
[0023]进一步的，步骤2)还包括：因为数据集中图片分辨率太大，所以需要采用滑动窗口裁剪成指定尺寸后再作为模型的输入。裁剪后相邻小图会有15％的重叠，重叠比例是为了保证每个区域都能被完整检测到。
[0024]进一步的，步骤3)还包括：对输入的训练图像在色相和饱和度上进行旋转和缩放是一种增强数据的手段。
[0025]进一步的，步骤4)还包括：对于卫星图像，地面采样距离(GSD)是用来衡量图像质量的方法，表示了图像单个像素所表征的实际物理距离。可以通过降低卫星图像中的地面采样距离实现图像增强。
[0026]进一步的，步骤5)还包括：由于飞机场数据量相对于其他类图像存在严重不平衡；另一方面，飞机场相对于其他三类数据尺度更大，存在尺度量级上的差异，所以针对飞机场目标单独训练检测模型。训练不同的网络用来检测大小差异悬殊的物体，并且对于小物体的检测，可以将IoU阈值调低以提升对小物体的检测效果。
[0027]进一步的，步骤6)还包括：项目中构建的网络结构是基于YOLO改进而来，YOLO结构包含卷积层和最大池化层。网络结构里27层和24层合并到一起输出到下一层，route层的作用是进行层的合并。
[0028]进一步的，步骤7)还包括：项目中使用到的网络模型在8层和16层卷积层间增添了直通层，这是为了将不同层的特征图进行融合，使得检测器可以在扩展的特征图上得到更加细粒度的特征。在YOLO的模型结构中，也存在直通层即步骤6提及的route层，本质就是特征重排，直通层本身是不学习参数的，把模型中前面层的特征重排后拼接到后面的层，网络模型中越位于前面的层，感受野越小，越有利于小目标的检测，所以才需要把前面层的特征重排后拼接到后面的层。
[0029]进一步的，步骤8)还包括：在网络模型中引入适合图像增强任务的扰动层，旨在从
降质图像中复原出原始图像。这也是数据预处理的一环。
[0030]进一步的，步骤9)还包括：Linear激活函数用于回归神经网络的输出，LeakyReLU是ReLU的变体，LeakyReLU保留了输入小于0时的梯度。
[0031]进一步的，步骤10)还包括：对于测试集，和训练数据集一样，需要一系列的预处理步骤。
[0032]进一步的，步骤11)还包括：目标检测过程中，重叠部分会被重复检测，所以会产生多个bounding box的预测值，采用非极大值抑制算法的意义在于只剔除IoU高于阈值，即高度重叠的bounding box，而不会影响目标检测的结果。
[0033]进一步的，步骤12)还包括：该网络模型可以得到卫星图像上目标的位置信息，实现了通过多个传感器上相对较少的训练数据快速检测各种规模的物体。
[0034]本专利技术的工作过程和原理是：本专利技术提供一种基于深度学习的卫星图像目标检测方法，在卫星图像上进行目标检测本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的卫星图像目标检测方法，其特征在于，包括如下步骤：步骤S1：自制训练数据集与数据预处理；步骤S2：设计网络模型，把处理后的数据输入网络进行训练；步骤S3：把测试数据集输入训练后的检测模型，输出检测结果进行后处理。2.根据权利要求1所述的基于深度学习的卫星图像目标检测方法，其特征在于，所述步骤S1还包括：训练数据集中包含了开放水域的船、在港湾的船、飞机以及飞机场这四类目标的卫星图；数据预处理包括了：采用滑动窗口将训练数据集裁剪成指定尺寸大小；对输入的训练图像在色相和饱和度上进行旋转和缩放；采用超分辨率技术来增强卫星图像。3.根据权利要求2所述的基于深度学习的卫星图像目标检测方法，其特征在于，采用滑动窗口把训练数据集裁剪成指定尺寸后再作为模型的输入，裁剪后相邻的小图会有15％的重叠，重叠比例是为了保证每个区域都能被完整检测到；一张卫星图像被裁剪出数百上千张指定尺寸的图像，进而间接扩充了数据集；通过超分辨率技术，降低卫星图像中的地面采样距离实现图像增强。4.根据权利要求1所述的基于深度学习的卫星图像目标检测方法，其特征在于，所述步骤S2还包括：在YOLO基础上降低下采样率以及减少网络层数来提高对小目标和密集目标的检测；设置扰动层，旨在从降质图像中复原出原始图像；在8层和16层卷积层间增添直通层；针对飞机场目...

【专利技术属性】
技术研发人员：杨海东，史扬艺，黄坤山，李泽辉，
申请(专利权)人：佛山市广工大数控装备技术发展有限公司，
类型：发明
国别省市：