一种基于轻量级特征融合的无人机目标检测方法技术

本发明专利技术公开一种基于轻量级特征融合的无人机目标检测方法，该方法能够针对无人机航拍的图像进行目标识别。对当前目标检测网络对图像小目标检测精度低以及网络参数量大难以实时检测等问题，首先通过使用深度可分离卷积(DSC)与Coordinate Attention(CA)重新设计YOLOv4

【技术实现步骤摘要】
一种基于轻量级特征融合的无人机目标检测方法


[0001]本专利技术涉及目标检测
，更具体地，涉及一种基于轻量级特征融合的无人机目标检测方法。

技术介绍

[0002]随着深度学习的不断发展，目标检测领域成为了时下最热门的研究方向之一。目标检测算法可以应用于交通领域，工业检测，人脸识别，军事监测等对现实生活中具有重大意义的场景。目前常见的目标检测算法通常分为双阶段目标检测算法以及单阶段目标检测算法。双阶段检测算法首先生成候选区域并在候选区域进行目标预选框的提取，之后同时对检测类别与目标区域定位分别进行分类与预测，其优点是目标检测平均精度高、错检率和漏检率低，但是其模型参数量多、计算量大，难以达到实时性要求，主要以Fast R
‑
CNN、Faster R
‑
CNN为代表。单阶段检测算法以YOLO系列算法以及SSD算法等为代表，单阶段检测算法直接将特征提取与预测框的定位融合在一起，具有检测速度快、模型复杂度低易于部署等优点，能够满足实时检测的需求。
[0003]相比目前的通用目标检测算法具有的视野范围小，检测目标横向阻挡多，视野转换困难等缺点，无人机目标检测不仅具有高空视野横向无遮挡，监测范围广阔，快速转换视角等优势，还可以应用于军事及各种危险场景中进行目标检测，能够使目标检测算法的应用更具有安全性，因此目前基于无人机航拍图像的目标检测算法已经成为了一个研究热点。
[0004]然而无人机航拍图像也具有目标尺寸小、背景复杂、图像外观模糊等一系列问题导致检测精度下降。其中最难解决的问题当属小目标检测精度低的问题，小目标检测中网络训练和目标预测主要集中在特征提取和特征融合之间，然后由于小目标在原图中所占像素数较少，携带的信息有限，缺乏纹理、形状、颜色等外观信息，且深度卷积产生的下采样使小目标的特征信息在深层特征图中弥散甚至消失的问题，因此丰富网络的上下文语义信息、位置信息和特征表示成为了无人机小目标检测任务的研究重点。与此同时，无人机内存与计算资源有限，因此基于无人机航拍图像目标检测算法必需控制模型参数量增长，保持模型一定的轻量化才能保持模型检测速度的实时性。
[0005]当前深度学习下的无人机目标检测技术通常会结合无人机技术，航拍图像特点等对经典深度学习目标检测算法进行融合改进。在速度要求较高的目标检测算法中，大部分算法会结合无人机检测特点对YOLO系列算法进行改进。由于无人机计算能力限制问题，Zhang等人在YOLOv3的基础上对原网络进行剪枝从而获得精度基本不变但参数量和占用内存以及推断时间大幅减少的Slim YOLOv3，改进后模型更适合部署于无人机；Zhu等人提出了TPH
‑
yolov5在yolov5的基础上使用transformer代替原yolo预测头，并且数量由原先的3个增加至4个，此外还在特征融合阶段集成了卷积注意力模块(Convolutional Block Attention Module，CBAM)注意力机制，检测精度大大增加。
[0006]然而大部分基于无人机航拍目标检测算法主要致力于提高目标检测的精度或者
提升目标检测的速度，没有很好的平衡模型的检测精度与模型的检测速度。因此，设计一个有效平衡无人机目标检测精度与检测速度的算法可以加速发展无人机在目标检测领域的应用，是社会发展的重要研究课题。
[0007]无人机图像一般由于拍摄环境受大气温度和照明条件影响等因素使得无人机拍摄图像具有场景复杂度高，图像中前景对象种类繁多，形状多变和尺度不一等特点，使得目标识别偏难，因此在无人机图像中对感兴趣目标进行准确检测是一件富有挑战性的任务。又因为无人机机载设备计算资源和能力的限制与无人机实时检测的要求冲突，检测精度与检测速度的均衡也一直是所有科研人员以及技术开发人员面临的挑战，如何在硬件资源限制的前提下均衡深度学习下目标检测模型的精度和速度，也是研究的核心问题之一。然而目前大部分基于无人机航拍目标检测算法主要致力于提高目标检测的精度或者提升目标检测的速度，没有很好的平衡模型的检测精度与模型的检测速度。

技术实现思路

[0008]提供了本专利技术以解决现有技术中存在的上述问题。本专利技术提供一种基于轻量级特征融合的无人机目标检测方法，该技术能够针对无人机航拍的图像进行目标识别。对当前目标检测网络对图像小目标检测精度低以及网络参数量大难以实时检测等问题，首先通过使用深度可分离卷积(DSC)与Coordinate Attention(CA)重新设计YOLOv4
‑
tiny的颈部特征提取模块；然后使用SPPF特征提取模块来增加提取特征的感受野信息，并且有效的保持模型的计算轻量化；最终使用Decoupled Head检测头模块使最终提取到的特征信息具有更强的空间联合性，更容易区分背景与待测目标，从而构建了一个全新的轻量级目标检测网络。
[0009]本专利技术具体采用如下技术方案：
[0010]一种基于轻量级特征融合的无人机目标检测方法，所述方法包括：
[0011]步骤1，获取训练数据集，所述训练数据集包括无人机航拍小目标公开数据集；
[0012]步骤2，对训练数据集的图片尺寸进行预处理，并进行马赛克数据增强，将训练数据集中任意取若干张图片进行随机分割、翻转，然后将翻转，之后将图片分别放置在对应分割位置上，最终对图片进行色域变换以及仿射变换，得到训练样本；
[0013]步骤3，基于所述训练样本，调整网络训练的候选框的尺寸，并计算出每个特征提取层预测所需要的最佳候选框个数；
[0014]步骤4，将所述训练样本作为输入图像，通过CBL模块中的3
×
3卷积模块分别对输入图像进行语义特征信息提取，并最终将提取特征的通道信息增长至64维度，使用CBL模块中的Batch Normalization层对提取的特征进行规范化处理；最终使用CBL模块中的LeakyRelu激活函数增强网络模型的非线性因素；
[0015]步骤5，利用三个CSP残差模块CSPBlockl，CSPBlock2，CSPBlock3，对图像信息特征进行提取，其中分别输出中间层CSPBlock2，CSPBlock3的两个特征层，分别为第二特征层和第三特征层；
[0016]步骤6，基于注意力机制，分别对步骤5输出的第二特征层和第三特征层进行注意力权重分配更新第二特征层和第三特征层；
[0017]步骤7，采用特征融合模块对第三特征层进行不同尺度的感受野信息融合，更新第
三特征层；
[0018]步骤8，对提取的特征层信息进行特征再提取，生成第一特征层，并更新第二特征层和第三特征层；
[0019]步骤9，对所述第一特征层、第二特征层以及第三特征层进行最终预测解析；
[0020]步骤10，调试从所述步骤4到步骤9的网络结构超参数，设置网络模型参数，以对网络模型进行训练，得到最终的训练模型。
[0021]进一步地，所述对训练数据集的图片尺寸进行预处理，包括：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于轻量级特征融合的无人机目标检测方法，其特征在于：所述方法包括：步骤1，获取训练数据集，所述训练数据集包括无人机航拍小目标公开数据集；步骤2，对训练数据集的图片尺寸进行预处理，并进行马赛克数据增强，将训练数据集中任意取若干张图片进行随机分割、翻转，然后将翻转，之后将图片分别放置在对应分割位置上，最终对图片进行色域变换以及仿射变换，得到训练样本；步骤3，基于所述训练样本，调整网络训练的候选框的尺寸，并计算出每个特征提取层预测所需要的最佳候选框个数；步骤4，将所述训练样本作为输入图像，通过CBL模块中的3
×
3卷积模块分别对输入图像进行语义特征信息提取，并最终将提取特征的通道信息增长至64维度，使用CBL模块中的Batch Normalization层对提取的特征进行规范化处理；最终使用CBL模块中的LeakyRelu激活函数增强网络模型的非线性因素；步骤5，利用三个CSP残差模块CSPBlockl，CSPBlock2，CSPBlock3，对图像信息特征进行提取，其中分别输出中间层CSPBlock2，CSPBlock3的两个特征层，分别为第二特征层和第三特征层；步骤6，基于注意力机制，分别对步骤5输出的第二特征层和第三特征层进行注意力权重分配更新第二特征层和第三特征层；步骤7，采用特征融合模块对第三特征层进行不同尺度的感受野信息融合，更新第三特征层；步骤8，对提取的特征层信息进行特征再提取，生成第一特征层，并更新第二特征层和第三特征层；步骤9，对所述第一特征层、第二特征层以及第三特征层进行最终预测解析；步骤10，调试从所述步骤4到步骤9的网络结构超参数，设置网络模型参数，以对网络模型进行训练，得到最终的训练模型。2.根据权利要求1所述的基于轻量级特征融合的无人机目标检测方法，其特征在于，所述对训练数据集的图片尺寸进行预处理，包括：将训练数据集的图片大小调整至640
×
640像素。3.根据权利要求1所述的基于轻量级特征融合的无人机目标检测方法，其特征在于，所述步骤7，采用特征融合模块对第三特征层进行不同尺度的感受野信息融合，更新第三特征层，具体包括：步骤7
‑
1，针对步骤6得到的第三特征层的特征信息使用三个卷积组成的ThreeConv对其进行特征再提取，首先使用1
×
1大小的卷积核对第三特征层进行降维处理，然后使用3
×
3深度可分离卷积进行特征提取，最后使用1
×
1的卷积调整输出的特征层维度更新第三特征层；步骤7
‑
2，基于级联特征提取模块SPPF，所述SPPF模块由三个5
×
5大小的最大池化层级联构成，分别生成了尺寸为5
×
5、9
×
9、13
×
13的最大池化层一样的感受野信息，将更新后的第三特征层通过SPPF模块进行特征再提取，并且将每个池化层上的输出特征以及SPPF模块的输入特征信息进行Concat拼接，进一步更新第三特征层；步骤7
‑
3，使用ThreeConv对更新后的第三特征层进行特征再提取，最终使用ThreeConv中1
×
1的卷积调整输出的特征层维度，进一步更新第三特征层。
4.根据权利要求1所述的基于轻量级特征融合的无人机目标检测方法，其特征在于，所述步骤8，对提取的特征层信息进行特征再提取，生成第一特征层，并更新第二特征层和第三特征层；具体包括：步骤8
‑
1，在网络主干提取模块新增一个下采样的特征提取层，基于注意力机制对空间以...

【专利技术属性】
技术研发人员：周鹏，曹杰，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：