基于无人机与英伟达开发板的目标检测方法、系统及装置制造方法及图纸

本发明专利技术公开一种基于无人机与英伟达开发板的目标检测方法、系统及装置，方法包括：构建改进型YOLO v4

【技术实现步骤摘要】
基于无人机与英伟达开发板的目标检测方法、系统及装置


[0001]本专利技术涉及图像目标检测
，特别是涉及一种基于无人机与英伟达开发板的目标检测方法、系统及装置。

技术介绍

[0002]基于深度学习的目标检测是图像处理领域的重要研究方向，主要包括两个方向，双阶段目标检测和单阶段目标检测。
[0003]双阶段目标检测的准确率更好，适用于对检测的精细度较高的场景。但其高准确率是以计算量为代价的，两阶段的目标检测网络通常具有较大的网络参数，更适合部署在高性能计算机上，并不适用于本专利技术。
[0004]单阶段目标检测牺牲了部分准确率，达到了准确率与实时性的均衡。当前基于无人机的目标检测主要采取单阶段的目标检测。但当前较为主流的单阶段目标检测算法，如YOLO，SSD等，仍需要较大计算量，无法直接将其应用至无人机，因此，目前一些专利技术通过无人机采集图像，然后在高性能计算设备上来对图像进行处理，检测效率较低，极大的限制了无人机在实际中的应用。
[0005]目前，计算机视觉领域主流的单阶段目标检测算法为YOLO v4。与YOLO v3相比，YOLO v4采用了mish激活函数，SPP(Spatial Pyramid Pooling)
‑
YOLO，PANet(Path Aggregation Network)等技术，模型性能整体优于YOLO v3。YOLO v4
‑
tiny是基于YOLO v4提出的最新的轻量级目标检测算法。该算法通过卷积神经网络对输入图像进行特征提取，得到一系列不同尺寸的预测框，并输出对应预测框的尺寸。最后根据预测框的概率进行非最大抑制，画出最终的检测框。由于该算法是为移动设备设计的，神经网络设计的较浅，模型的参数量为6.817BFLOPs，权重文件为23.7Mb。这种设计方案虽然可以大幅度提升模型的实时性，但由于未采用任何神经网络的训练技巧，因此模型的准确率损失较大。模型整体仅级联了三个不同尺度的CSPNet，这使得模型对不同尺度的目标搜索范围较大，同时也降低了模型对目标的敏感度。
[0006]中国专利文献《一种基于YOLO v3的无人机视角下的小目标快速检测方法》一文中公开了一种无人机与目标检测结合的方法，包括获取图像、建立小目标检测网络、网络训练、网络剪枝四个步骤。该方法为无人机视角下的小目标检测提供了新思路，但模型采用的是YOLO v3
‑
tiny，与本专利的YOLO v4
‑
tiny在准确度和实时性上均有差距。此外，该方法并未实现无人机视频流的实时检测，这也限制了该方法的实际应用。
[0007]中国专利文献《一种无人机低空目标精准检测识别方法》一文提出了基于全卷积网络的无人机图像的目标检测识别方法。该方法将无人机与现实世界相结合，建立了相机成像坐标系，可提升不同尺度目标的识别精度。但该方法并未搭载至无人机，也并未实现实时的目标检测。
[0008]中国专利文献《一种机载图像无人机目标自适应检测方法》一文提出将无人机机载计算机搭载目标检测网络进行实时检测的方法。该方法包括预训练初始模型、预训练检
测模型、加载模型至无人机机载计算机三个步骤。该方法实现了无人机视频流的实时检测，但由于机载无人机计算能力有限，目标检测网络的实时性可能会受到影响。此外，机载计算机会增加无人机的负载；且机载无人机的目标检测计算功率较大，这些因素都会影响到无人机续航，限制了在现实中的应用。
[0009]另外，现有的对无人机视频进行检测的技术大致分为两类。一类是采用无人机进行数据采集，再将视频文件输入至计算机的目标检测网络。这种方法并未实现视频流的实时检测处理，时效性较低，现实意义不大。另一类方法是采用轻量级目标检测网络，通过无人机机载的微处理器来对视频流进行实时检测。这种方法时效性高，但也存在诸多问题。首先是机载微处理器的计算能力问题。目前的目标检测网络都是基于深度卷积神经网络(Deep Convolutional Neural Network，DNN)，对硬件设备的计算能力要求较高。受限于机载微处理器的低计算力，这种目标检测网络无法做深、做大，这会直接影响模型的性能。其次是无人机的续航问题。若采用机载微处理器，开发板的重量和神经网络的推理过程都会额外增加无人机系统的功耗，从而影响无人机的续航时间。
[0010]基于以上技术方案的缺陷，如何解决既能实现对无人机视频流实时检测，还能解决目标检测网络的计算能力受限的问题成为本领域亟需解决的技术问题。

技术实现思路

[0011]本专利技术的目的是提供一种基于无人机与英伟达开发板的目标检测方法、系统及装置，以解决目标检测网络的计算能力受限的问题。
[0012]为实现上述目的，本专利技术提供了一种基于无人机与英伟达开发板的目标检测方法，所述方法包括：
[0013]步骤S1：构建改进型YOLO v4
‑
tiny模型；所述改进型YOLO v4
‑
tiny模型包括：初始卷积模块、第一沙漏型池化模块、第二沙漏型池化模块、第三沙漏型池化模块、第一池化特征增强模块、第二池化特征增强模块、拼接模块、第一输出模块和第二输出模块；
[0014]步骤S2：利用训练集对改进型YOLO v4
‑
tiny模型进行训练，获得最终目标检测模型；
[0015]步骤S3：利用视频采集卡获取无人机机载摄像头采集的视频流；所述视频流包括多张连续图像；
[0016]步骤S4：将所述视频流输入至部署在英伟达开发板上的最终目标检测模型进行目标检测，输出目标检测结果。
[0017]可选地，所述利用训练集对改进型YOLO v4
‑
tiny模型进行训练，获得最终目标检测模型，具体包括：
[0018]步骤S21：将数据集Pascal VOC、数据集MS COCO和数据集Visdron中任意一个作为训练集时，则训练集中的图像输入至改进型YOLO v4
‑
tiny模型进行训练，利用总损失函数计算损失值，直至满足第一终止条件，选取最小损失值或最大准确度对应的改进型YOLO v4
‑
tiny模型作为最终目标检测模型。
[0019]可选地，所述利用训练集对改进型YOLO v4
‑
tiny模型进行训练，获得最终目标检测模型，具体包括：
[0020]步骤S21：将数据集Pascal VOC、数据集MS COCO和数据集Visdron中任意两个作为
训练集时，则任意选取一个数据集中的图像输入至改进型YOLO v4
‑
tiny模型进行训练，利用总损失函数计算损失值，直至满足第一终止条件，选取最小损失值或最大准确度对应的改进型YOLO v4
‑
tiny模型作为第一目标检测模型；
[0021]步骤S22：将另一个数据集中的图像输入至第一目标检测模型进行训练，利用总损失函数计算损失值，直至满足第二终止条件，选取最小本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无人机与英伟达开发板的目标检测方法，其特征在于，所述方法包括：步骤S1：构建改进型YOLO v4
‑
tiny模型；所述改进型YOLO v4
‑
tiny模型包括：初始卷积模块、第一沙漏型池化模块、第二沙漏型池化模块、第三沙漏型池化模块、第一池化特征增强模块、第二池化特征增强模块、拼接模块、第一输出模块和第二输出模块；步骤S2：利用训练集对改进型YOLO v4
‑
tiny模型进行训练，获得最终目标检测模型；步骤S3：利用视频采集卡获取无人机机载摄像头采集的视频流；所述视频流包括多张连续图像；步骤S4：将所述视频流输入至部署在英伟达开发板上的最终目标检测模型进行目标检测，输出目标检测结果。2.根据权利要求1所述的于无人机与英伟达开发板的轻量级目标检测方法，其特征在于，所述利用训练集对改进型YOLO v4
‑
tiny模型进行训练，获得最终目标检测模型，具体包括：步骤S21：将数据集PascalVOC、数据集MS COCO和数据集Visdron中任意一个作为训练集时，则训练集中的图像输入至改进型YOLO v4
‑
tiny模型进行训练，利用总损失函数计算损失值，直至满足第一终止条件，选取最小损失值或最大准确度对应的改进型YOLO v4
‑
tiny模型作为最终目标检测模型。3.根据权利要求1所述的于无人机与英伟达开发板的轻量级目标检测方法，其特征在于，所述利用训练集对改进型YOLO v4
‑
tiny模型进行训练，获得最终目标检测模型，具体包括：步骤S21：将数据集PascalVOC、数据集MS COCO和数据集Visdron中任意两个作为训练集时，则任意选取一个数据集中的图像输入至改进型YOLO v4
‑
tiny模型进行训练，利用总损失函数计算损失值，直至满足第一终止条件，选取最小损失值或最大准确度对应的改进型YOLO v4
‑
tiny模型作为第一目标检测模型；步骤S22：将另一个数据集中的图像输入至第一目标检测模型进行训练，利用总损失函数计算损失值，直至满足第二终止条件，选取最小损失值或最大准确度对应的第一目标检测模型作为最终目标检测模型。4.根据权利要求1所述的于无人机与英伟达开发板的轻量级目标检测方法，其特征在于，所述利用训练集对改进型YOLO v4
‑
tiny模型进行训练，获得最终目标检测模型，具体包括：步骤S21：将数据集PascalVOC、数据集MS COCO和数据集Visdron构成训练集时，则数据集PascalVOC中的图像输入至改进型YOLO v4
‑
tiny模型进行训练，利用总损失函数计算损失值，直至第一满足终止条件，选取最小损失值或最大准确度对应的改进型YOLO v4
‑
tiny模型作为第一目标检测模型；步骤S22：将数据集MS COCO中的图像输入至第一目标检测模型进行训练，利用总损失函数计算损失值，直至满足第二终止条件，选取最小损失值或最大准确度对应的第一目标检测模型作为第二目标检测模型；步骤S23：将数据集Visdron中的图像输入至第二目标检测模型进行训练，利用总损失函数计算损失值，直至满足第三终止条件，选取最小损失值或最大准确度对应的第二目标检测模型作为最终目标检测模型。
5.根据权利要求2
‑
4任一项所述的于无人机与英伟达开发板的轻量级目标检测方法，其特征在于，所述总损失函数的具体计算公式为：其中，L为总损失函数，L
DIOU
为定位损失函数，L
cls
为目标置信度损失函数，L
class
为分类损失函数，ρ(B,B
gt
)为对无人机图像预测框B中心点与真实框B
gt
中心点的欧氏距离，c为无人机图像的预测框与真实框相距最远的顶点的距离，IOU为预测框和真实框的交并比。6.根据权利要求1所述的于无人机与英伟达开发板的轻量级目标检测方法，其特征在于，所述第一沙漏型池化模块包含1个沙漏型CSPNet模块和1个最大池化层；其中沙漏型CSPNet模块包括：2个膨胀率为5的膨胀卷积层、2个卷积层、特征融合层add和特征融合层Concat；第2个卷积层采用1*1的卷积核，步长为1，滤波器数量为32；初始卷积模块与第1个膨胀卷积层连接，第1个膨胀卷积层分别与第1个卷积层和特征融合层Concat连接，第1个卷积层与第2个卷积层连接，第2个卷积层与和第1个卷积层分别与特征融合层add连接，特征融合层add与第2个膨胀卷积层连接，第2个膨胀卷积层与特征融合层Concat连接，特征融合层Concat与最大池化层...

【专利技术属性】
技术研发人员：王冠博，丁洪伟，杨志军，柳虔林，杨俊东，杨超，
申请(专利权)人：云南大学，
类型：发明
国别省市：