一种基于无人机的车辆实时检测方法技术

本发明专利技术涉及无人机目标检测技术领域，且公开了一种基于无人机的车辆实时检测方法，本方法是在Jetson tx2设备上进行测试，首先将训练好的模型转为onnx格式，然后使用TensoRT的API接口编写转化脚本，将onnx格式文件转为engine格式文件进行推理测试。该基于无人机的车辆实时检测方法是一种在Jetson TX2边缘运算设备上部署目标检测算法来进行无人机的车辆实时目标检测的技术，通过Ghost模块和Coordinate Attention注意力机制设计主干特征提取网络，既大幅降低主干模型部分的参数量，又在轻量化的基础上增强了主干网络提取特征信息的能力，整体相比于原本的YOLOv3模型保留了较高的检测精度，实现了边缘运算设备检测速度与检测精度很好的平衡，达到对模型轻量化的目的。达到对模型轻量化的目的。达到对模型轻量化的目的。

【技术实现步骤摘要】
一种基于无人机的车辆实时检测方法


[0001]本专利技术涉及无人机目标检测
，具体为一种基于无人机的车辆实时检测方法。

技术介绍

[0002]无人机视角下的车辆目标实时检测是车辆跟踪、实时路况获取以及安全交通巡查等诸多应用领域的关键技术，对于智慧交通具有实际的研究意义和广泛的应用需求，传统的车辆检测方法多面向地面端服务器进行离线的车辆目标检测，此类方法首先控制无人机拍摄交通图像或者视频，然后地面端服务器运行车辆目标检测算法来进行识别检测，这种方法显然无法满足实时在线的车辆目标检测场景。
[0003]随着边缘运算设备的不断发展，一些带有GPU计算性能的边缘运算集成设备逐渐崭露头角，如大疆公司的妙算2
‑
G和EverFocus公司的eNVP
‑
JNX
‑
AI系列产品，其底层多是集成于NVIDIA Jetson TX2系列或者Jetson Xavier模组，这些边缘运算设备可以搭载在无人机上作为机载计算设备来完成相应的目标检测任务，以大疆公司的妙算2
‑
G为例，其处理器是NVIDIA Jetson TX2，内存是8GB，虽然具有GPU计算能力，但是处理器的计算性能相比于地面服务器的算力仍较为有限，目前常用的可以在地面端服务器上取得实时性目标检测的模型在边缘运算设备上并不能取得实时性检测的效果。
[0004]AliRohan等人将一阶段的目标检测方法SSD作为基础模型，并将其部署到嵌入式设备Jetson TX2组件中，实现对地面目标的检测与跟踪，其检测效果并未达到实时性检测的要求，焦振田等人通过采用模型层数浅的YOLOv3
‑
Tiny来部署无人机森林防火检测系统，虽然检测速度提升了，但是相比于YOLOv3，其检测精度下降明显，并未取得检测速度与检测精度之间较好的平衡，对于森林火灾检测场景，火势目标较大且特征明显，YOLOv3
‑
Tiny模型还可以适用，当应用于更为复杂的检测任务，如在无人机上开展车辆目标实时检测时，其模型检测能力将远远达不到要求，所以在基于无人机进行车辆实时检测场景上如何提升模型在此类边缘运算设备(如Jetson TX2)上的检测速度并保留较高的检测精度是本专利技术要解决的问题。

技术实现思路

[0005](一)解决的技术问题
[0006]针对现有技术的不足，本专利技术提供了一种基于无人机的车辆实时检测方法，相比现有模型具备可实时性在线检测并保留较高的检测精度等优势，解决了在无人机车辆检测场景上无法实时在线高效的完成车辆目标检测任务的问题。
[0007](二)技术方案
[0008]为实现上述实时在线的车辆目标检测目的，本专利技术提供如下技术方案：一种基于无人机的车辆实时检测方法，包括以下步骤：
[0009]步骤S1：构建主干特征提取网络的基本单元，基本单元包括基于两种不同步长的
Ghost模块瓶颈结构，当Stride为1时先经过一层Ghost模块增加通道数量，再经过一层Ghost模块减少通道数来匹配残差边，最后与残差边相加；
[0010]步骤S2：构建主干特征提取网络；其中，主干特征包括：Input，即输入特征图的尺寸；Operator，即每一层的卷积操作；Conv2d，即一次普通卷积；Ghost
‑
bneck，即步骤1中的Ghost模块瓶颈结构；exp，即通道扩展数，用于Ghost模块瓶颈结构中；cout，即每次Operator卷积操作输出的通道数；CA，即Coordinate Attention注意力机制模块；
[0011]步骤S3：构建基于无人机的车辆检测模型网络框架；该框架由四部分组成，分别是输入模块、主干特征提取网络、多尺度特征融合模块、分类与回归模块，输入模块用于对输入图像的预处理操作，在训练阶段对输入图像采用随机数据增强的方式，包括加灰度条、镜像翻转图像、色域变换，在预测和验证阶段只对图像进行缩放操作；
[0012]步骤S4：数据集的准备、模型训练和实际测试步骤：选择4类车辆作为检测目标，数据集按照8:2划分训练集和测试集；正式开始训练之前先对步骤S2中设计的主干特征提取网络进行预训练，采用ImageNet
‑
1K分类数据集，优化器采用Adam，损失函数采用CrossEntropyLoss交叉熵损失函数。
[0013]优选的，在步骤S1中，Stride为2时输入经过第一层Ghost模块后，进行步长为2的深度卷积DWConv，深度卷积将输入的宽高折半，再送给第二个Ghost模块，然后与下采样后的残差边相加。
[0014]优选的，在步骤S2中，CA模块用于Ghost bottleneck瓶颈在空间方向上学习远程通道依赖关系并保留精确的位置信息，进而使主干网络定位到感兴趣的信息，抑制无用信息，提升检测精度，CA注意力机制模块是在Ghost bottleneck瓶颈的第一个Ghost module模块之后添加，以LayerNum等于2为例，此时步长为2，那么CA注意力机制模块在第一个Ghost module模块之后，在深度卷积DWConv之前添加，整体上主干特征提取网络是一系列的Ghost module和Ghost bottleneck堆叠而成，其中分别在第8、12、16层提取三个不同尺度输出用于YOLOv3的后续多尺度特征融合。
[0015]优选的，在步骤S3中，在数据集训练开始前，会先通过K
‑
means算法对数据集进行聚类处理，输出9个先验框Anchor box，分别对应3种不同尺寸的目标，生成的先验框宽高数值用于最后分类与回归过程计算object的预测边界框。
[0016]优选的，在步骤S4中，正式训练也采用Adam优化器，初始学习率为1
×
10
‑
3，Batch_size设置为8，训练100个epoch。
[0017]优选的，在步骤S4中，车辆目标类型为car、van、truck和bus，其中car目标数有22327个，van目标数有12579个，truck目标数有7910个，bus目标数有4046个，总共有46862个标注目标，整个数据集中训练集是6249张图片，验证集是1562张图片。
[0018](三)有益效果
[0019]与现有技术相比，本专利技术提供了一种基于无人机的车辆实时检测方法，具备以下有益效果：
[0020]1、该基于无人机的车辆实时检测方法是一种在Jetson TX2边缘运算设备上部署目标检测算法来进行无人机的车辆实时目标检测的技术。通过Ghost模块和Coordinate Attention注意力机制设计主干特征提取网络，既大幅降低主干模型部分的参数量，又在轻量化的基础上增强了主干网络提取特征信息的能力，整体相比于原本的YOLOv3模型保留了
较高的检测精度，实现了边缘运算设备检测速度与检测精度很好的平衡。
[0021]2、该基于无人机的车辆实时检测本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无人机的车辆实时检测方法，其特征在于，包括以下步骤：步骤S1：构建主干特征提取网络的基本单元，基本单元包括基于两种不同步长的Ghost模块瓶颈结构，当Stride为1时先经过一层Ghost模块增加通道数量，再经过一层Ghost模块减少通道数来匹配残差边，最后与残差边相加；步骤S2：构建主干特征提取网络；其中，主干特征包括：Input，即输入特征图的尺寸；Operator，即每一层的卷积操作；Conv2d，即一次普通卷积；Ghost
‑
bneck，即步骤1中的Ghost模块瓶颈结构；exp，即通道扩展数，用于Ghost模块瓶颈结构中；cout，即每次Operator卷积操作输出的通道数；CA，即Coordinate Attention注意力机制模块；步骤S3：构建基于无人机的车辆检测模型网络框架；该框架由四部分组成，分别是输入模块、主干特征提取网络、多尺度特征融合模块、分类与回归模块，输入模块用于对输入图像的预处理操作，在训练阶段对输入图像采用随机数据增强的方式，包括加灰度条、镜像翻转图像、色域变换，在预测和验证阶段只对图像进行缩放操作；步骤S4：数据集的准备、模型训练和实际测试步骤：选择4类车辆作为检测目标，数据集按照8:2划分训练集和测试集，；正式开始训练之前先对步骤S2中设计的主干特征提取网络进行预训练，采用ImageNet
‑
1K分类数据集，优化器采用Adam，损失函数采用CrossEntropyLoss交叉熵损失函数。2.根据权利要求1所述的一种基于无人机的车辆实时检测方法，其特征在于，在步骤S1中，Stride为2时输入经过第一层Ghost模块后，进行步长为2的深度卷积DWConv，深度卷积将输入的宽高折半，再送给第二个Ghost模块，然后与下采样后的残差边相加。3.根据权...

【专利技术属性】
技术研发人员：刘文，陆小锋，方思凯，刘学锋，毛建华，
申请(专利权)人：上海大学温州研究院，
类型：发明
国别省市：