无人机遥感多光谱影像的车辆实时检测方法、检测系统技术方案

本发明专利技术属于图像识别技术领域，公开了无人机遥感多光谱影像的车辆实时检测方法、检测系统。获取多波段影像并进行分割，得到多个分割子影像，将多个分割子影像进行超分辨率重建并获取重建后影像，将重建后影像的车辆目标进行人为标注，获得车辆数据集；将获得的车辆数据集划分为训练组和测试组；将所述训练组输入初始YOLOV5图像识别模型中进行训练，得到目标YOLOV5图像识别模型。本发明专利技术对初始锚框参数进行修正，使其适应无人机遥感多光谱影像中车辆目标的尺寸大小；在主干网络中增加轻量级注意力机制网络，提升车辆目标的有用特征，并抑制其无关特征；在检测网络中，使用WBF算法，改善了计数不准确的情况。了计数不准确的情况。了计数不准确的情况。

【技术实现步骤摘要】
无人机遥感多光谱影像的车辆实时检测方法、检测系统


[0001]本专利技术属于图像识别
，尤其涉及无人机遥感多光谱影像的车辆实时检测方法、检测系统。

技术介绍

[0002]随着经济与科技的迅速发展，车辆数量逐渐增加，交通拥堵已成为公路交通领域中的难题，如何实现实时准确的车辆检测，解决交通拥堵已成为一个亟待解决的问题。由于无人机灵活、高效、可移动性强的特性，且4波段的遥感多光谱影像相较于RGB影像包含更加丰富的影像信息，使用无人机航拍的遥感多光谱影像进行车辆检测，在及时掌握交通信息、了解车辆分布情况方面具有较大的优势，有助于对车流量的管理、调度以及交通拥堵情况的排查与预测。
[0003]无人机遥感多光谱影像车辆检测存在以下技术缺陷：(1)因无人机成像设备航拍的影像分辨率较低，无法满足实际车辆检测的需求；(2)无人机遥感多光谱影像中存在车辆尺寸较小的目标，依经验设置的锚框尺寸无法与之匹配，使其较难检测，导致漏检与误检现象；(3)检测模型结构较为复杂，检测较多类别时，运算复杂度高，检测速度慢，无法进行实时检测，且对硬件设备要求较高。
[0004]再者，基于遥感影像的车辆检测方法可分为三类：基于光谱或几何结构特征进行车辆检测、传统机器学习方法以及深度学习方法。(1)基于光谱或几何结构特征进行车辆检测的常用方法包括阈值分割法、梯度比较法等。(2)传统机器学习方法通过梯度方向直方图(Histogram of Oriented Gradient,HOG)等方法对车辆目标进行检测。(3)基于深度学习的车辆检测算法可分为两类：一类是基于区域提取的车辆检测算法，具有代表性的算法有：R
‑
CNN、Fast R
‑
CNN、Faster R
‑
CNN、Mask R
‑
CNN等。另一类为基于端到端的车辆检测算法，具有代表性的算法有：YOLO(You Only Look Once)、SSD(Single Shot MultiBox Detector)等。
[0005]以上现有技术存在的技术缺陷有：现有技术两种方法多为静态图像的检测。基于光谱或几何结构特征进行车辆检测检测精度较差，鲁棒性不强。传统机器学习方法大多依靠人工进行特征提取，不一定能够符合多样性变化，且在遮挡情况下，检测效果不佳，漏检、误检现象较多，其鲁棒性与普适性较差。现有技术深度学习方法虽然视频与静态图像均可检测，但基于区域提取的检测算法无法满足实时性的要求；基于端到端的检测算法检测精度较低。

技术实现思路

[0006]为克服相关技术中存在的问题，本专利技术公开实施例提供了无人机遥感多光谱影像的车辆实时检测方法、检测系统；尤其涉及一种基于超分辨率重建的无人机遥感多光谱影像的车辆实时检测方法。
[0007]所述技术方案如下：基于超分辨率重建的无人机遥感多光谱影像的车辆实时检测
方法包括如下步骤：
[0008]S1、获取多波段影像并进行分割，得到多个分割子影像，将多个分割子影像进行超分辨率重建并获取重建后影像，将重建后影像的车辆目标进行标注，获得车辆数据集；
[0009]S2、将获得的车辆数据集划分为训练组和测试组；
[0010]S3、将所述训练组输入到初始YOLOV5图像识别模型中进行训练，得到目标YOLOV5图像识别模型；
[0011]S4、将所述测试组输入到所述目标YOLOV5图像识别模型中，测试所述目标YOLOV5图像识别模型对目标车辆的识别能力，进行车辆的实时检测。
[0012]在步骤S1中，所述多波段影像为待识别场景的四张图像经合并后的影像。
[0013]在一个实施例中，所述四张图像包括：近红波段单光谱图像、红波段单光谱图像、蓝波段单光谱图像和绿波段单光谱图像。
[0014]在步骤S1中，将多个分割子影像进行超分辨率重建并获取重建后影像，具体包括如下步骤：
[0015]S1
‑
1，使用两个3
×
3的卷积层，对所述分割子影像进行浅层特征提取，得到浅层特征图；
[0016]S1
‑
2，对所述浅层特征图进行分割后重新组合，得到深层特征图；
[0017]S1
‑
3，将所述浅层特征图和所述深层特征图进行特征聚合，得到聚合特征图；
[0018]S1
‑
4，采用3
×
3的反卷积层对所述聚合特征图进行上采样，采用3
×3×
64和3
×3×
1的卷积核对所述聚合特征图进行深度映射，得到重建后影像。
[0019]在步骤S3中，将所述训练组输入到初始YOLOV5图像识别模型中进行训练，得到目标YOLOV5图像识别模型，包括如下步骤：
[0020]S3
‑
1，利用K
‑
means算法计算所述训练组中若干重建后影像人工标注锚框的长宽比，对所述初始YOLOV5图像识别模型中的锚框参数进行修正，得到锚框参数修正后的YOLOV5图像识别模型；
[0021]S3
‑
2，将所述训练组输入锚框参数修正后的YOLOV5图像识别模型中，对锚框参数修正后的YOLOV5图像识别模型进行训练，提取所述训练组中若干重建后影像的各车辆目标特征信息并进行融合；
[0022]S3
‑
3，根据融合的特征信息在各车辆目标上标注锚框，通过与人工标注的锚框进行对比，计算人工标注锚框与模型标注锚框之间的差距，再反向更新，迭代网络参数，得到目标YOLOV5图像识别模型。
[0023]在步骤S3
‑
2中，所述提取所述训练组中若干重建后影像的各车辆目标特征信息并进行融合，具体包括如下步骤：
[0024](a)对所述训练组中各目标车辆的多种特征按照重要程度进行赋权；
[0025](b)对多种特征信息按照赋权后的权重通过乘法进行加权，提升各车辆目标的有用特征，并抑制各车辆目标的无关特征；其中，所述有用特征包括类别特征和尺寸特征，所述无关特征包括颜色特征和方向特征；
[0026](c)将各车辆目标的特征信息进行提取。
[0027]在步骤S4中，测试所述目标YOLOV5图像识别模型对目标车辆的识别能力，具体包括如下步骤：
[0028]在测试组若干重建后影像的车辆目标上，生成若干含有位置与得分的第一预测框，利用加权框融合WBF算法对车辆目标上的若干第一预测框进行合并，得到最后的预测结果后，在所述测试组若干重建后影像的车辆目标上生成唯一的第二预测框。
[0029]在一个实施例中，所述生成唯一的第二预测框包括：
[0030]通过公式(1)和公式(2)计算各目标车辆上所述若干含有位置与得分第一预测框，合并所述第二预测框各顶点的横、纵坐标；
[0031][0032][0033]其中，M表示所述测试组若干重建后影像中具有的X个目标车辆中某一目标车辆的编号；Y表示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于超分辨率重建的无人机遥感多光谱影像的车辆实时检测方法，其特征在于，该方法包括如下步骤：S1、获取多波段影像并进行分割，得到多个分割子影像，将多个分割子影像进行超分辨率重建并获取重建后影像，将重建后影像的车辆目标进行标注，获得车辆数据集；S2、将获得的车辆数据集划分为训练组和测试组；S3、将所述训练组输入到初始YOLOV5图像识别模型中进行训练，得到目标YOLOV5图像识别模型；S4、将所述测试组输入到所述目标YOLOV5图像识别模型中，测试所述目标YOLOV5图像识别模型对目标车辆的识别能力，进行车辆的实时检测。2.根据权利要求1所述的基于超分辨率重建的无人机遥感多光谱影像的车辆实时检测方法，其特征在于，在步骤S1中，所述多波段影像为待识别场景的四张图像经合并后的影像。3.根据权利要求2所述的基于超分辨率重建的无人机遥感多光谱影像的车辆实时检测方法，其特征在于，所述四张图像包括：近红波段单光谱图像、红波段单光谱图像、蓝波段单光谱图像和绿波段单光谱图像。4.根据权利要求1所述的基于超分辨率重建的无人机遥感多光谱影像的车辆实时检测方法，其特征在于，在步骤S1中，将多个分割子影像进行超分辨率重建并获取重建后影像，具体包括如下步骤：S1
‑
1，使用两个3
×
3的卷积层，对所述分割子影像进行浅层特征提取，得到浅层特征图；S1
‑
2，对所述浅层特征图进行分割后重新组合，得到深层特征图；S1
‑
3，将所述浅层特征图和所述深层特征图进行特征聚合，得到聚合特征图；S1
‑
4，采用3
×
3的反卷积层对所述聚合特征图进行上采样，采用3
×3×
64和3
×3×
1的卷积核对所述聚合特征图进行深度映射，得到重建后影像。5.根据权利要求1所述的基于超分辨率重建的无人机遥感多光谱影像的车辆实时检测方法，其特征在于，在步骤S3中，将所述训练组输入到初始YOLOV5图像识别模型中进行训练，得到目标YOLOV5图像识别模型，包括如下步骤：S3
‑
1，利用K
‑
means算法计算所述训练组中若干重建后影像人工标注锚框的长宽比，对所述初始YOLOV5图像识别模型中的锚框参数进行修正，得到锚框参数修正后的YOLOV5图像识别模型；S3
‑
2，将所述训练组输入锚框参数修正后的YOLOV5图像识别模型中，对锚框参数修正后的YOLOV5图像识别模型进行训练，提取所述训练组中若干重建后影像的各车辆目标特征信息并进行融合；S3
‑
3，根据融合的特征信息在各车辆目标上标注锚框，通过与人工标注的锚框进行对比，计算人工标注锚框与模型标注锚框之间的差距，再反向更新，迭代网络参数，得到目标YOLOV5图像识别模型。6.根据权利要求5所述的基于超分辨率重建的无人机遥感多光谱影像的车辆实时检测方法，其特征在于，在步骤S3
‑
2中，所述提取所述训练组中若干重建后影像的各车辆目标特征信息并进行融合，具体包括如下步骤：
(a)对所述训练组中各目标车辆的多种特征按照重要程度进行赋权；(b)对多种特征信息按照赋权后的权重通过乘法进行加权，提升各车辆目标的有用特征，并抑制各车辆目标的无关特征；其中，所述有用特征包括类别特征和尺寸特征，所述无关特征包括颜色特征和方向特征；(c)将各车辆目标的特征信息进行提...

【专利技术属性】
技术研发人员：张文豪，范江霞，余涛，钟林汕，刘其悦，
申请(专利权)人：北华航天工业学院，
类型：发明
国别省市：