一种基于深度学习的道路车辆检测与跟踪方法技术

本申请公开了一种基于深度学习的道路车辆检测与跟踪方法，通过采集实际路口包含交通目标的图片，之后对数据进行标注处理，制作自有数据集；车辆检测模块引入CBM模块，提出ALCSP模块，进一步使用轻量化卷积，并使用Soft

【技术实现步骤摘要】
一种基于深度学习的道路车辆检测与跟踪方法


[0001]本专利技术属于车辆检测
，特别是涉及一种基于深度学习的道路车辆检测与跟踪方法。

技术介绍

[0002]在实际应用中，通过交叉口监控设备采集历史交通数据，从路口的监控视频数据实现目标检测和跟踪任务，之后进行处理得到车流量的统计信息，为实际交通控制提供数据决策支撑。在实际应用中，由于监控视频数据的良莠不齐，以及在拥堵等场景下，现有算法在检测精度和检测速度等方面难以满足实际应用的要求。
[0003]传统的车辆检测与跟踪任务多采用机器学习的方法实现，依赖于人工提取特征，在实际的复杂的道路场景下，精度和速度都不满足实际需求。深度学习经过多年的发展，随着硬件设备算力和存储技术的发展，使得复杂模型的落地成为现实。基于深度学习的目标检测和跟踪算法在众多领域得到了应用，该类算法具有节省时间成本，可靠性高，以及较高的检测精度，因此说，基于深度学习的交通目标检测和跟踪技术具有极高的应用价值。

技术实现思路

[0004]本专利技术目的在于解决实际道路场景下，现有的视觉算法在车辆拥堵、人车混行等复杂场景下存在精度降低，同时现有模型在尺寸上难以满足实际部署需要的问题，提出了基于YOLOv5目标检测算法与Deep SORT跟踪算法的改进算法，实现对实际道路中车辆的识别与跟踪任务。
[0005]为了实现本专利技术目的，本专利技术通过对检测算法与跟踪算法进行改进，基于实际的道路场景特殊性，复杂性，公开了一种基于深度学习的道路车辆检测与跟踪方法，车流监测系统包括车辆检测模块、车辆跟踪模块以及检测线模块；车辆检测模块使用改进的YOLOv5目标检测算法实现对车辆目标的检测，之后车辆跟踪模块使用改进的Deep SORT跟踪算法实现对车辆的跟踪，当跟踪车辆通过设置的检测线模块，即可实现对车流信息的感知，具体包括以下步骤：
[0006]步骤1、获取实际道路下包含车辆的图片，对原始图像进行标注和数据扩充预处理，并划分数据为训练集和验证集；
[0007]步骤2、对YOLOv5目标检测算法主干网络部分进行改进，引入CBM层，CBM层是指由卷积层、BN层和Mish激活函数组成的特征提取单元，用于提升模型的迭代优化速度；提出ALCSP层，ALCSP层以空间注意力机制模块和卷积层为基础，通过引入CBAM空间注意力模块，用于提升对不同尺寸特征图信息融合的能力；进一步使用MobileNet轻量化卷积，使得模型尺寸减少；最终在ALSCP层的输出阶段，增加CBM层，提升网路的的非线性表达能力；针对在交通目标检测任务，交通目标漏检的问题，使用Soft
‑
NMS来过滤候选框，据此构建改进的YOLOv5网络模型，用于预测车辆信息；
[0008]步骤3、使用步骤1得到的训练集，训练改进的YOLOv5网络模型，直到模型收敛，得
到车辆检测模块；
[0009]步骤4、对Deep SORT多目标跟踪算法改进；在卡尔曼滤波算法中增加速度参数分量和使用GIOU提高预测框的精度，优化跟踪的性能；据此构建改进Deep SORT车辆跟踪算法，用于跟踪实际车辆运动信息；
[0010]步骤5、使用步骤1得到的训练集，训练改进的YOLOv5网络模型，得到车辆外观提取特征的卷积网络，直到模型收敛，得到车辆跟踪模块；
[0011]步骤6、根据实际交通视频的角度和高度，设置检测线模块位置，将实际交通视频数据输入改进后车流监测系统，完成车流监测任务。
[0012]进一步地，步骤1具体方法为：
[0013]步骤1
‑
1、通过对实际道路的视频处理，通过Ffmpeg工具将视频跳帧切割实际包含车辆的图片；
[0014]步骤1
‑
2、对图片进行数据标注，包括目标类别以及目标包围框信息，其中目标类别为车辆和行人，目标包围框为图片中的目标的最小外接矩形框；
[0015]步骤1
‑
3、对原始图片进行数据预处理，使用Mosaic数据增强方法，该方法是通过数据拼接多个数据集，提升模型特征不明显目标的检测能力，同时进一步减小模型对存储的需求；
[0016]步骤1
‑
4、将处理后的自制数据集混合，按照8：2的比例划分训练集和验证集，验证集不参与模型的训练，仅做模型的验证。
[0017]进一步地，步骤2具体方法为：
[0018]步骤2
‑
1、神经网络模块设计，改进的YOLOv5模型包括特征提取模块和特征融合模块，将实际的道路图片经过特征提取模块处理，输出包含不同语义的特征信息，在特征提取模块将不同层次的特征进行融合，最终得到四种尺寸的特征信息输出，之后进入后处理阶段，对输出的特征图进行过滤，得到实际的检测结果；
[0019]步骤2
‑
2、特征提取模块设计，特征提取模块包括FOCUS层、CBM层、ALCSP层、SPP层；输入图像首先经过单层FOCUS层，之后通过由CBM层和ALCSP层串联堆叠的模块，该模块有2层，得到浅层特征X1；浅层特征X1依次经过第3个CBM层和第3层ALCSP层串联的模块，得到进一步的特征X2；将特征X2依次经过第4个CBM层、SPP层、第4个ALCSP层，得到深层特征X3；
[0020]步骤2
‑
3、特征融合模块设计，特征融合模块包括上采样层、拼接层、CBM层以及ALCSP层；将特征X3经过第5个ALCSP层得到特征X4；特征X4通过第1个上采样层后与特征X2经过第1个拼接层得到特征X5；特征X5依次经过第5个ALCSP层、第6个CBM层，得到进一步融合特征X6；进一步将融合特征X6特征经过上采样层和浅层特征X1经过第2个拼接层融合，得到特征X7；将特征X7输入第6个ALCSP层得融合特征X8，将特征X7经过第7个CBM层后与特征X6输入到第3个拼接层，得到输出与第8个CBM层进一步拼接，得到融合特征X9；将第3个拼接层的输出和第8个的CBM层特征X4拼接，再通过第7个ALCSP层进一步特征提取，得到最终融合特征X
10
；4种不同尺寸的融合特征X6、X8、X9、X
10
。
[0021]进一步地，CBM层的组成单元为卷积层、BN层和Mish激活函数层；在CBM层中，输入依次经过不同大小的卷积层和BN层和Mish激活函数层，目的是提取特征和对特征归一化处理，加快模型的收敛；在检测算法中，使用两种不同尺度的CBM层，区别在于卷积层的卷积尺寸不同；
[0022]ALCSP层是特征提取模块的核心，ALCSP层融合CBM层和CA注意力机制，同时使用MobileNet轻量化卷积来减小模型尺寸，将输入特征分为两路经过ALCSP层，第1路只经过卷积层，第2路经过CBM层、MobileNet轻量化卷积层和卷积层，将两路的特征输出经过拼接层，之后进一步BN层、Mish层和CBM层进一步处理，得到输出特征。
[0023]进一步地，步骤3具体方法为：使用K
‑
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的道路车辆检测与跟踪方法，其特征在于，车流监测系统包括车辆检测模块、车辆跟踪模块以及检测线模块；所述车辆检测模块使用改进的YOLOv5目标检测算法实现对车辆目标的检测，之后车辆跟踪模块使用改进的DeepSORT跟踪算法实现对车辆的跟踪，当跟踪车辆通过设置的检测线模块，即可实现对车流信息的感知，具体包括以下步骤：步骤1、获取实际道路下包含车辆的图片，对原始图像进行标注和数据扩充预处理，并划分数据为训练集和验证集；步骤2、对YOLOv5目标检测算法主干网络部分进行改进，引入CBM层，所述CBM层是指由卷积层、BN层和Mish激活函数组成的特征提取单元，用于提升模型的迭代优化速度；提出ALCSP层，所述ALCSP层以空间注意力机制模块和卷积层为基础，通过引入CBAM空间注意力模块，用于提升对不同尺寸特征图信息融合的能力；进一步使用MobileNet轻量化卷积，使得模型尺寸减少；最终在ALSCP层的输出阶段，增加CBM层，提升网路的的非线性表达能力；针对在交通目标检测任务，交通目标漏检的问题，使用Soft
‑
NMS来过滤候选框，据此构建改进的YOLOv5网络模型，用于预测车辆信息；步骤3、使用步骤1得到的训练集，训练改进的YOLOv5网络模型，直到模型收敛，得到车辆检测模块；步骤4、对DeepSORT多目标跟踪算法改进；在卡尔曼滤波算法中增加速度参数分量和使用GIOU提高预测框的精度，优化跟踪的性能；据此构建改进Deep SORT车辆跟踪算法，用于跟踪实际车辆运动信息；步骤5、使用步骤1得到的训练集，训练改进的YOLOv5网络模型，得到车辆外观提取特征的卷积网络，直到模型收敛，得到车辆跟踪模块；步骤6、根据实际交通视频的角度和高度，设置检测线模块位置，将实际交通视频数据输入改进后车流监测系统，完成车流监测任务。2.根据权利要求1所述的一种基于深度学习的道路车辆检测与跟踪方法，其特征在于，步骤1具体方法为：步骤1
‑
1、通过对实际道路的视频处理，通过Ffmpeg工具将视频跳帧切割实际包含车辆的图片；步骤1
‑
2、对图片进行数据标注，包括目标类别以及目标包围框信息，其中目标类别为车辆和行人，目标包围框为图片中的目标的最小外接矩形框；步骤1
‑
3、对原始图片进行数据预处理，使用Mosaic数据增强方法，该方法是通过数据拼接多个数据集，提升模型特征不明显目标的检测能力，同时进一步减小模型对存储的需求；步骤1
‑
4、将处理后的自制数据集混合，按照8：2的比例划分训练集和验证集，所述验证集不参与模型的训练，仅做模型的验证。3.根据权利要求1所述的一种基于深度学习的道路车辆检测与跟踪方法，其特征在于，步骤2具体方法为：步骤2
‑
1、神经网络模块设计，改进的YOLOv5模型包括特征提取模块和特征融合模块，将实际的道路图片经过特征提取模块处理，输出包含不同语义的特征信息，在特征提取模块将不同层次的特征进行融合，最终得到四种尺寸的特征信息输出，之后进入后处理阶段，
对输出的特征图进行过滤，得到实际的检测结果；步骤2
‑
2、特征提取模块设计，所述特征提取模块包括FOCUS层、CBM层、ALCSP层、SPP层；输入图像首先经过单层FOCUS层，之后通过由CBM层和ALCSP层串联堆叠的模块，该模块有2层，得到浅层特征X1；浅层特征X1依次经过第3个CBM层和第3层ALCSP层串联的模块，得到进一步的特征X2；将特征X2依次经过第4个CBM层、SPP层、第4个ALCSP层，得到深层特征X3；步骤2
‑
3...

【专利技术属性】
技术研发人员：申明磊，张儒，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：