一种基于深度学习的夜间车辆检测方法技术

本发明专利技术公开了一种基于深度学习的夜间车辆检测方法，包括以下步骤：(1)在训练阶段，对训练数据集进行增广，然后将增广后的数据集输入到两种神经网络中，分别得到模型M1和M3，同时将未增强的原始数据集继续用来训练两种神经网络中的一种得到模型M2，本发明专利技术提供了一种基于深度学习的夜间车辆检测方法，为避免低光照场景下车辆检测的局限，解决了部分特征不易提取；其他光源的干扰导致目标与背景区分不明显；拍摄设备曝光不均匀导致一些细节信息丢失的问题。

A night vehicle detection method based on deep learning

【技术实现步骤摘要】
一种基于深度学习的夜间车辆检测方法
：本专利技术属于计算机视觉的目标检测
，涉及一种基于深度学习的夜间车辆检测的方法，特别涉及一种将YOLOv3和FasterR-CNN进行多模型融合的目标检测方法。
技术介绍
：智能交通系统中的智能驾驶技术在近年来得以蓬勃发展。车辆的检测是智能驾驶环境感知的重要组成部分。大约三分之一的交通事故是由于车辆追尾造成的，其中夜间的交通事故率比白天高大约1-1.5倍。而过去关于车辆检测的研究主要侧重于光照条件良好的场景。因此，利用深度学习的方法来实现对夜间车辆的检测是智能驾驶中的关键技术。目前，特征—分类器的组合方法是车辆检测领域常用的方法。比如HOG特征和SVM分类器组合以及Haar-like特征和Adaboost分类器组合是使用频率比较高的检测框架。然而对于夜间的特殊场景,这类目标检测方法的召回率和鲁棒性并不理想。这主要是因为(1)物体在低光照场景下部分特征会被隐藏导致不易提取；(2)由于其他光源的干扰，目标与背景在颜色、边缘和纹理上区分不明显导致误检；(3)拍摄设备本身的缺陷，如曝光不均匀，会导致目标的一些细节信息丢失。
技术实现思路
：本专利技术的目的是克服现有技术在夜间车辆检测领域存在的缺陷而提供一种基于深度学习的夜间车辆检测的方法，为了实现本专利技术的目的，通过以下技术方案来实现：一种基于深度学习的夜间车辆检测方法，包括以下步骤：(1)在训练阶段，对训练数据集进行增广，然后将增广后的数据集输入到两种神经网络中，分别得到模型M1和M3，同时将未增强的原始数据集继续用来训练两种神经网络中的一种得到模型M2；(2)利用适用于低光照环境下的图像增强算法对测试数据集进行预处理；(3)在检测阶段，将(2)中预处理后的测试数据集输入到(1)中三个训练好的模型中，利用一种结合算法将三个模型结合成一个集成的强检测模型，最后输出初步检测结果；(4)根据置信度和交并比(IoU，IntersectionoverUnion)对(3)中输出的结果进行打分，利用Soft-NMS算法去除上述初步检测结果中的冗余的检测框。在优选的实施方案中，步骤(1)中的数据集增广采用了两种夜间图像增强算法，在模型训练时还对图片进行了不同角度的翻转以及根据HSV颜色模型对亮度、色度和饱和度等进行调节来增加样本的多样性。在优选的实施方案中，两种神经网络采用的是YOLOv3和FasterR-CNN，增强后的数据集分别用来训练YOLOv3和FasterR-CNN得到模型M1和M3，原始数据集用来训练YOLOv3得到模型M2。在优选的实施方案中，步骤(2)中用于数据预处理的图像增强算法采用的是BIMEF，所述的步骤(3)中的结合算法具体包含以下步骤：(3.1)将图片同时输入到三个训练好的预测模型M1、M2、M3中，对于每张图片，三个模型会分别输出若干个预测的目标车辆信息分别记为D1、D2、D3信息，输出的每个车辆信息包括预测的置信度P和车辆的坐标信息C。(3.2)设置一个较高的置信度阈值α，对于D1、D2、D3中预测的置信度P，如果存在P<α，则认为预测到的目标车辆是误检，将其从对应的D1、D2、D3中去除掉，D1、D2、D3经过此条件过滤后的结果拥有更高的准确度，并分别记为R1、R2、R3。(3.3)R1和R2中的若干个预测目标的坐标信息分别记为X1,X2,…,Xi,…和Y1,Y2,…,Yi,…，然后计算X1与Y1的IoU，记X1与Y1的IoU为k1，设置一个较大的IoU阈值I，如果k1小于I，则继续计算X1与Y2的IoU记为k2，同样地k2与I进行比较，依次进行下去计算ki，一旦发现ki>I，立即终止X1与剩下Y的IoU计算，此时认为X1与Yi对应的目标大概率为预测的同一、真实的目标，此时，将X1对应的目标信息输入到R1和R2合并后的结果R1-2中，同时从R2中去除掉Yi对应的目标，在上述的比较过程中，如果X1穷尽所有与Y1(Y2,…,Yi,…)的IoU计算发现k值均小于I，则认为X1对应的目标大概率为误检，此时开始新一轮X2与Y1,Y2,…,Yi,…的IoU计算和比较，依次进行下去，直到比较完最后一个X，最后得到R1和R2合并后的结果R1-2，R1-2与R1和R2相比误检率更小。(3.4)运用相似的合并方法将R3和R1-2合并得到最后的结果R，与(3.3)不同的是，此时设置的IoU阈值v较小，当R3中Xi与R1-2中的目标计算所得的所有IoU值ki(i＝1,2,……)都小于v时，那么R3中Xi对应的预测目标大概率是R1-2中漏检的真实目标，因此将Xi对应的目标添加到R1-2中，然后开始新一轮的X(i+1)计算和比较，而一旦发现某个ki大于v时，那么Xi与R1-2中对应的该目标很可能是同一目标，此时终止计算，然后开始新一轮的X(i+1)计算和比较，依次执行下去，最后得到的R1-2即为合并后的结果R，与R3和R1-2相比，R具有更高的召回率。在优选的实施方案中，步骤(4)中采用Soft-NMS算法进一步去除(3)中所得结果R中冗余的检测框，根据置信度对R中的目标框进行排序，将置信度最高的目标框B从集合R中取出放入最终的检测集合F中；然后从排好序的集合R中按顺序取出剩下的目标框B1并分别计算与B的交并比，如果计算的结果大于设定的阈值Nt，则降低目标框B1的置信度，否则的话将B1也放入集合F中；最后重复前面两个过程直到集合R为空，输出最后的检测结果集合F。与现有技术相比，本专利技术的有益效果如下：1.本专利技术提供了一种基于深度学习的夜间车辆检测方法，为避免低光照场景下车辆检测的局限，解决了部分特征不易提取；其他光源的干扰导致目标与背景区分不明显；拍摄设备曝光不均匀导致一些细节信息丢失的问题。2.本专利技术设计了一种集成算法结合了两种神经网络各自的优势，又借助了夜间图像增强等方法完成训练阶段的数据增广和检测阶段的数据预处理工作，最后经过Soft-NMS算法处理后输出结果。附图说明：附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1为本专利技术实施例的流程总图；图2为本专利技术实施例的实验环境配置；图3为本专利技术实施例中BIMEF预处理前后的对比效果图；图4为本专利技术实施例中多个模型结合算法流程图；图5为本专利技术实施例中采用Soft-NMS算法前存在冗余框的情况；图6为本专利技术实施例中检测结果准确度--召回率曲线对比图；图7-9为本专利技术实施例在多种场景下的检测效果示例图。具体实施方式：本示例采用的数据集是SunYat-senUniversityNight-timeVehicleDataset。该数据集包含5576张图片，里面车俩数目超过12000。数据集包含高速公路、国道、居民区、隧道等多种场景。其中5176张图片用于训练集，剩下的400张用作测试集。测试集本文档来自技高网...

【技术保护点】
1.一种基于深度学习的夜间车辆检测方法，其特征在于，包括以下步骤：/n(1)在训练阶段，对训练数据集进行增广，然后将增广后的数据集输入到两种神经网络中，分别得到模型M1和M3，同时将未增强的原始数据集继续用来训练两种神经网络中的一种得到模型M2；/n(2)利用适用于低光照环境下的图像增强算法对测试数据集进行预处理；/n(3)在检测阶段，将(2)中预处理后的测试数据集输入到(1)中三个训练好的模型中，利用一种结合算法将三个模型结合成一个集成的强检测模型，最后输出初步检测结果；/n(4)根据置信度和交并比对(3)中输出的结果进行打分，利用Soft-NMS算法去除上述初步检测结果中的冗余的检测框。/n

【技术特征摘要】
1.一种基于深度学习的夜间车辆检测方法，其特征在于，包括以下步骤：
(1)在训练阶段，对训练数据集进行增广，然后将增广后的数据集输入到两种神经网络中，分别得到模型M1和M3，同时将未增强的原始数据集继续用来训练两种神经网络中的一种得到模型M2；
(2)利用适用于低光照环境下的图像增强算法对测试数据集进行预处理；
(3)在检测阶段，将(2)中预处理后的测试数据集输入到(1)中三个训练好的模型中，利用一种结合算法将三个模型结合成一个集成的强检测模型，最后输出初步检测结果；
(4)根据置信度和交并比对(3)中输出的结果进行打分，利用Soft-NMS算法去除上述初步检测结果中的冗余的检测框。


2.根据权利要求1所述的基于深度学习的夜间车辆检测方法，其特征在于，步骤(1)中的数据集增广采用了两种夜间图像增强算法，在模型训练时还对图片进行了不同角度的翻转以及根据HSV颜色模型对亮度、色度和饱和度等进行调节来增加样本的多样性。


3.根据权利要求1所述的基于深度学习的夜间车辆检测方法，其特征在于，两种神经网络采用的是YOLOv3和FasterR-CNN，增强后的数据集分别用来训练YOLOv3和FasterR-CNN得到模型M1和M3，原始数据集用来训练YOLOv3得到模型M2。


4.根据权利要求1所述的基于深度学习的夜间车辆检测方法，其特征在于，步骤(2)中用于数据预处理的图像增强算法采用的是BIMEF，所述的步骤(3)中的结合算法具体包含以下步骤：
(3.1)将图片同时输入到三个训练好的预测模型M1、M2、M3中，对于每张图片，三个模型会分别输出若干个预测的目标车辆信息分别记为D1、D2、D3信息，输出的每个车辆信息包括预测的置信度P和车辆的坐标信息C。
(3.2)设置一个较高的置信度阈值α，对于D1、D2、D3中预测的置信度P，如果存在P<α，则认为预测到的目标车辆是误检，将其从对应的D1、D2、D3中去除掉，D1、D2、D3经过此条件过滤后的结果拥有更高的准确度，并分别记为R1、R2、R3；
(3.3)R1和R2中的若干...

【专利技术属性】
技术研发人员：肖德贵，胡忆平，
申请(专利权)人：湖南大学，
类型：发明
国别省市：湖南;43