一种基于光流法和深度学习卷积神经网络的黑烟车检测方法技术

本发明专利技术的一种基于光流法和深度学习卷积神经网络的黑烟车检测方法，包括以下步骤：对于实时产生的待检测监控视频图片，使用训练好的检测模型进行检测，判断图片中是否存在黑烟；对于检测出存在黑烟的监控视频图片，标注出黑烟车位置所在的矩形边界框；与传统的人工设计先验框相比，本方案不再直接预测边界框的尺寸，而是在新的数据集中聚类得到先验框，更有利于对监控图片中目标的定位。与RCNN相比，本目标检测模型在进行检测时，将整张图像归一化后直接送入深度网络。在邻接时，才加入候选框信息，在末尾的少数几层处理每个候选框，故大大提升了模型的实时检测性能；此外，本目标检测模型把类别判断和位置精调统一用深度网络实现，不需要额外存储，大大缩减了训练时所需的空间。

【技术实现步骤摘要】
一种基于光流法和深度学习卷积神经网络的黑烟车检测方法
本专利技术涉及环境检测
，具体涉及一种基于光流法和深度学习卷积神经网络的黑烟车检测方法。
技术介绍
二十一世纪以来，我国的机动车数量快速增加，移动源带来的空气污染问题日益显著。城市地区汽油车保有量飞速增长，同时，城郊地区也存在大量排放黑烟的柴油车，造成了严重的环境污染问题。柴油车所排放的黑烟废气中含有约两百种不同的化合物，是造成细颗粒物、光化学烟雾污染的主要原因之一。综合考虑柴油车行驶里程和排放系数，一辆无法达到国三排放标准或更低排放标准的柴油车的氮氧化物和细颗粒物排放量，相当于两百多辆国四排放标准小轿车排放量之和，对环境产生的影污染极大。基于烟雾具有视觉模糊特性、半透明特性和扩散运动特性，许多专家学者针对烟雾检测提出了很多相关工作。翟文鹏等根据视频烟雾的颜色特征以及烟雾运动的扩散性，提出一种基于颜色特征和运动特征的视频烟雾探测方法：首先利用光流场法进行运动检测提取烟雾区域，然后对提取的烟雾区域进行烟雾运动相对稳定性分析和烟雾运动局部不规则分析，结合烟雾的颜色特征，在给定的阈值条件下进行烟雾检测。由于烟雾会遮挡图片的纹理和边缘，导致图片的高频信息减少，其主要反映在小波域的烟雾图片在小波高频能量会减少。基于这一特性，吴爱国等提出了利用混合高斯模型提取烟雾区域，然后对小波变化分析烟雾区域得到烟雾判别输出的静态特征和动态特征相结合的烟雾检测方法。以上传统的烟雾检测方法主要存在以下两点不足：(1)之前已开展的绝大多数研究工作都是针对森林火灾或者工厂烟囱排放烟雾的高空视角，其应用场景中的运动干扰物较少，背景相对固定，使之难以成为适用于各种场景的通用烟雾检测方法。例如本专利技术所涉及的复杂条件下交通道口监控摄像机工作场景，其中存在光照变化频繁剧烈，路面颜色灰暗，水渍污渍遍布，道路旁杂物较多，车辆间存在相互遮挡，烟羽轮廓面积多变等问题。传统烟雾检测算法所使用的基于经验阈值和实验统计阈值的人工特征提取方法，如人工设计建模烟雾的颜色特征、频域特征、纹理特征等，难以胜任如此复杂场景下的检测任务。(2)传统方法所涉及的机器学习算法的所有计算任务都只能部署CPU上进行，实时性很差，难以根据具体的应用场景进行特定优化以及支持GPU并行计算加速。
技术实现思路
本专利技术提出的一种基于光流法和深度学习卷积神经网络的黑烟车检测方法，用于克服传统烟雾检测算法的不足，提供了一种适用于复杂交通道口监控视频的实时烟雾检测算法。为实现上述目的，本专利技术采用了以下技术方案：一种基于光流法和深度学习卷积神经网络的黑烟车检测方法，包括以下步骤：步骤1：获取交通道口的监控视频，提取关键视频帧制作黑烟车样本数据集，在每一帧的监控图片中标注出柴油车附近黑烟车所在位置的矩形边界框。步骤2：构建目标检测模型，并对监控视频图片上标注的矩形边界框使用k-均值聚类算法，计算出包含黑烟柴油车的先验框。步骤3：利用监控视频图片和包含黑烟柴油车的先验框，对构建的目标检测模型进行训练，得到满足检测目的的模型。步骤4：对于实时产生的待检测监控视频图片，使用训练好的检测模型进行检测，判断图片中是否存在黑烟。步骤5：进一步地，对于检测出存在黑烟的监控视频图片，标注出黑烟车位置所在的矩形边界框。需要说明的是，针对采用监控视频图片构建的黑烟车样本数据集：将样本数据集中的监控视频图片分为训练集、验证集和测试集；在样本数据集中的监控视频图片中，用矩形框标注出黑烟柴油车的位置、其所排放黑烟的位置，并将矩形边界框的中心点坐标(x，y)、矩形边界框的宽w和矩形边界框的高h作为图片标签，用于存放存放原始图像中目标对象的坐标信息。将图片标签相对于所述监控图片尺寸批归一化到(0，1)之间，并将批归一化后的图片标签保存在与所述监控图片同名的xml格式文件中，其中，批归一化后的图片标签包括矩形边界框归一化后的中心点坐标、归一化后的宽度值和归一化后的高度值；若检测结果显示在所述监控图片中存在黑烟车，则将类别标签c定义为数字类别1；若检测结果显示在所述监控图片中不存在黑烟车，将类别标签c定义为数字类别-1；将图片标签和存储路径保存在与所述监控图片同名的txt文件中。进一步地，所述训练集、验证集和测试集中包含的监控图片的数量比例为8:1:1，所有监控图片中存在柴油黑烟车的图片数量和不存在柴油黑烟车的图片数量之比为1:1，其中：验证集中的监控视频图片用于对训练后的模型的性能进行验证；测试集中的监控视频图片用于对验证后的模型进行再次验证，以得到最终的目标检测模型。另外，针对所使用的目标检测模型的结构，其包括：骨干网络、区域候选网络、ROIpooling层、多任务损失函数边框回归。骨干网络的输入为任意尺寸的监控视频图片、输出为监控视频图片的特征图。区域候选网络的输入为监控视频图片的特征图，输出为为候选BBOX的位置，即该问题中感兴趣的区域(ROI)。ROIpooling层的输入是前面的特征图，以及RPN层输出的BBOX，形状为：1*5*1*1(4个坐标+索引index)；输出为mini-batch个向量，batch的值是ROI的个数，向量的长度为：channel*w*h。整个ROI的过程就是将这些proposal抠出来的过程，得到大小统一的特征图。而后检测层输出为包含分类结果、类别置信度和预测框坐标的特征向量。在利用监控视频图片和包含柴油黑烟车的先验框，对构建的目标网络模型进行训练之前，还包括：使用ImageNet分类数据集对所述目标检测模型中的特征提取网络进行预训练，以得到预训练后的模型；而后，相应地，利用监控视频图片和包含柴油黑烟车的先验框，对预训练后的模型进行训练，得到训练好的模型。进一步，在将数据输入目标检测模型之前，对监控图片上标注的矩形边界框使用k-均值聚类算法，计算出包含柴油黑烟车的先验框，包括：事先定义不同尺寸的先验框，并从与所述监控图片对应的xml格式文件中读取所述归一化后的宽度值和所述归一化后的高度值；将所述归一化后的宽度值和所述归一化后的高度值分别乘以所述批归一化时的缩放系数，得到所述矩形边界框；统计k个先验框分别与所述矩形边界框的重叠面积，并将所述重叠面积作为距离度量，聚类提取出包含柴油黑烟车的先验框。进一步地，将监控图片中标注出的矩形边界框作为真值框，所述利用监控图片和包含柴油黑烟车的先验框，对构建的目标检测模型进行训练，得到训练好的模型，包括：利用所述预训练后的特征提取网络对输入的所述训练集中的监控图片进行特征提取，得到特征图；利用所述包含柴油黑烟车的先验框对特征图进行预测，得到候选区域BBOX的位置；对于原始图片中的候选区域，将它映射到卷积特征网络的对应区域，和RPN层输出的BBOX，一起输入ROIpooling层，输出为mini-batch个向量，batch的值是ROI的个数，向量的长度本文档来自技高网...

【技术保护点】
1.一种基于光流法和深度学习卷积神经网络的黑烟车检测方法，其特征在于：包括以下步骤：/n对于实时产生的待检测监控视频图片，使用训练好的检测模型进行检测，判断图片中是否存在黑烟；/n对于检测出存在黑烟的监控视频图片，标注出黑烟车位置所在的矩形边界框；/n其中，/n检测模型的训练步骤包括：/n获取交通道口的监控视频，提取关键视频帧制作黑烟车样本数据集，在每一帧的监控图片中标注出柴油车附近黑烟车所在位置的矩形边界框；/n构建目标检测模型，并对监控视频图片上标注的矩形边界框使用k-均值聚类算法，计算出包含黑烟柴油车的先验框；/n利用监控视频图片和包含黑烟柴油车的先验框，对构建的目标检测模型进行训练，得到满足检测目的的模型。/n

【技术特征摘要】
1.一种基于光流法和深度学习卷积神经网络的黑烟车检测方法，其特征在于：包括以下步骤：
对于实时产生的待检测监控视频图片，使用训练好的检测模型进行检测，判断图片中是否存在黑烟；
对于检测出存在黑烟的监控视频图片，标注出黑烟车位置所在的矩形边界框；
其中，
检测模型的训练步骤包括：
获取交通道口的监控视频，提取关键视频帧制作黑烟车样本数据集，在每一帧的监控图片中标注出柴油车附近黑烟车所在位置的矩形边界框；
构建目标检测模型，并对监控视频图片上标注的矩形边界框使用k-均值聚类算法，计算出包含黑烟柴油车的先验框；
利用监控视频图片和包含黑烟柴油车的先验框，对构建的目标检测模型进行训练，得到满足检测目的的模型。


2.根据权利要求1所述的基于光流法和深度学习卷积神经网络的黑烟车检测方法，其特征在于：其中，提取关键视频帧制作黑烟车样本数据集，在每一帧的监控图片中标注出柴油车附近黑烟车所在位置的矩形边界框，包括：
针对采用监控视频图片构建的黑烟车样本数据集；
具体为将样本数据集中的监控视频图片分为训练集、验证集和测试集；
在样本数据集中的监控视频图片中，用矩形框标注出黑烟柴油车的位置、其所排放黑烟的位置，并将矩形边界框的中心点坐标(x，y)、矩形边界框的宽w和矩形边界框的高h作为图片标签，用于存放原始图像中目标对象的坐标信息；
将图片标签相对于所述监控图片尺寸批归一化到(0，1)之间，并将批归一化后的图片标签保存在与所述监控图片同名的xml格式文件中，其中，批归一化后的图片标签包括矩形边界框归一化后的中心点坐标、归一化后的宽度值和归一化后的高度值；
若检测结果显示在所述监控图片中存在黑烟车，则将类别标签c定义为数字类别1；若检测结果显示在所述监控图片中不存在黑烟车，将类别标签c定义为数字类别-1；
将图片标签和存储路径保存在与所述监控图片同名的txt文件中。


3.根据权利要求2所述的基于光流法和深度学习卷积神经网络的黑烟车检测方法，其特征在于：所述训练集、验证集和测试集中包含的监控图片的数量比例为8:1:1，所有监控图片中存在柴油黑烟车的图片数量和不存在柴油黑烟车的图片数量之比为1:1，其中：
验证集中的监控视频图片用于对训练后的模型的性能进行验证；
测试集中的监控视频图片用于对验证后的模型进行再次验证，以得到最终的目标检测模型。


4.根据权利要求3所述的基于光流法和深度学习卷积神经网络的黑烟车检测方法，其特征在于：所述目标检测模型的结构包括骨干网络、区域候选网络、ROIpooling层、多任务损失函数边框回归；
骨干网络的输入为任意尺寸的监控视频图片、输出为监控视频图片的特征图；
区域候选网络的输入为监控视频图片的特征图，输出为候选BBOX的位置，即该问题中感兴趣的区域ROI；
ROIpooling层的输入是前面的特征图，以及RPN层输出的BBOX，形状为：1*5*1*1，即4个坐标+索引index；输出为mini-batch个向量，batch的值是ROI的个数，向量的长度为：channel*w*h；
整个ROI的过程就是将这些proposal抠出来的过程，得到大小统一的特征图，而后检测层输出为包含分类结果、类别置信度和预测框坐标的特征向...

【专利技术属性】
技术研发人员：曹洋，康宇，夏秀山，陈佳艺，鲁晔，许镇义，
申请(专利权)人：中国科学技术大学智慧城市研究院芜湖，
类型：发明
国别省市：安徽;34