一种基于计算机视觉的渣土车未苫盖检测系统及检测方法技术方案

本发明专利技术公开了一种基于计算机视觉的渣土车未苫盖检测系统及检测方法，检测系统包括双模型训练模块、渣土车检测模块、渣土车斗区域检测模块、渣土车未苫盖判断模块、风险上报与记录模块，以及日志模块；本发明专利技术渣土车检测模型识别图像中的渣土车，并通过渣土车斗区域检测模型对车斗部分进行细分，计算各部分区域面积获得渣土的未覆盖率，若渣土未覆盖率大于给定的阈值，则将渣土车判定为未苫盖。本发明专利技术将目标检测技术与渣土车未苫盖相结合，采用双模型划分任务，并且对车斗部分进行细分，引入渣土未覆盖率对判断标准进行量化，提高识别的准确性，大大减少误报率。保证能够对渣土车辆做到有效的监管，减少环境污染和安全隐患。减少环境污染和安全隐患。减少环境污染和安全隐患。

【技术实现步骤摘要】
一种基于计算机视觉的渣土车未苫盖检测系统及检测方法


[0001]本专利技术属于计算机视觉领域，特别涉及一种基于计算机视觉的渣土车未苫盖检测系统及检测方法。

技术介绍

[0002]为了维持和改善城市的居住环境，减少渣土车运输过程中的扬尘污染，不少相关部门采取了相关措施，除了加大了管理力量，也对相应的处罚力度予以增加；但由于渣土车行驶的时间、路线等无法掌控的因素，渣土车的监管还是存在着一定的难题。
[0003]依靠人力去检测渣土车未苫盖情况，存在非常大的不稳定性和主观性，难以全角度全时间的进行监控，同时将耗费巨大的人力物力成本。
[0004]目前，随着计算机视觉和深度学习的迅速发展，目标检测技术在传统领域的应用越来越广泛，通过卷积神经网络、深度置信网、神经网络等构建一个全方位多层次的学习系统，可以更好的发挥人工智能的准确性、高效性、便捷性。现有的渣土车未苫盖检测是将突破输入模型中直接输出是否苫盖的检测结果，误报率高。

技术实现思路

[0005]为解决上述技术问题，本专利技术提供了一种基于计算机视觉的渣土车未苫盖检测系统及检测方法，以达到提高识别准确性，减少误报率，提高对渣土车辆的监管，减少环境污染和安全隐患的目的。
[0006]为达到上述目的，本专利技术的技术方案如下：
[0007]一种基于计算机视觉的渣土车未苫盖检测系统，包括双模型训练模块、渣土车检测模块、渣土车斗区域检测模块、渣土车未苫盖判断模块、风险上报与记录模块，以及日志模块；
[0008]所述双模型训练模块负责渣土车检测模型和渣土车斗区域检测模型的训练；
[0009]所述视频帧获取模块负责通过轮询算法，连接对应的摄像头组，将不同摄像头的视频流进行运动检测，若视频画面运动，则按照一定时间间隔抽帧送入推理队列；
[0010]所述渣土车检测模块包含渣土车检测模型，所述渣土车检测模型基于改进的YOLOv5x模型，用于检测图片中的各种车辆，将检测到的渣土车辆用矩形框框出轮廓，从原图中分割发送给渣土车斗区域检测模块；
[0011]所述渣土车斗区域检测模块包含渣土车斗区域检测模型，所述渣土车斗区域检测模型基于改进的YOLOv5s模型，对渣土车车斗部分进行检测，得到渣土区域，空车斗区域和毡盖区域；
[0012]所述渣土车未苫盖判断模块负责根据车斗部分的检测结果计算渣土未覆盖率，从而判断渣土车是否苫盖；
[0013]所述风险上报与记录模块负责上传风险信息，保存风险图片；
[0014]所述日志模块负责记录系统运行当中的错误和警告信息，方便后期维护修改。
[0015]一种基于计算机视觉的渣土车未苫盖检测方法，采用如上所述的一种基于计算机视觉的渣土车未苫盖检测系统，包括如下步骤：
[0016]模型训练阶段：视频帧获取模块按照一定的时间间隔从视频流中收集图片，进行初始标注，制作初始数据集；双模型训练模块利用初始数据集训练渣土车检测模型，通过训练完成的渣土车检测模型将图片中的检测类别为渣土车的矩形框分割出来单独保存，组成渣土车斗区域检测模型的数据集；然后双模型训练模块利用渣土车斗区域检测模型的数据集训练渣土车斗区域检测模型；
[0017]检测阶段：视频帧获取模块按照一定的时间间隔从待检测的视频流中收集图片，输入到训练后的渣土车检测模块中，通过渣土车检测模型检测图片中出现的渣土车，并把轮廓用矩形框框出，将矩形框框出的渣土车从原图中分割出来并传给渣土车斗区域检测模块，渣土车斗区域检测模型检测渣土车的车斗区域，将车斗区域分成三个区域：渣土部分、空车斗部分和毡盖部分，对应检测的三个类别；渣土车未苫盖判断模块根据车斗部分的检测结果计算三个区域的面积，求得该渣土车的渣土未覆盖率，若渣土未覆盖率大于设定阈值，则认定该渣土车未苫盖；反之，则苫盖；风险上报与记录模块将未苫盖的渣土车的图片信息和检测车斗结果保存。
[0018]上述方案中，模型训练阶段，渣土车检测模型的训练如下：
[0019](1)从给定车流量较大路段的摄像头中，按照一定的时间间隔抽帧保存视频帧，筛选含有渣土车的图片；
[0020](2)对图片中的车辆进行标注，得到m个基准框σ
i
(x
i
,y
i
,w
i
,h
i
,l
i
)，其中，i＝1,2,...,m，x
i
,y
i
,w
i
,h
i
,l
i
五个分量分别为基准框左上角的横坐标、纵坐标，基准框的宽度、高度，以及标签，标签l
i
＝0表示渣土车，l
i
＝1表示大型货车，l
i
＝2表示厢式货车，l
i
＝3表示小型开放式货车，l
i
＝4表示汽车，l
i
＝5表示公交车，l
i
＝6表示油罐车和混凝土车，l
i
＝7表示其他车辆，包括挖掘机、平板车、装载动物的货车；
[0021](3)对标注后的图片进行平移和旋转缩放来增加数据集；
[0022](4)采用Mosaic进行数据增强；
[0023](5)自适应锚框计算；
[0024](6)自适应图片缩放；
[0025](7)采用YOLOV5x网络进行训练，对检测出的车辆目标，用矩形实线框标出，构造二元交叉熵损失，包括边界框回归损失、置信度预测损失和类别预测损失三部分，进行反向传播。
[0026]上述方案中，模型训练阶段，渣土车斗区域检测模型的训练如下：
[0027](1)通过训练完成的渣土车检测模型将图片中的检测类别为渣土车的矩形框分割出来单独保存，组成渣土车斗区域检测模型的数据集；
[0028](2)对图片中的车斗部分进行标注，得到n个基准框ρ
i
(x
i
,y
i
,w
i
,h
i
,t
i
)，其中，i＝1,2,...,n，x
i
,y
i
,w
i
,h
i
,t
i
五个分量分别为基准框左上角的横坐标、纵坐标，基准框的宽度、高度，以及标签；标签t
i
＝0表示渣土部分，t
i
＝1表示苫盖部分，t
i
＝2表示空车斗部分；
[0029](3)对标注后的图片进行平移和旋转缩放来增加数据集；
[0030](4)采用Mosaic进行数据增强；
[0031](5)自适应锚框计算；
[0032](6)自适应图片缩放；
[0033](7)采用YOLOv5s网络进行训练，对检测出的渣土部分、苫盖部分和空车斗部分，用矩形实线框标出，构造二元交叉熵损失，包括边界框回归损失、置信度预测损失和类别预测损失三部分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于计算机视觉的渣土车未苫盖检测系统，其特征在于，包括双模型训练模块、渣土车检测模块、渣土车斗区域检测模块、渣土车未苫盖判断模块、风险上报与记录模块，以及日志模块；所述双模型训练模块负责渣土车检测模型和渣土车斗区域检测模型的训练；所述视频帧获取模块负责通过轮询算法，连接对应的摄像头组，将不同摄像头的视频流进行运动检测，若视频画面运动，则按照一定时间间隔抽帧送入推理队列；所述渣土车检测模块包含渣土车检测模型，所述渣土车检测模型基于改进的YOLOv5x模型，用于检测图片中的各种车辆，将检测到的渣土车辆用矩形框框出轮廓，从原图中分割发送给渣土车斗区域检测模块；所述渣土车斗区域检测模块包含渣土车斗区域检测模型，所述渣土车斗区域检测模型基于改进的YOLOv5s模型，对渣土车车斗部分进行检测，得到渣土区域，空车斗区域和毡盖区域；所述渣土车未苫盖判断模块负责根据车斗部分的检测结果计算渣土未覆盖率，从而判断渣土车是否苫盖；所述风险上报与记录模块负责上传风险信息，保存风险图片；所述日志模块负责记录系统运行当中的错误和警告信息，方便后期维护修改。2.一种基于计算机视觉的渣土车未苫盖检测方法，采用如权利要求1所述的一种基于计算机视觉的渣土车未苫盖检测系统，其特征在于，包括如下步骤：模型训练阶段：视频帧获取模块按照一定的时间间隔从视频流中收集图片，进行初始标注，制作初始数据集；双模型训练模块利用初始数据集训练渣土车检测模型，通过训练完成的渣土车检测模型将图片中的检测类别为渣土车的矩形框分割出来单独保存，组成渣土车斗区域检测模型的数据集；然后双模型训练模块利用渣土车斗区域检测模型的数据集训练渣土车斗区域检测模型；检测阶段：视频帧获取模块按照一定的时间间隔从待检测的视频流中收集图片，输入到训练后的渣土车检测模块中，通过渣土车检测模型检测图片中出现的渣土车，并把轮廓用矩形框框出，将矩形框框出的渣土车从原图中分割出来并传给渣土车斗区域检测模块，渣土车斗区域检测模型检测渣土车的车斗区域，将车斗区域分成三个区域：渣土部分、空车斗部分和毡盖部分，对应检测的三个类别；渣土车未苫盖判断模块根据车斗部分的检测结果计算三个区域的面积，求得该渣土车的渣土未覆盖率，若渣土未覆盖率大于设定阈值，则认定该渣土车未苫盖；反之，则苫盖；风险上报与记录模块将未苫盖的渣土车的图片信息和检测车斗结果保存。3.根据权利要求2所述的一种基于计算机视觉的渣土车未苫盖检测方法，其特征在于，模型训练阶段，渣土车检测模型的训练如下：(1)从给定车流量较大路段的摄像头中，按照一定的时间间隔抽帧保存视频帧，筛选含有渣土车的图片；(2)对图片中的车辆进行标注，得到m个基准框σ
i
(x
i
,y
i
,w
i
,h
i
,l
i
)，其中，i＝1,2,...,m，x
i
,y
i
,w
i
,h
i
,l
i
五个分量分别为基准框左上角的横坐标、纵坐标，基准框的宽度、高度，以及标签，标签l
i
＝0表示渣土车，l
i
＝1表示大型货车，l
i
＝2表示厢式货车，l
i
＝3表示小型开放式货车，l
i
＝4表示汽车，l
i
＝5表示公交车，l
i
＝6表示油罐车和混凝土车，l
i
＝7表示其他
车辆，包括挖掘机、平板车、装载动物的货车；(3)对标注后的图片进行平移和旋转缩放来增加数据集；(4)采用Mosaic进行数据增强；(5)自适应锚框计算；(6)自适应图片缩放；(7)采用YOLOV5x网络进行训练，对检测出的车辆目标，用矩形实线框标出，构造二元交叉熵损失，包括边界框回归损失、置信度预测损失和类别预测损失三部分，进行反向传播。4.根据权利要求2所述的一种基于计算机视觉的渣土车未苫盖检测方法，其特征在于，模型训练阶段，渣土车斗区域检测模型的训练如下：(1)通过训练完成的渣土车检测模型将图片中的检测类别为渣土车的矩形框分割出来单独保存，组成渣土车斗区域检测模型的数据集；(2)对图片中的车斗部分进行标注，得到n个基准框ρ
i
(x
i
,y
i
,w
i
,h
i
,t
i
)，其中，i＝1,2,...,n，x
i
,y
i
,w
i
,h
i
,t
i
五个分量分别为基准框左上角的横坐标、纵坐标，基准框的宽度、高度，以及标签；标签t
i
＝0表示渣土部分，t
i
＝1表示苫盖部分，t
i
＝2表示空车斗部分；(3)对标注后的图片进行平移和旋转缩放来增加数据集；(4)采用Mosaic进行数据增强；(5)自适应锚框计算；(6)自适应图片缩放；(7)采用YOLOv5s网络进行训练，对检测出的渣土部分、苫盖部分和空车斗部分，用矩形实线框标出，构造二元交叉熵损失，包括边界框回归损失、置信度预测损失和类别预测损失三部分，进行反向传播。5.根据权利要求2所述的一种基于计算机视觉的渣土车未苫盖检测方法，其特征在于，所述视频帧获取模块根据配置文件的信息加载摄像头信息，基于RTSP协议，通过设定的轮询算法，连接相应的摄像头组；对连接成功的摄像头取流，通过三帧差法进行运动检测；对通过运动检测部分的视频流按照一定的时间间隔进行取帧，同时为每个视频帧附上唯一的时间戳，将视频...

【专利技术属性】
技术研发人员：郑艳伟，高杨，孙钦平，于东晓，马嘉林，崔方剑，张春雨，
申请(专利权)人：青岛海信信息科技股份有限公司，
类型：发明
国别省市：