一种基于视频的火灾烟雾和抛洒物检测方法及系统技术方案

本申请提供了一种基于视频的火灾烟雾和抛洒物检测方法及系统，属于视频检测技术领域，所述方法包括：采用连续背景建模模块动态建模背景区域，再由前景目标提取模块提取出前景目标；采用人车目标过滤模块从所述前景目标中提取出疑似火灾烟雾或抛洒物目标，再由识别模块对所述疑似火灾烟雾或抛洒物目标进行融合识别，输出检测识别结果。本申请的方案实现了检测识别效率和准确率的平衡。

【技术实现步骤摘要】
一种基于视频的火灾烟雾和抛洒物检测方法及系统
本申请涉及视频检测
，具体而言，涉及一种基于视频的火灾烟雾和抛洒物检测方法及系统。
技术介绍
为了保障人民的生命财产安全，我们已经建设了超过2亿个摄像头。如何充分利用这些摄像头进行异常事件的自动发现是一个重要课题。这其中有大量的摄像头是用来监控城市道路和高速公路的，而在这些场景中，火灾烟雾和路面的抛洒物无疑是其中重要的需检测事件。对火灾烟雾和路面抛洒物的早发现早处理是监控系统应该具备的重要能力。本申请的申请人通过检索现有技术发现了如下相关专利文献：专利文献1（CN101339602B）公开了一种基于光流法的视频火灾烟雾图像识别方法，该方法用光流算法进行火灾烟雾识别，然而计算量过大，而且光流算法不适用于烟雾的识别，因此对“烟雾”这一重要因素的区分能力较弱，达不到实战水平。专利文献2（CN102201146B）公开了一种基于主动红外视频的零照度环境火灾烟雾识别方法，然而，该方法主要依赖于红外视频，存在误报较高、感应距离不足的问题。专利文献3（CN101441771B）公开了一种基于色彩饱和度与运动模式的视频火灾烟雾检测方法，该方法基于彩色饱和度与运动模式，容易受到光照、天气等影响，且不易与烟雾相似物体区分，因此方法的漏检率和误检率都达不到实用标准。专利文献4（CN109147254A）公开了一种基于卷积神经网络的视频野外火灾烟雾实时检测方法，该方法采用了基于图像特征的分类算法而缺乏视频运动信息，在实际场景中，仅有静态图像信息难以区分烟雾和云层、火灾和车灯等目标，因此存在较高误检。专利文献5（CN111127507A）公开了一种抛洒物的确定方法和系统，该方法采用基于图像特征的背景提取方法，无法规避路面其它目标物的影响，误检较高。专利文献6（CN111709938A）公开了一种基于深度图的路面缺陷及抛洒物检测方法，该方法采用了D-RGB相机，利用了深度信息来解决路面建模和抛洒物检测，但是需要新建D-RGB相机设备，普适性不高。专利文献7（CN111582070A）公开了一种高速公路视频抛洒物检测的前景提取方法，该方法用混合高思模型对路面进行建模，然后用背景剪除和前景提取的方法来检测抛洒物。该方法没有充分利用视频信息，误检较高。专利文献8（CN111523536A）公开了一种基于FasterRCNN的自适应路面抛洒物智能检测方法，该方法采用基于深度学习的目标检测方法来检测抛洒物，但是该方法的实时性差，而且没有利用时序信息，难以区分抛洒物和其它影响因素。专利文献9（CN111274982A）公开了一种抛洒物的识别方法、装置及存储介质，该方法用了视频中的车辆轨迹和车道线信息，但是没有使用抛洒物的视频维度信息，因此检测抛洒物的精度不高。可见，现有技术中虽然已经存在了一些基于视频识别的事件检测方法，但仍然存在诸多缺点，还难以大规模广泛推广使用。
技术实现思路
为了解决上述
技术介绍
中存在的技术问题，本专利技术提供了一种在监控视频场景下采用视频事件检测框架进行火灾烟雾和抛洒物检测的方案，实现了监控视频下的火灾烟雾和抛洒物的高效自动检测。本申请的第一方面提供了一种基于视频的火灾烟雾和抛洒物检测方法，所述方法包括：采用连续背景建模模块动态建模背景区域，再由前景目标提取模块提取出前景目标；采用人车目标过滤模块从所述前景目标中提取出疑似火灾烟雾或抛洒物目标，再由识别模块对所述疑似火灾烟雾或抛洒物目标进行融合识别，输出检测识别结果。可选地，所述连续背景建模模块采用高斯混合模型动态建模背景区域。可选地，所述前景目标提取模块利用帧间差信息提取出所述前景目标。可选地，所述人车目标过滤模块从所述前景目标中提取出疑似火灾烟雾或抛洒物目标，包括：所述人车目标过滤模块，使用图像人车检测模型识别出人/车并标注检测框，若所述前景目标位置与所述检测框的IoU重合率≥thr1，则判定该前景目标为正常的人/车目标而非火灾烟雾或抛洒物；若所述前景目标位置与所述检测框的IoU重合率<thr1且在视频中连续出现时长超过thr2，则判定该前景目标为疑似火灾烟雾或抛洒物目标。可选地，所述识别模块包括时空窗口提取子模块、视频事件识别子模块、融合判别子模块。可选地，对所述疑似火灾烟雾或抛洒物目标进行融合识别，输出检测识别结果，包括：所述时空窗口提取子模块对所述疑似火灾烟雾或抛洒物目标提取连续多帧的目标检测框作为其时空窗口特征；所述视频事件识别子模块调用3D卷积模型基于所述时空窗口对所述疑似火灾烟雾或抛洒物目标的连续多帧的目标检测框内的图像进行处理以提取所述疑似火灾烟雾或抛洒物目标的卷积特征，还调用光流模型基于所述时空窗口对所述疑似火灾烟雾或抛洒物目标的连续多帧的目标检测框内的图像进行处理以提取所述疑似火灾烟雾或抛洒物目标的光流特征，并分别得出判别结果；所述融合判别子模块对所述3D卷积模型和所述光流模型的判别结果进行融合，得到最终的火灾烟雾或抛洒物识别结果并输出。可选地，所述融合判别子模块对所述3D卷积模型和所述光流模型的判别结果进行融合，得到最终的火灾烟雾或抛洒物识别结果并输出，包括：若所述3D卷积模型的判别结果为所述疑似火灾烟雾或抛洒物目标不属于人/车目标，且所述光流模型的判别结果为所述疑似火灾烟雾或抛洒物目标不属于人/车目标，则输出识别结果为所述疑似火灾烟雾或抛洒物目标为火灾烟雾和抛洒物；否则输出识别结果为所述疑似火灾烟雾或抛洒物目标为人/车。本申请的第二方面提供了一种基于视频的火灾烟雾和抛洒物检测系统，所述系统包括连续背景建模模块、前景目标提取模块、人车目标过滤模块、识别模块；所述连续背景建模模块，用于动态建模背景区域；所述前景目标提取模块，用于基于所述背景区域提取出前景目标；所述人车目标过滤模块，用于从所述前景目标中提取出疑似火灾烟雾或抛洒物目标；所述识别模块，用于对所述疑似火灾烟雾或抛洒物目标进行融合识别，输出检测识别结果。本申请的第三方面提供了一种电子设备，该电子设备包括存储器和处理器，该存储器上存储有计算机程序，该计算机程序被处理器运行时执行如上任一项所述的方法。本申请的第四方面提供了一种计算机存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上任一项所述的方法。本专利技术的有益效果在于：本申请的方案先采用连续背景建模模块动态建模背景区域，再由前景目标提取模块提取出前景目标，如此设置，可以实现对疑似火灾烟雾或抛洒物目标的初判，从而不需要对所有前景对象进行后续的深度识别，降低了视频分析算法的计算频率，能够显著减少计算开销。同时，还采用人车目标过滤模块从所述前景目标中提取出疑似火灾烟雾或抛洒物目标，再由识别模块对所述疑似火灾烟雾或抛洒物目标进行融合识别，输出检测识别结果，如此还通过进一步的深度识别保障了事件识别的准确率。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解本文档来自技高网...

【技术保护点】
1.一种基于视频的火灾烟雾和抛洒物检测方法，其特征在于：所述方法包括：/n采用连续背景建模模块动态建模背景区域，再由前景目标提取模块提取出前景目标；/n采用人车目标过滤模块从所述前景目标中提取出疑似火灾烟雾或抛洒物目标，再由识别模块对所述疑似火灾烟雾或抛洒物目标进行融合识别，输出检测识别结果。/n

【技术特征摘要】
1.一种基于视频的火灾烟雾和抛洒物检测方法，其特征在于：所述方法包括：
采用连续背景建模模块动态建模背景区域，再由前景目标提取模块提取出前景目标；
采用人车目标过滤模块从所述前景目标中提取出疑似火灾烟雾或抛洒物目标，再由识别模块对所述疑似火灾烟雾或抛洒物目标进行融合识别，输出检测识别结果。


2.根据权利要求1所述的方法，其特征在于：所述连续背景建模模块采用高斯混合模型动态建模背景区域。


3.根据权利要求1所述的方法，其特征在于：所述前景目标提取模块利用帧间差信息提取出所述前景目标。


4.根据权利要求1所述的方法，其特征在于：所述人车目标过滤模块从所述前景目标中提取出疑似火灾烟雾或抛洒物目标，包括：
所述人车目标过滤模块，使用图像人车检测模型识别出人/车并标注检测框，若所述前景目标位置与所述检测框的IoU重合率≥thr1，则判定该前景目标为正常的人/车目标而非火灾烟雾或抛洒物；若所述前景目标位置与所述检测框的IoU重合率<thr1且在视频中连续出现时长超过thr2，则判定该前景目标为疑似火灾烟雾或抛洒物目标。


5.根据权利要求1所述的方法，其特征在于：所述识别模块包括时空窗口提取子模块、视频事件识别子模块、融合判别子模块。


6.根据权利要求5所述的方法，其特征在于：对所述疑似火灾烟雾或抛洒物目标进行融合识别，输出检测识别结果，包括：
所述时空窗口提取子模块对所述疑似火灾烟雾或抛洒物目标提取连续多帧的目标检测框作为其时空窗口特征；所述视频事件识别子模块调用3D卷积模型基于所述时空窗口对所述疑似火灾烟雾或抛洒物目标的连续多帧的目标检测框内的图像进行处理以提取...

【专利技术属性】
技术研发人员：林亦宁，
申请(专利权)人：上海闪马智能科技有限公司，
类型：发明
国别省市：上海;31