一种基于疑似烟雾提议区域及深度学习的烟雾检测方法技术

本发明专利技术提出一种基于疑似烟雾提议区域及深度学习的烟雾检测方法，涉及烟雾检测的技术领域，首先收集RGB图片样本，然后构建深度学习神经网络模型，在图片样本输入深度学习神经网络模型之前，利用整个样本图片进行疑似烟雾区域提议，对所有疑似烟雾提议区域进行筛选，候选区是覆盖整个图片并且候选区的尺度从小区域到大区域都有分布，降低了漏报的概率，基于筛选出的疑似烟雾提议区域的生成包围框bbox并计算其值，将包围框bbox的值作为动态嵌入层DEN的空间嵌入向量输入，以对深度学习神经网络模型进行改进，最后训练深度学习神经网络模型，得到的模型能更为鲁棒性地对山火烟雾进行检测，能更为鲁棒性地对山火烟雾进行监测。能更为鲁棒性地对山火烟雾进行监测。能更为鲁棒性地对山火烟雾进行监测。

【技术实现步骤摘要】
一种基于疑似烟雾提议区域及深度学习的烟雾检测方法


[0001]本专利技术涉及烟雾检测的
，更具体地，涉及一种基于疑似烟雾提议区域及深度学习的烟雾检测方法。

技术介绍

[0002]火灾会对人类的生命财产安全产生极大的威胁，尽早发现火情并及时处理，对于保护生命和财产安全有着重要的意义，因此，烟雾和火灾检测是目前工业界研究的热点之一。
[0003]目前，烟雾检测的方法主要分为基于物理和基于计算机视觉的方法，基于物理的方法指的是通过烟雾传感器进行烟雾报警，其优点是准确和及时，缺点在于受用面积小，只能应用在室内的狭窄空间，对于山火防控来说则需要部署极为密集的设备，成本高且对生态环境不友好。基于计算机视觉的烟雾检测方法主要分为传统方法和深度学习方法，其中，传统方法主要基于人为观察的先验知识，对烟雾进行手工特征的提取，这些特征主要分为颜色、纹理、运动和能量，传统方法后续跟随一个判别器，此种方法表现出的优点是计算量小，分类器训练不需要非常庞大的数据和计算量，缺点在于即便结合了多种特征使用，对特征的判别准确性也不高。
[0004]基于深度学习的方法则是将烟雾检测看作单目标检测的问题，利用烟雾图像及其标注数据对神经网络模型进行训练，需要对数以千计的锚点anchors进行逐一卷积，非常耗费计算资源；而网络模型训练完全依赖于数据，在小样本情况下无法做到模型拟合。当前，将传统方法与深度学习的方法进行结合的方式也比较流行，如2019年11月5日，中国专利技术专利(公布号：CN110415260A)中公开了一种基于字典与BP神经网络的烟雾图像分割与识别方法，在该方案中，首先利用对输入图像进行增强处理，将增强处理后的图像与烟雾字典矩阵作比较计算得到疑似烟雾区域，然后对所得到的疑似烟雾图像进行多尺度小波分解，计算多尺度小波分解后所得各层图像的灰度共生矩阵的统计量，采用计算所得的各层图像的灰度共生矩阵的统计量构造纹理特征向量，再将纹理特征向量输入到烟雾识别BP神经网络中，得到烟雾识别结果，但该方案提取疑似烟雾区域时需要先建立背景模型，意味着不能单独通过一张图片计算出疑似烟雾区域；该方案仅提取少数区域，这些区域往往没有覆盖到全图，一旦候选区漏掉真实烟雾区域，就会发生漏报，导致烟雾检测的准确率低；而且每个候选区域均要做一次人工先验特征的提取，效率低，区域间若存在重叠会导致对某些区域的特征重复提取，浪费计算资源，然后每个区域对应的特征向量也均要单独送进BP神经网络做多次检测。

技术实现思路

[0005]为解决当前将传统基于烟雾特征提取与深度学习结合的烟雾检测方法容易造成特征重复提取，浪费计算资源且检测准确率低的问题，本专利技术提出一种基于疑似烟雾提议区域及深度学习的烟雾检测方法，仅需将原始图像直接送往神经网络进行一次深度特征提
取即可，提高烟雾检测效率，基于深度学习神经网络模型，能更为鲁棒性地对山火烟雾进行监测。
[0006]为了达到上述技术效果，本专利技术的技术方案如下：
[0007]本专利技术提出一种基于疑似烟雾提议区域及深度学习的烟雾检测方法，所述方法包括以下步骤：
[0008]S1.收集待检测的RGB图片样本；
[0009]S2.构建深度学习神经网络模型，所述深度学习神经网络模型包括依次连接的特征提取层backbone、动态嵌入层DEN、ROI Pooling层及检测头部分head；
[0010]S3.将步骤S1的RGB图片样本进行灰度处理，然后进行灰度相关性疑似烟雾提议区域取样，得到n1个疑似烟雾提议区域；
[0011]S4.将步骤S1的RGB图片样本转换为HSV通道图片样本，进行烟雾正样本扩充，然后进行疑似烟雾提议区域取样，得到n2个疑似烟雾提议区域；
[0012]S5.设置烟雾提议区域个数阈值τ，判断n1+n2﹥τ是否成立，若是，执行步骤S6；否则，扩充含烟雾正样本数量，然后进行疑似烟雾提议区域取样，得到扩充的疑似烟雾提议区域，执行步骤S6；
[0013]S6.对所有疑似烟雾提议区域进行筛选，基于筛选出的疑似烟雾提议区域的生成包围框bbox并计算包围框bbox的值，将包围框bbox的值作为动态嵌入层DEN的空间嵌入向量输入；
[0014]S7.将步骤S1的RGB图片样本进行数据增强操作，数据增强后的RGB图片样本输入至特征提取层backbone，结合S6中输入动态嵌入层DEN的空间嵌入向量，训练深度学习神经网络模型；
[0015]S8.将训练好的深度学习神经网络模型用于烟雾检测。
[0016]在本技术方案中，首先收集待检测的RGB图片样本，然后构建深度学习神经网络模型，在图片样本输入深度学习网络模型之前，利用整个样本图片进行疑似烟雾区域提议，对所有疑似烟雾提议区域进行筛选，候选区是覆盖整个图片并且候选区的尺度从小区域到大区域都有分布，降低了漏报的概率，基于筛选出的疑似烟雾提议区域的生成包围框bbox并计算包围框bbox的值，将包围框bbox的值作为动态嵌入层DEN的空间嵌入向量输入，以对深度学习网络模型进行改进，最后训练深度学习网络模型，只需要将原始图像直接输入深度学习网络模型进行一次深度特征提取即可，不用提取多次特征，能更为鲁棒性地对山火烟雾进行监测。
[0017]优选地，步骤S2所述的特征提取层backbone采用的是yolov5的backbone部分，最终得到3种尺度的ROI特征向量，具体包括依次连接的Focus模块、第一CBL模块、CSP_1模块、第二CBL模块、第一CSP_3模块、第三CBL模块、第二CSP_3模块、第四CBL模块、SPP模块、第三CSP_3模块及第五CBL模块；第五CBL模块的尾端连接动态嵌入层DEN，第三CBL模块、第四CBL模块及第五CBL模块通过上采样放大分辨率，第三CBL模块、第四CBL模块及第五CBL模块中的后一个模块与前一个模块进行级联Concat特征融合，得到ROI特征向量，并输入至动态嵌入层DEN；包围框bbox的值作为空间嵌入向量输入动态嵌入层DEN，动态嵌入层DEN的尾端连接ROI Pooling层，ROI Pooling层将ROI特征向量池化；所述检测头部分head包括依次连接的第一CSP_0模块、第二CSP_0模块及卷积模块，输出池化后的ROI特征向量对应的预测值。
[0018]在此，特征提取层backbone采用CSPDarknet53网络结构，第一CBL模块、第二CBL模块、第三CBL模块、第四CBL模块、第五CBL模块作为基本卷积模块，其中的普通卷积层Conv修改为深度可分离卷积结构DW，将其中的基本残差模块修改为沙漏网络结构(HourglassRes)，只需要将原始图像直接输入深度学习网络模型进行一次深度特征提取即可，不用提取多次特征，CSP_1模块、第一CSP_3模块、第二CSP_3模块、第三CSP_3模块的残差分支添加SE注意力模块。
[0019]优选地，步骤S3所述进行灰度相关性疑似烟雾提议区域取样的过程为：
[0020]S31.对RGB图片样本进行灰度处理后，得到灰本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于疑似烟雾提议区域及深度学习的烟雾检测方法，其特征在于，所述方法包括以下步骤：S1.收集待检测的RGB图片样本；S2.构建深度学习神经网络模型，所述深度学习神经网络模型包括依次连接的特征提取层backbone、动态嵌入层DEN、ROI Pooling层及检测头部分head；S3.将步骤S1的RGB图片样本进行灰度处理，然后进行灰度相关性疑似烟雾提议区域取样，得到n1个疑似烟雾提议区域；S4.将步骤S1的RGB图片样本转换为HSV通道图片样本，进行烟雾正样本扩充，然后进行疑似烟雾提议区域取样，得到n2个疑似烟雾提议区域；S5.设置烟雾提议区域个数阈值τ，判断n1+n2﹥τ是否成立，若是，执行步骤S6；否则，扩充含烟雾正样本数量，然后进行疑似烟雾提议区域取样，得到扩充的疑似烟雾提议区域，执行步骤S6；S6.对所有疑似烟雾提议区域进行筛选，基于筛选出的疑似烟雾提议区域的生成包围框bbox并计算包围框bbox的值，将包围框bbox的值作为动态嵌入层DEN的空间嵌入向量输入；S7.将步骤S1的RGB图片样本进行数据增强操作，数据增强后的RGB图片样本输入至特征提取层backbone，结合S6中输入动态嵌入层DEN的空间嵌入向量，训练深度学习神经网络模型；S8.将训练好的深度学习神经网络模型用于烟雾检测。2.根据权利要求1所述的基于疑似烟雾提议区域及深度学习的烟雾检测方法，其特征在于，步骤S2所述的特征提取层backbone采用的是yolov5的backbone部分，最终得到3种尺度的ROI特征向量，具体包括依次连接的Focus模块、第一CBL模块、CSP_1模块、第二CBL模块、第一CSP_3模块、第三CBL模块、第二CSP_3模块、第四CBL模块、SPP模块、第三CSP_3模块及第五CBL模块；第五CBL模块的尾端连接动态嵌入层DEN，第三CBL模块、第四CBL模块及第五CBL模块通过上采样放大分辨率，第三CBL模块、第四CBL模块及第五CBL模块中的后一个模块与前一个模块进行级联Concat特征融合，得到ROI特征向量，并输入至动态嵌入层DEN；包围框bbox的值作为空间嵌入向量输入动态嵌入层DEN，动态嵌入层DEN的尾端连接ROI Pooling层，ROI Pooling层将ROI特征向量池化；所述检测头部分head包括依次连接的第一CSP_0模块、第二CSP_0模块及卷积模块，输出池化后的ROI特征向量对应的预测值。3.根据权利要求1所述的基于疑似烟雾提议区域及深度学习的烟雾检测方法，其特征在于，步骤S3所述进行灰度相关性疑似烟雾提议区域取样的过程为：S31.对RGB图片样本进行灰度处理后，得到灰度图像，将灰度图像做多次阈值分割，得到若干个阈值分割图像，然后对阈值分割图像做形态学腐蚀和膨胀处理，消除碎片区域，得到不同灰度级图像；S32.采用分水岭算法对每个灰度级图像进行处理，得到不同的连通区域，作为疑似烟雾提议区域。4.根据权利要求3所述的基于疑似烟雾提议区域及深度学习的烟雾检测方法，其特征在于，步骤S4所述进行烟雾正样本扩充，然后进行疑似烟雾提议区域取样的过程为：S41.RGB图片样本转换为HSV通道图片样本后，分离H通道和S通道，得到H通道图像和S
通道图像，将H通道图像和S通道图像进行像素反转，得到HR图像和SR图像；S42.将H通道图像分别与S通道图像、SR通道图像之间做逐像素比特与运算，然后做形态学腐蚀和膨胀处理，消除碎片区域，得到HS图像、HSR图像；将HR通道图像分别与S通道图像、SR通道图像之间做逐像素比特与运算，然后做形态学腐蚀和膨胀处理，消除碎片区域，得到HRS图像、HRSR图像；S43.对HS图像、HSR图像、HRS图像、HRSR图像进行自适应阈值分割，计算自适应阈值分割后的图像中所有非零像素的四连通分量，从而提取连通域，作为疑似烟雾提议区域。5.根据权利要求1所述的基于疑似烟雾提议区域及深度学习的烟雾检测方法，其特征在于，步骤S5中扩充含烟雾正样本数量的方法为暗通道先验法，利用暗通道先验法得到暗通道图像，表达式为：其中，J
dark
表示暗通道图像，J
channel
表示RGB通道中的一个，Ω(x)表示像素x的领域；将J
dark
进行自适应阈值分割，然后提取四连通分量，进行疑似烟雾提议区域取样，得到扩充的疑似烟雾提议区域。6.根据权利要求1所述的基于疑似烟雾提议区域及深度学习的烟雾检测方法，其特征在于，步...

【专利技术属性】
技术研发人员：纪庆革，陈寒阳，陈浩东，
申请(专利权)人：中山大学，
类型：发明
国别省市：