一种变电站火灾视频监测方法技术

本发明专利技术涉及一种变电站火灾视频监测方法，与现有技术相比解决了对于变电站监测视频图像中小尺度明火和烟雾的识别精度低、对火灾预警不精准的缺陷。本发明专利技术包括以下步骤：变电站视频监测数据的获取；构建并训练多尺度区域图像提取网络；构建并训练变电站火灾检测模型；变电站实时视频数据的获取；变电站火灾视频的监测预警。本发明专利技术通过多尺度特征融合网络，有效地学习到变电站视频图像中丰富的小尺度明火和烟雾区域特征；并利用级联区域卷积神经网络，准确判断视频图像中是否有明火或者烟雾，以及明火和烟雾区域的位置和大小。以及明火和烟雾区域的位置和大小。以及明火和烟雾区域的位置和大小。

【技术实现步骤摘要】
一种变电站火灾视频监测方法


[0001]本专利技术涉及变电站火灾监测
，具体来说是一种变电站火灾视频监测方法。

技术介绍

[0002]传统的变电站明火检测大多通过传感器收集火焰的烟雾颗粒、环境温度和相对湿度等数据，以进行判断和火灾报警。但是基于传感器的火灾预警需要将传感器放置在明火附近，同时周围环境不能对传感器有较大干扰，因此对变电站所在的宽阔空间和复杂场景，基于传感器的明火检测方法不适应。此外，基于传感器的明火检测方法难以反馈火势位置、火势大小等信息，为及时的火灾预防和消防带来困难。
[0003]随着视频监控系统的发展，在现有视频监控系统的基础上结合计算机视觉技术不仅能够完成变电站火灾监测和预警的任务，还可以降低成本、提升抗干扰能力，能够很好地适应变电站条件下的空间大、气流多的复杂环境。
[0004]现有的基于计算机视觉技术火灾监测方法大多基于传统的图像处理方法提取感兴趣区域，然后利用分类器判别是明火还是烟雾。当前的明火检测方法需要进一步改善，比如对早期变电站火灾预警，早期的火焰范围非常小，不易察觉和检测，从而错失挽救的机会；且缺乏地火情检测结果是否达到灾情预警的判别机制，使得火势可控条件下报警的资源浪费。但传统的视频识别技术，无法实现早期火焰识别、对烟雾的识别率低，无法满足实际使用需要。
[0005]因此，如何设计出一种能够针对变电站早期火灾预警的图像识别方法已经成为急需解决的技术问题。

技术实现思路

[0006]本专利技术的目的是为了解决现有技术中对于变电站监测视频图像中小尺度明火和烟雾的识别精度低、对火灾预警不精准的缺陷，提供一种变电站火灾视频监测方法来解决上述问题。
[0007]为了实现上述目的，本专利技术的技术方案如下：一种变电站火灾视频监测方法，包括以下步骤：变电站视频监测数据的获取：获取变电站视频数据，并提取每一帧静态图像数据，随机选择明火或烟雾图像，并选取与所选图像对应的明火或烟雾区域位置坐标信息和对应标签，将其作为训练集；构建并训练多尺度区域图像提取网络：基于特征提取网络构建多尺度区域图像提取网络，将获取的变电站静态图像输入到多尺度区域图像提取网络进行训练，并从中提取出明火或烟雾图像的特征图像；构建并训练变电站火灾检测模型：基于级联区域卷积神经网络构建变电站火灾检测模型，并对变电站火灾检测模型进行训练；
变电站实时视频数据的获取：获取变电站实时视频数据并进行预处理；变电站火灾视频的监测预警：将预处理后的变电站实时视频数据经多尺度区域图像提取网络提取出特征图像后，输入训练后的变电站火灾检测模型，进行火灾监测预警。
[0008]所述构建并训练多尺度区域图像提取网络包括以下步骤：设定多尺度区域图像提取网络包括深度残差网络和多尺度特征融合网络，其中，深度残差网络作为图像特征提取网络的基准网络，设定深度残差网络提取的明火图像特征输入多尺度特征融合网络，以提取丰富的变电站区域明火或烟雾图像的小尺度和大尺度特征信息；设定多尺度特征融合网络包括三个并列的网络分支，其中，第一个网络分支是卷积核大小为的标准卷积和卷积核大小为、膨胀率为1的膨胀卷积；第二网络分支是卷积核大小为的标准卷积和卷积核大小为、膨胀率为3的膨胀卷积；第三网络分支是卷积核大小为的标准卷积和卷积核大小为、膨胀率为5的膨胀卷积；将变电站静态图像输入到多尺度区域图像提取网络进行训练：变电站静态图像输入深度残差网络，深度残差网络输出提取的明火图像特征；明火图像特征输入多尺度特征融合网络，多尺度特征融合网络的三个网络分支输出的变电站区域明火图像特征图，通过对应像素点相加，实现特征的融合，得到明火或烟雾图像的特征图像。
[0009]所述构建并训练变电站火灾检测模型包括以下步骤：设定变电站火灾检测模型基于级联区域卷积神经网络结构，级联区域卷积神经网络结构由两阶段区域卷积神经网络级联；设定级联区域卷积神经网络结构第一阶段的区域卷积神经网络包括一层膨胀卷积层，其中卷积核大小为、膨胀率为3；并列的分类层和回归层采用卷积核为的卷积层，分别输出2个神经元用于表示图像中是否含有明火或者烟雾区域、输出4个神经元用于表示明火或烟雾区域的位置坐标信息，通过第一阶段的区域卷积神经网络的分类层和输出的结果获取图像中明火或烟雾感兴趣区域；设定第二阶段的区域卷积神经网络输入为图像中明火或烟雾感兴趣区域，输出为感兴趣区域的具体类别，是明火或烟雾；设定第二阶段的区域卷积神经网络包括一层自适应卷积层和两层并列的分类层和回归层，其中，分类层采用卷积核，输出通道数为，用于输出明火和烟雾的类别置信度信息，回归层采用卷积核为，输出通道数为，输出明火和烟雾区域的位置信息；将明火或烟雾图像的特征图像输入变电站火灾检测模型进行训练，级联区域卷积神经网络模型的训练包括正负训练样本的确定、损失函数的定义和模型参数学习；采用基于交并比的匹配方法确定训练样本，当训练样本的边界框与真实标注的边界框之间的交并比大于阈值0.5，则该样本
为正样本、否则为负样本；对于第二阶段的区域卷积神经网络，训练样本的边界框与真实标注的边界框之间的交并比大于阈值0.7；用下式所示的级联区域卷积神经网络模型的损失函数计算网络预测与真实样本之间的损失值L：其中，表示第一阶段的回归损失，表示第二阶段的回归损失， 为分类损失，参数为平衡级联区域卷积神经网络模型的分类损失和回归损失的超参数；分类损失函数采用交叉熵损失函数，定义如下：其中，N表示训练样本量，表示第样本的正负标签，正样本为1，负样本为0，表示样本预测为明火区域的置信度；回归损失函数采用交并比损失函数，定义如下：其中，P表示级联区域卷积神经网络模型预测的明火区域边界框，G表示真实标注的明火区域边界框，表示P和G之间的交集，表示P和G之间的并集；采用BP算法对级联区域卷积神经网络的进行训练，对网络的权重W和偏置参数B进行学习，迭代N次至网络参数达到最优：其中，l表示级联区域卷积神经网络的级联数，表示第l阶段的权值矩阵，表示第l阶段的偏置参数，表示学习率。
[0010]所述变电站火灾视频的监测预警包括以下步骤：将预处理后的变电站实时视频数据经多尺度区域图像提取网络提取出特征图像；利用提取的特征图像，输入到训练后的变电站火灾检测模型，输出明火或烟雾区域分类信息(c, s)，其中c表示是明火或烟雾类别，s对应分类的置信度及对应的位置信息(x, y, w, h), 其中，(x, y)和(w, h)分别表示对应的明火或烟雾区域的中心点坐标和其边界框的长和宽；根据获取的明火或烟雾区域的位置信息，计算变电站明火视频中连续两帧静态图像中明火或烟雾区域的面积，其分别表示当前帧和下一帧中对应的明火或者烟雾区域的面积，其中明火或烟雾的面积A由其区域边界框的信息计算如下：
计算连续帧的明火和烟雾区域的火势增长速率：根据连续f帧的增长速率情况判断是否火灾报警，具体包括以下步骤：若明火或烟雾区域的面积的增长速率大于阈值T，变量C加1，公式定义为：其中，对于明火T设置为1.2，烟雾设置为1.5；当C=f时，也就是连续f帧明火或者烟雾的区域面积增长速率大于设定阈本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种变电站火灾视频监测方法，其特征在于，包括以下步骤：11）变电站视频监测数据的获取：获取变电站视频数据，并提取每一帧静态图像数据，随机选择明火或烟雾图像，并选取与所选图像对应的明火或烟雾区域位置坐标信息和对应标签，将其作为训练集；12）构建并训练多尺度区域图像提取网络：基于特征提取网络构建多尺度区域图像提取网络，将获取的变电站静态图像输入到多尺度区域图像提取网络进行训练，并从中提取出明火或烟雾图像的特征图像；13）构建并训练变电站火灾检测模型：基于级联区域卷积神经网络构建变电站火灾检测模型，并对变电站火灾检测模型进行训练；14）变电站实时视频数据的获取：获取变电站实时视频数据并进行预处理；15）变电站火灾视频的监测预警：将预处理后的变电站实时视频数据经多尺度区域图像提取网络提取出特征图像后，输入训练后的变电站火灾检测模型，进行火灾监测预警。2.根据权利要求1所述的一种变电站火灾视频监测方法，其特征在于，所述构建并训练多尺度区域图像提取网络包括以下步骤：21）设定多尺度区域图像提取网络包括深度残差网络和多尺度特征融合网络，其中，深度残差网络作为图像特征提取网络的基准网络，设定深度残差网络提取的明火图像特征输入多尺度特征融合网络，以提取丰富的变电站区域明火或烟雾图像的小尺度和大尺度特征信息；22）设定多尺度特征融合网络包括三个并列的网络分支，其中，第一个网络分支是卷积核大小为的标准卷积和卷积核大小为、膨胀率为1的膨胀卷积；第二网络分支是卷积核大小为的标准卷积和卷积核大小为、膨胀率为3的膨胀卷积；第三网络分支是卷积核大小为的标准卷积和卷积核大小为、膨胀率为5的膨胀卷积；23）将变电站静态图像输入到多尺度区域图像提取网络进行训练：231）变电站静态图像输入深度残差网络，深度残差网络输出提取的明火图像特征；232）明火图像特征输入多尺度特征融合网络，多尺度特征融合网络的三个网络分支输出的变电站区域明火图像特征图，通过对应像素点相加，实现特征的融合，得到明火或烟雾图像的特征图像。3.根据权利要求1所述的一种变电站火灾视频监测方法，其特征在于，所述构建并训练变电站火灾检测模型包括以下步骤：31）设定变电站火灾检测模型基于级联区域卷积神经网络结构，级联区域卷积神经网络结构由两阶段区域卷积神经网络级联；32）设定级联区域卷积神经网络结构第一阶段的区域卷积神经网络包括一层膨胀卷积层，其中卷积核大小为、膨胀率为3；并列的分类层和回归层采用卷积核为的卷积层，分别输出2个神经元用于表示图像中是否含有明火或者烟雾区域、输出4个神经元用于表示明火或烟雾区域的位置坐标信息，通过第一阶段的区域卷积神经网络的分类层和输出
的结果获取图像中明火或烟雾感兴趣区域；33）设定第二阶段的区域卷积神经网络输入为图像中明火或烟雾感兴趣区域，输出为感兴趣区域的具体类别，是明火或烟雾；设定第二阶段的区域卷积神经网络包括...

【专利技术属性】
技术研发人员：刘术娟，张洁，
申请(专利权)人：合肥中科融道智能科技有限公司，
类型：发明
国别省市：