用于水电厂视频监控系统的实时运动目标检测方法技术方案

一种用于水电厂视频监控系统的实时运动目标检测方法，主要采用分类、构建模型、构建网络、划分、训练和转化视频的步骤，对水电厂视频监控系统的视频场景分级，改进自适应背景更新差分模型，基于轻量级卷积神经网络的运动目标检测，针对不同级别的监控视频使用不同的运动目标检测算法发掘其中的关键信息，实时且较为准确地分离出监控视频中的运动目标，能提高水电厂运行人员视频巡检的效率，减少运行人员的视频巡检工作量，提高电力生产的安全性。提高电力生产的安全性。提高电力生产的安全性。

【技术实现步骤摘要】
用于水电厂视频监控系统的实时运动目标检测方法


[0001]本专利技术属于水电站巡检
，涉及一种用于水电厂视频监控系统的实时运动目标检测方法。

技术介绍

[0002]水电厂生产区域普遍应用到监控摄像头，运行人员通过视频巡检(在中控室中观察生产区域的视频图像)而替代繁杂劳累的现场巡检。但是，水电厂中往往存在较多的重点监控区域，人工的视频巡检由于需要频繁切换场景而容易遗漏一些关键信息，因此，如何利用计算机视觉算法实时地从视频数据中提取关键信息进而辅助运行人员对现场情况进行判断变得尤为重要。
[0003]视频运动目标检测是计算机视觉领域的基础研究方向之一，它的任务是从监控摄像头捕获的视频中分离出运动与静止区域。在大多数的智能视频监控系统中，运动目标检测能为跟踪、分类、识别、行为分析等高级处理任务提供关注的焦点。因此，在水电厂视频监控系统中如何实时对运动目标检测算法，并能减少运行人员的视频巡检工作量，提高电力生产的安全性是目前需要解决的关键问题。

技术实现思路

[0004]本专利技术所要解决的技术问题是提供一种用于水电厂视频监控系统的实时运动目标检测方法，用于提高水电厂运行人员视频巡检的效率，减少运行人员的视频巡检工作量，提高电力生产的安全性。
[0005]为解决上述技术问题，本专利技术所采用的技术方案是：一种用于水电厂视频监控系统的实时运动目标检测方法，它包括如下步骤：
[0006]步骤1，分类，对水电厂视频监控系统中的视频按照其监控场景进行分类；按照被监控生产区域的重要性依次分为核心区域监控视频、重点区域监控视频和一般区域监控视频；
[0007]步骤2，构建模型，对于任一被分类为重点区域的监控视频，人工采集其位于早、晚两个时段的监控视频，利用均值法构建其对应的早、晚两个时段的虚拟背景模型；
[0008]步骤3，构建网络，构建用于视频运动目标检测的轻量级卷积神经网络；
[0009]步骤4，划分，对于任一被分类为核心区域的监控视频，捕获一段视频，并利用视频数据构建该监控区域的数据集，从所述数据集中划分训练集和验证集；
[0010]步骤5，训练，设置一定的超参数，利用所述用于视频运动目标检测的轻量级卷积神经网络和任一被分类为核心区域的监控视频对应的训练集进行训练，并利用所述验证集验证所述全卷积网络模型的拟合效果，当达到预设效果时，训练完成，获得实时运动目标检测模型；直到训练出与核心区域数量相同个数的神经网络模型时，所有训练结束；
[0011]步骤6，转化视频，分别利用帧间差分法、自适应背景更新差分模型和基于轻量级卷积神经网络的运动目标检测方法对水电厂视频监控系统实时捕获的一般区域视频、重点
区域视频和核心区域视频进行处理，获得运动目标检测结果图像，将其转化为视频。
[0012]在步骤1中，
[0013]对水电厂视频监控系统中的视频按照其监控场景进行分类，按照被监控生产区域的重要性依次分为核心区域监控视频、重点区域监控视频和一般区域监控视频；其中，核心区域为水电厂厂房内的核心生产区域，主要包括例如发电机室、水车室；重点区域为水电厂厂房内的非核心区域，主要包括中控室、办公室、走廊；一般区域为水电厂厂房外围监控优先级较低的区域。
[0014]在步骤2中，
[0015]步骤2
‑
1，对于任一被分类为重点区域的监控视频，人工采集其位于早、晚两个时段的监控视频，生成两段子视频，采集的视频的时长应尽可能长一些；
[0016]步骤2
‑
2、对于所述的早、晚两个时段的子视频，将其转化为两个逐帧的视频图像集，将两个视频图像集进行灰度化处理；
[0017]步骤2
‑
3、对于所述的两个逐帧的视频图像集，使用均值法计算出其对应的虚拟背景模型，其中均值法的公式如下：
[0018][0019]式中，Bg(x，y)为背景模型在坐标(x，y)处的平均灰度值，为N帧图像在坐标(x，y)处像素点的灰度值总和，N为视频图像集包含的图像个数。
[0020]在步骤3中，
[0021]步骤3
‑
1，构建所述用于视频运动目标检测的轻量级卷积神经网络的输入层；输入任意大小的3通道RGB图像，对于长或宽不满足16倍数的图像，进行边缘自适应补0的操作；
[0022]步骤3
‑
2，构建所述全卷积网络模型的编码器网络；所述编码器网络基于MoblieNetV3
‑
Large网络，删除其最后的四个层级结构；该编码器网络包括5个模块，即模块1～模块5；模块1包含一个卷积核大小为3
×
3的卷积层和一个Bneck结构，模块2包含两个Bneck结构，模块3和模块5包含三个Bneck结构，模块4包含六个Bneck结构；
[0023]步骤3
‑
3，构建所述用于视频运动目标检测的轻量级卷积神经网络的解码器网络；解码器网络包括5个模块，即模块6～模块10，其中模块6、模块7、模块8、模块9均包含一个上采样层和两个卷积核大小为3
×
3的卷积层，先使用双线性插值法完成上采样，再进行特征的拼接，拼接好的特征进入两个卷积核大小为3
×
3的卷积层进行上采样特征的完善；模块10中包含CBAM注意力机制模块、一个卷积核大小为1
×
1的卷积层和一个上采样层。
[0024]在步骤4中，
[0025]步骤4
‑
1，对于任一被分类为核心区域的监控视频，利用其对应的监控摄像头捕获一段视频；
[0026]步骤4
‑
2，从捕获的视频序列中按照均匀的时序分布选取M帧视频图像，使用任意像素级别的标注软件Image Labeler、LabelMe或CVAT标注视频图像的运动目标区域，构成该场景的数据集；待标注完成后，随机选取N帧标注图像及对应的原始图像作为验证集，剩余M
‑
N帧标注图像及对应的原始图像作为训练集；
[0027]步骤4
‑
3，对M帧视频图像进行标准化处理，得到标准化后结果，其中，标准化的公式如下：
[0028][0029]式中，y
i
为标准化后结果，x
i
为当前帧图像，为训练集图像均值，s为训练集图像标准差。
[0030]在步骤5中，
[0031]步骤5
‑
1，对于编码器网络，加载在ImageNet数据集上预训练的MoblieNetV3
‑
Large网络的权重，并维持该权重不变；ImageNet数据集包括1000个种类；
[0032]步骤5
‑
2，选用融合交叉熵损失函数CE与Dice损失函数计算损失loss，计算公式如下：
[0033][0034][0035]loss＝CE+Dice
[0036]式中，p
i
为当前像素i的预测结果，y...

【技术保护点】

【技术特征摘要】
1.一种用于水电厂视频监控系统的实时运动目标检测方法，其特征是，它包括如下步骤：步骤1，分类，对水电厂视频监控系统中的视频按照其监控场景进行分类；按照被监控生产区域的重要性依次分为核心区域监控视频、重点区域监控视频和一般区域监控视频；步骤2，构建模型，对于任一被分类为重点区域的监控视频，人工采集其位于早、晚两个时段的监控视频，利用均值法构建其对应的早、晚两个时段的虚拟背景模型；步骤3，构建网络，构建用于视频运动目标检测的轻量级卷积神经网络；步骤4，划分，对于任一被分类为核心区域的监控视频，捕获一段视频，并利用视频数据构建该监控区域的数据集，从所述数据集中划分训练集和验证集；步骤5，训练，设置一定的超参数，利用所述用于视频运动目标检测的轻量级卷积神经网络和任一被分类为核心区域的监控视频对应的训练集进行训练，并利用所述验证集验证所述全卷积网络模型的拟合效果，当达到预设效果时，训练完成，获得实时运动目标检测模型；直到训练出与核心区域数量相同个数的神经网络模型时，所有训练结束；步骤6，转化视频，分别利用帧间差分法、自适应背景更新差分模型和基于轻量级卷积神经网络的运动目标检测方法对水电厂视频监控系统实时捕获的一般区域视频、重点区域视频和核心区域视频进行处理，获得运动目标检测结果图像，将其转化为视频。2.根据权利要求1所述的用于水电厂视频监控系统的实时运动目标检测方法，其特征是，在步骤1中，对水电厂视频监控系统中的视频按照其监控场景进行分类，按照被监控生产区域的重要性依次分为核心区域监控视频、重点区域监控视频和一般区域监控视频；其中，核心区域为水电厂厂房内的核心生产区域，主要包括例如发电机室、水车室；重点区域为水电厂厂房内的非核心区域，主要包括中控室、办公室、走廊；一般区域为水电厂厂房外围监控优先级较低的区域。3.根据权利要求1所述的用于水电厂视频监控系统的实时运动目标检测方法，其特征是，在步骤2中，步骤2
‑
1，对于任一被分类为重点区域的监控视频，人工采集其位于早、晚两个时段的监控视频，生成两段子视频，采集的视频的时长应尽可能长一些；步骤2
‑
2、对于所述的早、晚两个时段的子视频，将其转化为两个逐帧的视频图像集，将两个视频图像集进行灰度化处理；步骤2
‑
3、对于所述的两个逐帧的视频图像集，使用均值法计算出其对应的虚拟背景模型，其中均值法的公式如下：式中，Bg(x,y)为背景模型在坐标(x,y)处的平均灰度值，为N帧图像在坐标(x,y)处像素点的灰度值总和，N为视频图像集包含的图像个数。4.根据权利要求1所述的用于水电厂视频监控系统的实时运动目标检测方法，其特征是，在步骤3中，步骤3
‑
1，构建所述用于视频运动目标检测的轻量级卷积神经网络的输入层；输入任意
大小的3通道RGB图像，对于长或宽不满足16倍数的图像，进行边缘自适应补0的操作；步骤3
‑
2，构建所述全卷积网络模型的编码器网络；所述编码器网络基于MoblieNetV3
‑
Large网络，删除其最后的四个层级结构；该编码器网络包括5个模块，即模块1～模块5；模块1包含一个卷积核大小为3
×
3的卷积层和一个Bneck结构，模块2包含两个Bneck结构，模块3和模块5包含三个Bneck结构，模块4包含六个Bneck结构；步骤3
‑
3，构建所述用于视频运动目标检测的轻量级卷积神经网络的解码器网络；解码器网络包括5个模块，即模块6～模块10，其中模块6、模块7、模块8、模块9均包含一个上采样层和两个卷积核大小为3
×
3的卷积层，先使用双线性插值法完成上采样，再进行特征的拼接，拼接好的特征进入两个卷积核大小为3
×
3的卷积层进行上采样特征的完善；模块10中包含CBAM注意力机制模块、一个卷积核大小为1
×
1的卷积层和一个上采样层。5.根据权利要求1所述的用于水电厂视频监控系统的实时运动目标检测方法，其特征是，在步骤4中，步骤4
‑
1，对于任一被分类为核心区域的监控视频，利用其对应的监控摄像头捕获一段视频；步骤4
‑
2，从捕获的视频序列中按照均匀的时序分布选取M帧视频图像，使用任意像素级别的标注软件Image Labeler、LabelMe或CVAT标注视频图像的运动目标区域，构成该场景的数据集；待标注完成后，随机选取N帧标注图像及对应的原始图像作为验证集，剩余M
‑
N帧标注图像及对应的原始图像作为训练集；步骤4
‑
3，对M帧视频图像进行标准化处理，得到标准化后结果，其中，标准化的公式如下：式中，y
i
为标准化后结果，x
i
为当前帧图像，为训练集图像均值，s为训练集图像标准差。6.根据权利要求1所述的用于水电厂视频监控系统的实时运动目标检测方法，其特征是，在步骤5中，步骤5
‑
1，对于编码器网络，加载在ImageNet数据集上预训练的MoblieNetV3
‑
Large网络的权重，并维持...

【专利技术属性】
技术研发人员：张文韬，余长娥，张晓宇，杨鹏，刘先科，曾勇，王伟，曾正奇，张晓军，胡珊，宁毅，刘书圆，任静，
申请(专利权)人：中国长江电力股份有限公司，
类型：发明
国别省市：