基于视频监控的水利工程智能巡查方法及装置、电子设备制造方法及图纸

本发明专利技术公开了一种基于视频监控的水利工程智能巡查方法及装置、电子设备，包括：建立需检查的隐患标准数据库；根据每个摄像头监视范围对水利工程巡查区域进行网格化处理，其中每个网格至少具有一个摄像头和语音广播装置，每个摄像头的监视范围内至少设置四个特征点；接收所述特征点与对应的摄像头的相关参数，并将两者进行绑定和地理定位；接收摄像头采集的视频图像和摄像头的视频参数；建立视频识别所需的样本库；根据所述隐患标准数据库和样本库，对所述视频图像进行视频识别和空间融合以及动态演变监测分析，获得隐患识别结果；根据所述隐患识别结果中识别出的工程隐患和不规范行为，生产预警信息进行预警。生产预警信息进行预警。生产预警信息进行预警。

【技术实现步骤摘要】
基于视频监控的水利工程智能巡查方法及装置、电子设备


[0001]本申请涉及水利工程巡查管理
，尤其涉及一种基于视频监控的水利工程智能巡查方法及装置、电子设备。

技术介绍

[0002]水利工程安全是工程管理的底线，为了防范化解重大风险隐患，对于水利工程安全管理，一直以来主要是采用传统的人工定点巡查方式，受地形、天气因素、人员水平经验影响，存在视觉盲区巡查覆盖不全面、时效性低问题发现不及时、持续跟踪监管困难等问题，在整个巡查过程中，人力资源消耗大，隐患排查完全依赖巡查人员个人判断，无法保证隐患排查的全覆盖和巡查结果真实可靠。随着水管体制的改革，由于人员减少、人力成本的提高，传统通过人工巡查的工作方式已经无法完全通过人力方式进行全覆盖，加之人工巡查费时费力且容易出现疏漏和判别失误，不能实时的提供预警信息，使得工程安全管理预警工作存在滞后与隐患，预警监管效率低。

技术实现思路

[0003]本申请实施例的目的是提供一种基于视频监控的水利工程智能巡查方法及装置、电子设备，从而实现智能技术手段替代部分人力巡查管理，辅助管理范围形成高效的智能巡查及管理预判、隐患闭环处理，以解决相关技术中存在的人员不足和隐患排查不彻底的技术问题。
[0004]根据本申请实施例的第一方面，提供一种基于视频监控的水利工程智能巡查方法，包括：
[0005]S0：根据水利工程监督检查办法和水利工程运行管理规程梳理水利工程巡查清单，建立需检查的隐患标准数据库；
[0006]S1：根据每个摄像头监视范围对水利工程巡查区域进行网格化处理，其中每个网格至少具有一个摄像头和语音广播装置，每个摄像头的监视范围内至少设置四个特征点并直接定位到巡查区域的电子地图上；
[0007]S2：接收所述特征点与对应的摄像头的相关参数，并将两者进行绑定；
[0008]S3：接收摄像头采集的视频图像和摄像头的视频参数和地理定位；
[0009]S4：建立视频识别所需的样本库；
[0010]S5：根据所述隐患标准数据库和样本库，对所述视频图像进行视频识别和空间融合以及动态演变监测分析计算，获得隐患识别结果；
[0011]S6：根据所述隐患识别结果中识别出的工程隐患，生产第一预警信息，并将所述第一预警信息发送给管理责任人的客户端；对所述隐患识别结果中识别出的不规范行为，生产第二预警信息，并将所述第二预警信息转换为语音发送给所述语音广播装置进行语音播报预警。
[0012]可选的，还包括：
[0013]S7，根据预警信息中的解决方案进行隐患处理，同时将经确认的问题和对应的图片、实际的处理措施转入样本库。
[0014]可选的，所述隐患标准数据库中的隐患根据隐患涉及的对象是物还是人分为工程隐患和不规范行为两个类别，每类隐患还根据危害和整改难度分为一般隐患和严重隐患两个级别，其中所述一般隐患为将发现后能够立即整改排除的隐患，其余的隐患为重大隐患；所述隐患标准数据库中还具有根据水利工程管理知识和安全处理历史经验，针对隐患类别和级别建立相应的隐患处理对策和解决方案。
[0015]可选的，接收摄像头采集的视频图像和摄像头的视频参数，包括：
[0016]S31：根据巡查要求进行影像采集，在非汛期参照日常巡查频率要求，对网格进行轮巡保证在巡查周期内能全覆盖；在汛期，对重点巡查对象所在的网格可加密识别，选择巡查周期内清晰度较高的图片进行识别；在设施设备运行期间可不间断采样进行实时或准实时采样识别；
[0017]S32：在采集视频图像时同时采取摄像头参数。
[0018]可选的，建立视频识别所需的样本库，包括：
[0019]S41：根据巡查对象要求选择网格内接收的视频影像，并按一定规则切割成包含需巡查的工程设施和所设特征点图片，并标注隐患标签、时间标签和摄像头参数；
[0020]S42：对上述所选择的系列图片根据特征点进行几何校正配准和地理定位，并标记正常和不正常类别的样本，对不正常样本中工程隐患、不规范行为图片进行标记。
[0021]可选的，根据所述隐患标准数据库和样本库，对获取的视频图像进行视频识别，获得隐患识别结果，包括：
[0022]S51，根据采集的摄像头参数在样本库中选择具有相同参数的图像，根据预设的特征点进行配准和地理定位；
[0023]S52，根据电子地图上视频地理位置从样本库中自动选取同一地理空间区域具有相同参数的历史同期的正常图片或上一次正常图片作为比对图片，采用背景差值法或帧差法进行隐患、违规行为巡查检测，得到变化区域1，作为初步识别结果；
[0024]S53，采用基于深度学习的图像识别算法，对网格图像进行异常目标检测和图像智能识别，构建适用于识别隐患的深度学习模型，对工程隐患和人员不规范行为的持续训练，对不同的图像进行识别，并依据图像识别相似度，同步推荐疑似问题，训练过程中需要持续采集和标记相关样本；相似度最高的结果确认为识别结果，其他识別结果按相似度由高到低排序，作为疑似问题进行关联推荐，得到变化区域2；
[0025]S54，对变化区域1和变化区域2进行交叉、相邻、包含空间关系判断和空间融合计算，当交叉、相邻时取二者之和为变化区域，当包含时取大的区域为变化区域，作为标记区域进行类别智能识别判断；
[0026]S55，对上述变化区域与样本库中不正常的样例进行形态、特征比对，获取隐患类别，同时根据图像识别的类别在隐患标准数据库中模糊匹配相应的隐患或不规范行为描述作为疑似问题；
[0027]S56，对识别的疑似问题，按照模糊匹配的工程隐患和不规范行为两个类别写入到对应的疑似问题数据库中，并在图片上提供疑似问题的位置、探头编号、网格编号、图片时间、疑似问题类别；
[0028]S57，根据已分类的疑似问题，模糊匹配隐患标准数据库中的一般隐患、严重隐患，得到隐患分级信息；
[0029]S58，对一般隐患通过不间断加密巡查识别，进行动态演变监测分析，通过帧间差分法，利用图像序列中连续多帧图像的差异来进行隐患演化的监测分析，将连续实时图像f
t
‑2(x，y)、f
t
‑1(x，y)、f
t
(x，y)作差运算，得到差值图像D
t
‑1(x,y)＝f
t
‑1(x，y)
‑
f
t
‑2(x，y)，D
t
(x,y)＝f
t
(x，y)
‑
f
t
‑1(x，y)，对差值图像D
t
‑1(x,y)、D
t
(x,y)除以相应的时间间隔得到变化速率，V
t
(x,y)＝D
t
(x,y)/ΔT1，V
t
‑1(x,y)＝D
t
‑1(x,y)/ΔT2，ΔT1为t时刻图像与t
‑
1时刻图像之间的时间间隔，ΔT2为t
‑
...

【技术保护点】

【技术特征摘要】
1.一种基于视频监控的水利工程智能巡查方法，其特征在于，包括：S0：根据水利工程监督检查办法和水利工程运行管理规程梳理水利工程巡查清单，建立需检查的隐患标准数据库；S1：根据每个摄像头监视范围对水利工程巡查区域进行网格化处理，其中每个网格至少具有一个摄像头和语音广播装置，每个摄像头的监视范围内至少设置四个特征点并直接定位到巡查区域的电子地图上；S2：接收所述特征点与对应的摄像头的相关参数，并将两者进行绑定；S3：接收摄像头采集的视频图像和摄像头的视频参数，并将图像进行地理定位；S4：建立视频识别所需的样本库；S5：根据所述隐患标准数据库和样本库，对所述视频图像进行视频识别和空间融合以及动态演变监测分析计算，获得隐患识别结果；S6：根据所述隐患识别结果中识别出的工程隐患，生产第一预警信息，并将所述第一预警信息发送给管理责任人的客户端；对所述隐患识别结果中识别出的不规范行为，生产第二预警信息，并将所述第二预警信息转换为语音发送给所述语音广播装置进行语音播报预警。2.根据权利要求1所述的方法，其特征在于，还包括：S7，根据预警信息中的解决方案进行隐患处理，同时将经确认的问题和对应的图片、实际的处理措施转入样本库。3.根据权利要求1所述的方法，其特征在于，所述隐患标准数据库中的隐患根据隐患涉及的对象是物还是人分为工程隐患和不规范行为两个类别，每类隐患还根据危害和整改难度分为一般隐患和严重隐患两个级别，其中所述一般隐患为将发现后能够立即整改排除的隐患，其余的隐患为重大隐患；所述隐患标准数据库中还具有根据水利工程管理知识和安全处理历史经验，针对隐患类别和级别建立相应的隐患处理对策和解决方案。4.根据权利要求1所述的方法，其特征在于，接收摄像头采集的视频图像和摄像头的视频参数，包括：S31：根据巡查要求进行影像采集，在非汛期参照日常巡查频率要求，对网格进行轮巡保证在巡查周期内能全覆盖；在汛期，对重点巡查对象所在的网格可加密识别，选择巡查周期内清晰度较高的图片进行识别；在设施设备运行期间可不间断采样进行实时或准实时采样识别；S32：在采集视频图像时同时采取摄像头参数。5.根据权利要求1所述的方法，其特征在于，建立视频识别所需的样本库，包括：S41：根据巡查对象要求选择网格内接收的视频影像，并按一定规则切割成包含需巡查的工程设施和所设特征点图片，并标注隐患标签、时间标签和摄像头参数；S42：对上述所选择的系列图片根据所设特征点进行几何校正配准，并直接对视频进行地理定位，并标记正常和不正常类别的样本，对不正常样本中工程隐患、不规范行为图片进行标记。6.根据权利要求1所述的方法，其特征在于，根据所述隐患标准数据库和样本库，对获取的视频图像进行视频识别，对不同方法识别结果进行空间融合以及动态演变监测分析计算，获得隐患识别结果，包括：
S51，根据采集的摄像头参数在样本库中选择具有相同参数的图像，根据预设的特征点进行配准和地理定位；S52，根据电子地图上视频地理位置从样本库中自动选取同一地理空间区域具有相同参数的历史同期的正常图片或上一次正常图片作为比对图片，采用背景差值法或帧差法进行隐患、违规行为巡查检测，得到变化区域1，作为初步识别结果；S53，采用基于深度学习的图像识别算法，对网格图像进行异常目标检测和图像智能识别，构建适用于识别隐患的深度学习模型，对工程隐患和人员不规范行为的持续训练，对不同的图像进行识别，并依据图像识别相似度，同步推荐疑似问题，训练过程中需要持续采集和标记相关样本；相似度最高的结果确认为识别结果，其他识別结果按相似度由高到低排序，作为疑似问题进行关联推荐，得到变化区域2；S54，对变化区域1和变化区域2进行交叉、相邻、包含空间关系判断和空间融合分析计算，当交叉、相邻时取二者之和为变化区域，当包含时取大的区域为变化区域，作为标记区域进行类别智能识别判断；S55，对上述变化区域与样本库中不正常的样例进行形态、特征比对，获取隐患类别，同时根据图像识别的类别在隐患标准数据库中模糊匹配相应的隐患或不规范行为描述作为疑似问题；...

【专利技术属性】
技术研发人员：宋立松，饶丹丹，殷腾箐，吴辉，陈捷，郑国，张笑楠，王云翔，
申请(专利权)人：浙江省水利河口研究院浙江省海洋规划设计研究院，
类型：发明
国别省市：