【技术实现步骤摘要】
本专利技术涉及目标检测领域，具体涉及面向水电厂视频监控的多模态融合动态目标检测系统。
技术介绍
1、本节中的陈述仅提供与本公开相关的背景信息，并且可能不构成现有技术。
2、水电厂作为电网的重要组成部分，承担着流域防洪、事故备用以及调频调峰的任务，水电厂的安全稳定运行和电网安全息息相关，对社会的安全稳定具备重要意义。然而，目前水电厂生产和运维仍存在问题，如冗余巡检、信息孤岛、人工成本和效率问题、管理困难、信息流转能力不足等，同时，近年的电厂中80％～90％危险事故与工作人员生产行为违章相关。
3、目前，水电厂提出“无人值班，少人值守”的运营管理模式，通过监控系统，对水电厂进行全方面的监管以及对生产人员的行为监督、对违章现象和不安全行为的管控，防止异常行为的发生，避免给水电厂带来重大经济效益损失。
4、然而，当下视频监控技术存在的问题：
5、1)监控设备布局不全面；
6、2)视频监控高度依赖人力；
7、3)巡检效率低下，即人员日常巡检路线和巡检质量是否细致没法把控，不仅是核心区域，其他区域的安全隐患也需要高度重视，因此提高巡检效率成为亟待解决的问题；
8、4)视频监控应用的智能化水平仍待提高；
9、5)视频监控设备的性能低下；
10、6)缺乏系统联动，智能视频监控系统需要将监控视频和平台联动化，形成统一配置管理，数据共享，智能分析和业务优化等，进而实现辅助生产和降本增效的效果；
11、7)检测目标复杂多样。水电厂内
技术实现思路
1、本专利技术的目的在于：针对考虑到水电厂安全高效运维的重要意义，以及当前视频监控方法存在的问题和缺陷，提供了面向水电厂视频监控的多模态融合动态目标检测系统，系统首先利用帧间差分法快速初筛潜在目标，随后通过自适应背景模型精细化分析，在此基础上，引入数字孪生模型对场景进行三维重建，实现对动态目标的三维定位，深度学习模型则负责目标的分类和行为分析，能够提高水电厂的规范化和精细化管理，提升监管和巡检效率，尽早发现生产过程中的异常，为全厂安全稳定的运转夯实基础，从而解决了上述问题。
2、本专利技术的技术方案如下：
3、面向水电厂视频监控的多模态融合动态目标检测系统，包括：
4、数据采集层、动态目标发现与异常检测层、数字孪生层、配置层；
5、所述数据采集层用于实时采集水电厂监控区域的视频数据以及感知数据；其中，视频数据分别输入到动态目标发现与异常检测层和数字孪生层，感知数据输入到数字孪生层；
6、所述动态目标发现与异常检测层一方面用于检测视频中的动态目标，另一方面用于构建数字孪生体中的三维重建；
7、所述数字孪生层用于现实环境在数字世界的实时渲染，当触发异常或者动态目标监测时，启动三维重建来还原监测区域情况，并进行智能化分析，完成数字孪生体的构建。
8、进一步地，所述数据采集层配备有摄像头、传感器、红外设备。
9、进一步地，所述视频数据通过h264编码，基于rtp协议推送到动态目标发现与异常检测层。
10、进一步地，所述动态目标发现与异常检测层，包括：
11、视频帧差分检测模块和自适应背景更新差分模块；
12、所述视频帧差分检测模块用于快速检测运动目标，实时分析连续帧之间的差异，初步识别动态目标；
13、所述自适应背景更新差分模块用于精细化识别运动区域，排除由于环境因素造成的误检测；如果，自适应背景更新差分模块检测到置信度高的动态目标或者异常对象时，则出发数字孪生层的细粒度三维重建和目标跟踪控制指令。
14、进一步地，所述数字孪生层，包括：
15、孪生构建模块和动态目标检测跟踪算法库；
16、所述孪生构建模块用于创建视频场景的数字孪生体，进行三维空间分析；通过数字孪生技术实现复杂场景下的三维目标检测和定位；
17、所述动态目标检测跟踪算法库供数字孪生层调用，用于智能化分析。
18、进一步地，还包括：
19、用户接口层；
20、所述用户接口层与数字孪生层联动，提供一个可视化平台，允许用户实时查看水电厂的监测状态、接受警报和维护建议，并能够与系统交互，提出查询或调整监控参数。
21、进一步地，还包括：
22、报警与反馈层；
23、所述报警与反馈层与动态目标检测跟踪模块联动，当检测到水电厂核心区域发生高风险情况时，则根据分析结果实时生成报警并反馈给工程师。
24、进一步地，还包括：
25、深度学习分析模块；
26、所述深度学习分析模块集成多种深度学习算法，为数字孪生体赋能，能够对检测到的目标进行智能分类和行为识别，并基于规则进行自动触发报警和响应机制。
27、进一步地，所述视频帧差分检测模块的处理过程如下：
28、步骤a：对原始视频数据进行预处理；
29、步骤b：计算帧差分：
30、dt(x,y)＝|it(x,y)-it-1(x,y)|
31、其中，it和it-1是连续两个视频帧，dt为帧间差分，如果差分值dt(x,y)大于设定的阈值θ1，则认为该位置有运动发生。
32、进一步地，所述自适应背景更新差分模块的处理过程如下：
33、当得到的差分值大于阈值θ1时，初步认为运动发生，然后利用自适应背景更新算法进行第二步精细化的计算；
34、所述自适应背景更新算法维护一个动态背景bt，并计算当前帧与动态背景bt的差异，计算过程为st：
35、st(x,y)＝|it(x,y)-bt(x,y)|
36、bt+1(x,y)＝α.it(x,y)+(1-α)bt(x,y)
37、背景模型是通过对当前像素值it(x,y)与当前背景模型bt(x,y)进行加权平均来更新的，其中α是一个学习率参数，用于控制新旧信息的融合速度；然后，开始计算异常值at；
38、异常值at通过检测st是否超过了设定的阈值θ2来确定；如果st(x,y)大于θ2，则认为像素点(x,y)在时间t有异常；计算异常值at的具体步骤如下：
39、为每个像素点设定一个阈值θ2；
40、对于每个像素点(x,y)，计算st(x,y)；
41、比较st(x,y)与阈值θ2，如果st(x,y)>θ2，则将该像素点标记为异常，需要进一步到数字孪生层中进行渲染和三维重建。
42、与现有的技术相比本专利技术的有益效果是：
43、1、本专利技术能够根据实时分析结果自动触发报警，并生成详细的检测报告，极大地提升了监控操作的自动化水平和工程师的工作效率，不仅提高了检测系统的准确性和可靠性本文档来自技高网...
【技术保护点】
1.面向水电厂视频监控的多模态融合动态目标检测系统，其特征在于，包括：
2.根据权利要求1所述的面向水电厂视频监控的多模态融合动态目标检测系统，其特征在于，所述数据采集层配备有摄像头、传感器、红外设备。
3.根据权利要求2所述的面向水电厂视频监控的多模态融合动态目标检测系统，其特征在于，所述视频数据通过H264编码，基于RTP协议推送到动态目标发现与异常检测层。
4.根据权利要求1所述的面向水电厂视频监控的多模态融合动态目标检测系统，其特征在于，所述动态目标发现与异常检测层，包括：
5.根据权利要求1所述的面向水电厂视频监控的多模态融合动态目标检测系统，其特征在于，所述数字孪生层，包括：
6.根据权利要求5所述的面向水电厂视频监控的多模态融合动态目标检测系统，其特征在于，还包括：
7.根据权利要求6所述的面向水电厂视频监控的多模态融合动态目标检测系统，其特征在于，还包括：
8.根据权利要求7所述的面向水电厂视频监控的多模态融合动态目标检测系统，其特征在于，还包括：
9.根据权利要求4所
10.根据权利要求9所述的面向水电厂视频监控的多模态融合动态目标检测系统，其特征在于，所述自适应背景更新差分模块的处理过程如下：
...【技术特征摘要】
1.面向水电厂视频监控的多模态融合动态目标检测系统，其特征在于，包括：
2.根据权利要求1所述的面向水电厂视频监控的多模态融合动态目标检测系统，其特征在于，所述数据采集层配备有摄像头、传感器、红外设备。
3.根据权利要求2所述的面向水电厂视频监控的多模态融合动态目标检测系统，其特征在于，所述视频数据通过h264编码，基于rtp协议推送到动态目标发现与异常检测层。
4.根据权利要求1所述的面向水电厂视频监控的多模态融合动态目标检测系统，其特征在于，所述动态目标发现与异常检测层，包括：
5.根据权利要求1所述的面向水电厂视频监控的多模态融合动态目标检测系统，其特征在于，...
【专利技术属性】
技术研发人员：王博，葸维欣，华有明，刘鑫，彭森，吴斌，夏帆，胡长浩，
申请(专利权)人：三峡金沙江川云水电开发有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。