【技术实现步骤摘要】
本专利技术涉及变电所，特别涉及一种人员行为检测方法、控制器、人员行为检测系统和变电所。
技术介绍
1、目前，变电所的人员安全监测主要依赖于摄像头和人工监控结合的方式。这种系统通过摄像头采集现场视频数据，并由操作人员实时监控画面。然而，针对突发性的人员异常行为，如触电或倒地，现有系统通常需要结合多种逻辑判断来识别异常，稳定性及通用性相对较差且容易产生误判或漏判，而且无法准确地对场景进行描述及记录。
技术实现思路
1、本专利技术的主要目的是提出一种人员行为检测方法、控制器、人员行为检测系统和变电所，旨在提升人员行为检测方法的鲁棒性，进而提升检测的准确性和可靠性。
2、为实现上述目的，本专利技术提出的人员行为检测方法，用于变电所，所述变电所内设置有至少一个摄影组件，所述人员行为检测方法包括：
3、获取所述摄影组件捕获到的视频数据；
4、将所述视频数据输入至预先训练的多模态特征生成模型，所述多模态特征生成模型包括视觉编码模块、语义编码模块和译码模块；
5、通过所述视觉编码模块对所述视频数据进行编码，得到与所述视频数据对应的图像特征；
6、通过所述语义编码模块对所述视频数据进行编码，得到与所述视频数据对应的语义特征，和/或，通过所述语义编码模块对所述图像特征进行编码，得到与所述视频数据对应的语义特征；
7、通过所述译码模块，对所述图像特征和语义特征进行译码，得到与所述图像特征和语义特征对应的多模态特征信号，所述多模态特征
8、根据所述多模态特征信号，确定变电所内的人员行为的状态。
9、在一实施方式中，所述多模态特征生成模型的训练步骤包括：
10、从预设人员行为大数据中获取至少一个训练样本，所述训练样本包括至少一个视觉图像和与所述视觉图像相对应的语言标签；
11、将所述训练样本输入至所述多模态特征生成模型，对所述多模态特征生成模块的参数进行更新。
12、在一实施方式中，所述训练样本的数量为多个，所述多个训练样本用于表征所述变电所内的人员行为处于第一异常状态，且每一所述训练样本的语言标签还用于表征所述变电所内的人员行为处于第一异常状态的异常等级；
13、所述根据所述多模态特征信号，确定变电所内的人员行为包括：
14、在所述视频数据输入所述多模态特征生成模型，且所述多模态特征生成模型确定所述视频数据对应的场景包括第一异常状态时，输出用于表征所述变电所内的人员行为处于异常状态的报警信号，以及输出用于表征第一异常状态的异常等级的等级信号。
15、在一实施方式中，所述训练样本包括至少一个用于表征所述变电所内的人员处于异常状态的训练样本以及至少一个用于表征所述变电所内的人员处于正常状态的训练样本；
16、所述根据所述多模态特征信号，确定变电所内的人员行为包括：
17、在所述多模态特征信号不表征所述异常状态和正常状态的情况下，确定所述变电所内的人员行为存在潜在异常状态，并通过场景分析以确定具体的人员状态。
18、在一实施方式中，在所述将所述训练样本输入至所述多模态特征生成模型之前还包括：
19、对所述训练样本中的视觉图像进行变换处理，以得到至少一个处理后视觉图像，所述变换处理包括图像缩放和/或色彩调整和/或噪声处理和/或清晰度处理和/或混合图像；
20、根据所述视觉图像对应的语言标签，确定所述处理后视觉图像的语言标签。
21、在一实施方式中，所述变电所内设置有多个摄影组件，所述获取所述摄影组件捕获到的视频数据具体包括：
22、获取所述多个摄影组件捕获到的多个视频数据；
23、对所述多个视频数据进行图像处理工作，所述图像处理工作包括噪声滤除处理和/或直方图均衡化处理和/或对比度增强处理和/或帧率调节处理。
24、在一实施方式中，所述人员行为检测方法还包括：
25、在所述多模态特征信号表征所述变电所内的人员行为处于异常状态的情况下，触发报警机制，并将所述视频数据发送至云端；和/或，
26、根据所述视频数据，生成事件报告，所述事件报告至少包括图像分析结果、语义分析结果和场景预测结果中的一者；
27、在报警信息发出后，继续对变电所内的人员行为进行检测，直至确认异常状态已消除；
28、在所述多模态特征信号表征所述变电所内的人员行为处于正常状态的情况下，继续对变电所内的人员行为进行检测。
29、本专利技术还提供一种主控制器，所述主控制器用于实现如上文任一项所述的人员行为检测方法。
30、本专利技术还提供一种人员行为检测系统，所述行为检测系统包括：
31、数据采集模块，具有多个高分辨率摄影组件，用于捕获视频数据；
32、多模态特征生成模块，与所述数据采集模块连接，所述多模态特征生成模块具有视觉编码模块、语义编码模块和译码模块，所述视觉编码模块用于对所述视频数据进行视觉编码，得到图像特征，所述语义编码模块用于对所述视频数据进行语义编码，得到语义特征，所述译码模块用于对所述图像特征和所述语义特征进行译码处理，并输出多模态特征信号；
33、检测模块，与所述多模态特征生成模块连接，所述检测模块用于根据所述多模态特征信号，并输出表征人员行为的检测信号；
34、报警模块，与所述检测模块连接；在所述检测信号表征所述人员行为处于异常状态时，输出报警信号；
35、如上文所述的主控制器，与所述多模态特征生成模块和所述检测模块连接，所述主控制器用于通过所述数据采集模块、多模态特征生成模块、检测模块和报警模块实现人员行为检测。
36、本专利技术还提供一种变电所，所述变电所包括：
37、如上文所述的主控制器；或者，
38、如上文所述的人员行为检测系统。
39、本专利技术提供了一个人员行为检测系统，提升了人员行为检测方法的鲁棒性，进而提升检测的准确性和可靠性。多摄影组件确保了全方位、无死角的实时监控。多模态特征生成模型结合了视觉和语义编码技术，通过特征融合和异常检测算法，提升了行为识别的准确性和可靠性。具体地，通过摄影组件捕获视频数据，随后通过本预先训练好的多模态特征生成模型对视频数据进行编码和译码，首先通过视觉编码模块提取视频数据中的图像特征，然后再通过语义编码模块提取图像特征或者视频数据的语义特征，随后将图像特征和语义特征进行译码，以得到多模态特征信号，该多模态特征信号结合了原始视频数据的图像特征和语义特征，如此，系统能够更全面、更精确地识别和判断变电所内的人员行为，无论是正常行为还是异常行为，都能被及时、准确地检测出来，从而显著提高了系统的检测的准确性和可靠性。
本文档来自技高网...【技术保护点】
1.一种人员行为检测方法，其特征在于，用于变电所，所述变电所内设置有至少一个摄影组件，所述人员行为检测方法包括：
2.如权利要求1所述的人员行为检测方法，其特征在于，所述多模态特征生成模型的训练步骤包括：
3.如权利要求2所述的人员行为检测方法，其特征在于，所述训练样本的数量为多个，所述多个训练样本用于表征所述变电所内的人员行为处于第一异常状态，且每一所述训练样本的语言标签还用于表征所述变电所内的人员行为处于第一异常状态的异常等级；
4.如权利要求2所述的人员行为检测方法，其特征在于，所述训练样本包括至少一个用于表征所述变电所内的人员处于异常状态的训练样本以及至少一个用于表征所述变电所内的人员处于正常状态的训练样本；
5.如权利要求2至4任一项所述的人员行为检测方法，其特征在于，在所述将所述训练样本输入至所述多模态特征生成模型之前还包括：
6.如权利要求1至4任一项所述的人员行为检测方法，其特征在于，所述变电所内设置有多个摄影组件，所述获取所述摄影组件捕获到的视频数据具体包括：
7.如权利要求1至4任一项所述
8.一种主控制器，其特征在于，所述主控制器用于实现如权利要求1至7任一项所述的人员行为检测方法。
9.一种人员行为检测系统，其特征在于，所述行为检测系统包括：
10.一种变电所，其特征在于，所述变电所包括：
...【技术特征摘要】
1.一种人员行为检测方法，其特征在于，用于变电所，所述变电所内设置有至少一个摄影组件，所述人员行为检测方法包括：
2.如权利要求1所述的人员行为检测方法，其特征在于，所述多模态特征生成模型的训练步骤包括：
3.如权利要求2所述的人员行为检测方法，其特征在于，所述训练样本的数量为多个，所述多个训练样本用于表征所述变电所内的人员行为处于第一异常状态，且每一所述训练样本的语言标签还用于表征所述变电所内的人员行为处于第一异常状态的异常等级；
4.如权利要求2所述的人员行为检测方法，其特征在于，所述训练样本包括至少一个用于表征所述变电所内的人员处于异常状态的训练样本以及至少一个用于表征所述变电所内的人员处于正常状态的...
【专利技术属性】
技术研发人员：陈永彬，黄嘉思，黄国健，陈红烨，彭梓豪，汤嘉豪，龙鹏云，吴奕锋，梁泽民，梁少杰，单子荏，宋潇哲，
申请(专利权)人：广东机电职业技术学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。