【技术实现步骤摘要】
本专利技术涉及目标检测，具体为一种基于时空图卷积网络的异常行为识别方法。
技术介绍
1、传统的运维作业过程中通过对运维人员进行规范作业培训、运维人员的自我监督以及通过视频监控系统进行人工监督和观察来发现、排除和规避安全作业隐患，但是在实际的运维作业过程中，运维人员常常因为侥幸心理将规范作业标准抛之脑后，给运维作业带来了安全隐患，虽然还有人工视频监督进行提醒，但是因为工作人员的精力有限、运维作业时间长等原因，导致负责视频监督的工作人员不能及时发现并排除安全隐患。
2、中国专利，公开号：cn113076825a，公开日：2021年7月6日，公开了一种变电站工作人员爬高安全监测方法，包括step1、视频画面人体关节点提取，再通过一条姿势线将每对关联的身体部位连接起来，姿势线将组合成图像中检测出的人体的全身姿态；其中，使用openpose算法对视频画面中的人员进行关节点提取，并且在其中添加了人体检测和人体区域融合步骤；step2、工作人员爬高动作检测判断；如果检测出来工作人员具有爬高行为，则要进行下一步；step3、爬高中工作人员防护措施识别：判断是否根据要求正确佩戴好了安全带和安全帽，具体地，使用yolo算法检测人体图像区域是否存在相应的物体；而该专利技术并未考虑行为识别过程中涉及到的时空特性，导致工作人员防护措施识别的准度低。
技术实现思路
1、本专利技术的目的是针对现有技术没有考虑行为识别过程中的时空特性，导致作业现场运维人员异常行为识别准度低的问题；提出了一种基于时空图
2、第一方面，本专利技术实施例中提供的一种技术方案是，一种基于时空图卷积网络的异常行为识别方法，包括以下步骤：
3、s1、采集运维人员作业现场监控视频输入目标检测算法识别并标记检测目标得到检测视频；
4、s2、将所述检测视频输入姿态估计算法进行计算得到检测目标的骨架图；
5、s3、以所述骨架图为基础构建行为时空图，并将行为时空图划分为训练图集和测试图集；
6、s4、以所述训练图集为基础训练根据注意力机制改进的行为识别模型；
7、s5、将所述测试图集输入完成训练的行为识别模型识别作业现场运维人员行为是否存在异常，当所述运维人员行为异常时告警。
8、本方案中，将运维人员作业现场监控视频输入目标检测算法，识别监控画面中以运维人员为主体的区域作为检测目标区域得到检测视频，并通过姿态估计算法计算检测视频中运维人员的骨架图，即检测目标的骨架图，减小视频中非必要因素对识别结果的影响，随后以骨架图为基础构建并划分行为时空图得到训练图集和测试图集，提取出检测视频中的时空特性，并基于训练图集训练已根据注意力机制改进的行为识别模型，令所述行为识别模型的性能在满足实际识别工作需要的前提下达到最优，最后将测试图集输入完成训练的行为识别模型，所述行为识别模型在结合检测视频时空特性的基础上分析测试图集以判断作业现场运维人员的行为是否存在异常，当所述运维人员行为异常时告警，显著提高作业现场运维人员异常行为识别的准度。
9、作为优选，所述s1中，采集运维人员作业现场监控视频输入目标检测算法识别并标记检测目标得到检测视频的具体过程为：
10、s11、将所述监控视频按照时间序列分解得到视频图像集；
11、s12、采用图像调整技术对视频图像集中的图像进行归一化，得到归一化图像集；
12、s13、基于所述归一化图像集中的图像进行特征提取确定检测目标并标记；
13、s14、根据已标记检测目标的图像进行融合得到检测视频。
14、本方案中，将所述监控视频按照时间序列分解为视频图像集，使不符合目标检测算法输入数据类型要求的视频数据转变为符合目标检测算法输入数据类型要求的图像数据，并采用图像调整技术对视频图像集中的图像进行归一化，使所述目标检测算法不必因为图像的尺寸不一样而重复计算用于标记的锚框，有效避免计算资源的浪费。
15、作为优选，所述s2中，姿态估计算法具体为能够获取人体骨架各个关节点的空间信息和位置信息的openpose算法。
16、作为优选，所述s3中，以所述骨架图为基础构建行为时空图的具体过程为：
17、s31、基于所述骨架图提取出所述检测视频的骨架序列信息，并根据所述骨架序列信息构建骨架图对应图结构；
18、s32、根据骨架图的图结构进行空间图卷积确定所述图结构对应聚合邻域信息，并根据所述聚合邻域信息进行时间图卷积得到局部时序特征；
19、s33、以所述局部时序特征为基础结合图结构构建行为时空图。
20、本方案中，根据骨架图的图结构进行空间图卷积确定所述图结构对应聚合邻域信息，实际是通过空间图卷积将骨架序列信息中的空间信息显化，其次，根据所述聚合邻域信息进行时间图卷积得到局部时序特征，实际是通过时间图卷积将骨架序列信息中的时间信息显化，且时间图卷积是在聚合邻域信息的基础上进行，这样就可以在卷积的过程中建立空间信息与时间信息之间的联系，令所述局部时序特征同时显化空间信息与时间信息。
21、作为优选，所述s32中，根据骨架图的图结构进行空间图卷积确定所述图结构对应聚合邻域信息的具体过程为：
22、s3211、根据骨架图的图结构建立特征矩阵，并根据骨架图图结构中关节点之间的连接关系建立邻接矩阵；
23、s3212、根据所述特征矩阵及邻接矩阵进行乘法计算得到聚合邻域信息。
24、本方案中，利用特征矩阵及邻接矩阵之间的乘法计算提取骨架图对应的空间信息得到聚合邻域信息。
25、作为优选，所述s32中，根据所述聚合邻域信息进行时间图卷积得到局部时序特征的具体过程为：
26、s3221、根据所述聚合邻域信息确定时间图卷积的时间域，并根据所述聚合邻域信息对图结构中的关节点进行分区得到根节点子图、向心子图及离心子图；
27、s3222、基于所述时间域对根节点子图卷积确定静止特征，基于所述时间域对向心子图卷积确定向心特征，基于所述时间域对离心子图卷积确定离心特征；
28、s3223、整理所述静止特征、向心特征及离心特征得到局部时序特征。
29、本方案中，在聚合邻域信息的基础上进行时间信息的提取，并按照空间信息将同时包含空间特征及时序特征的局部时序特征分为静止特征、向心特征及离心特征，为判断检测目标的行为做有力支撑。
30、作为优选，所述s3221本文档来自技高网...
【技术保护点】
1.一种基于时空图卷积网络的异常行为识别方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的一种基于时空图卷积网络的异常行为识别方法，其特征在于，所述S1中，采集运维人员作业现场监控视频输入目标检测算法识别并标记检测目标得到检测视频的具体过程为：
3.根据权利要求1所述的一种基于时空图卷积网络的异常行为识别方法，其特征在于，所述S2中，姿态估计算法具体为能够获取人体骨架各个关节点的空间信息和位置信息的OpenPose算法。
4.根据权利要求1所述的一种基于时空图卷积网络的异常行为识别方法，其特征在于，所述S3中，以所述骨架图为基础构建行为时空图的具体过程为：
5.根据权利要求4所述的一种基于时空图卷积网络的异常行为识别方法，其特征在于，所述S32中，根据骨架图的图结构进行空间图卷积确定所述图结构对应聚合邻域信息的具体过程为：
6.根据权利要求4所述的一种基于时空图卷积网络的异常行为识别方法，其特征在于，所述S32中，根据所述聚合邻域信息进行时间图卷积得到局部时序特征的具体过程为：
7.根据权利要
8.根据权利要求1所述的一种基于时空图卷积网络的异常行为识别方法，其特征在于，所述S4中，根据注意力机制改进行为识别模型具体为：
9.根据权利要求8所述的一种基于时空图卷积网络的异常行为识别方法，其特征在于，所述注意力模块根据输入行为识别模型的训练图集确定行为识别模型特征通道权重的具体过程为：
10.根据权利要求1所述的一种基于时空图卷积网络的异常行为识别方法，其特征在于，所述S4训练行为识别模型的过程中，还计算所述行为识别模型的评价指标，用于确定最优行为识别模型，所述评价指标的计算公式具体为：
...【技术特征摘要】
1.一种基于时空图卷积网络的异常行为识别方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的一种基于时空图卷积网络的异常行为识别方法，其特征在于，所述s1中，采集运维人员作业现场监控视频输入目标检测算法识别并标记检测目标得到检测视频的具体过程为：
3.根据权利要求1所述的一种基于时空图卷积网络的异常行为识别方法，其特征在于，所述s2中，姿态估计算法具体为能够获取人体骨架各个关节点的空间信息和位置信息的openpose算法。
4.根据权利要求1所述的一种基于时空图卷积网络的异常行为识别方法，其特征在于，所述s3中，以所述骨架图为基础构建行为时空图的具体过程为：
5.根据权利要求4所述的一种基于时空图卷积网络的异常行为识别方法，其特征在于，所述s32中，根据骨架图的图结构进行空间图卷积确定所述图结构对应聚合邻域信息的具体过程为：
6.根据权利要求4所述的一种...
【专利技术属性】
技术研发人员：蓝剑，寿博仁，曹保良，王旭杰，赵一帆，肖坤，何瑞兵，郑扬义，何韶华，何渊，柳自越，
申请(专利权)人：浙江武义电气安装工程有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。