【技术实现步骤摘要】
本专利技术属于电力作业现场监控，具体涉及基于时空上下文推理的作业现场安全风险管控方法及装置。
技术介绍
1、目前，电网运行、设备检修、建设施工等各类电网现场作业，任务繁重，点多面广，现场风险防控难度较大。传统“人管安全”模式主要通过各类监控终端实施现场和远程安全管控，违章识别主要依赖人工甄别，因此，利用人工智能算法实现电力作业人员违章行为辅助识别成为一种新的解决方案。
2、近年来，电力作业现场安全风险管控辅助决策技术局限于基于视频帧的人员状态类违章识别，利用图像视频帧进行作业人员目标检测，实现未戴安全帽、未穿绝缘手套等简单的状态类违章识别。然而在复杂场景作业人员与设备交互频繁、多个行为间包含先后顺序时，模型准确率低、误报率高。
技术实现思路
1、为克服上述相关技术中存在的问题，本申请提供基于时空上下文推理的作业现场安全风险管控方法及装置。
2、根据本申请实施例的第一方面，提供一种基于时空上下文推理的作业现场安全风险管控方法，包括：
3、连续采集电力作业现场的目标监控视频；
4、构建所述目标监控视频中当前帧图像的第一空间知识图谱；
5、基于所述第一空间知识图谱，利用预先建立的图卷积神经网络确定所述当前帧图像是否存在状态类违章行为，并当所述当前帧存在状态类违章行为时，进行第一风险预警；
6、按时间先后顺序，利用预先建立的行为分类算法确定所述目标监控视频中每帧图像的行为信息；
7、利用所述目标监控视频中当
8、所述预先建立的图卷积神经网络和所述预先建立的行为分类算法均是利用电力作业现场的历史目标监控视频建立的。
9、优选的，所述构建所述目标监控视频中当前帧图像的第一空间知识图谱，包括：
10、以高帧率的抽取方式，从所述目标监控视频中抽取当前帧图像；
11、利用预先建立的电力核心要素特征提取网络，提取所述当前帧图像的核心对象特征；
12、对所述当前帧图像的核心对象特征进行聚类，得到第一候选语义；
13、利用所述第一候选语义构建所述第一空间知识图谱。
14、优选的，所述基于所述第一空间知识图谱，利用预先建立的图卷积神经网络确定所述当前帧图像是否存在状态类违章行为，包括：
15、以所述第一空间知识图谱为所述预先建立的图卷积神经网络的输入；
16、当所述当前帧图像存在状态类违章行为时，所述预先建立的图卷积神经网络输出所述当前帧图像的状态类违章行为信息；
17、当所述当前帧图像不存在状态类违章行为时，所述预先建立的图卷积神经网络输出所述当前帧图像不存在状态类违章行为。
18、优选的，所述预先建立的图卷积神经网络的参数是利用损失函数进行迭代更新。
19、优选的，所述按时间先后顺序，利用预先建立的行为分类算法确定所述目标监控视频中每帧图像的行为信息，包括：
20、以低帧率的抽取方式，从所述目标监控视频中抽取每帧图像；
21、按时间先后顺序，以所述目标监控视频中每帧图像为预先建立的行为分类算法的输入，输出所述每帧图像的行为信息。
22、优选的，所述利用所述目标监控视频中当前滑动时间窗口内的所有帧图像对应的行为信息构建行为语义图，包括：
23、基于电力行为知识图谱，利用所述目标监控视频中当前滑动时间窗口内的所有帧图像对应的行为信息构建行为语义图。
24、优选的，所述电力行为知识图谱是利用电力行为规范操作构建的；
25、其中，所述电力行为知识图谱包括：行为和关系；所述行为为作业人员做出的行为，所述关系为各个行为之间的关系。
26、优选的，所述预先建立的电力核心要素特征提取网络的建立过程，包括：
27、采集电力作业现场的历史监控视频；
28、以高帧率的抽取方式，从所述历史监控视频中抽取每帧图像；
29、标注所述历史监控视频中每帧图像的核心对象特征；
30、以所述历史监控视频中每帧图像为目标检测算法yolo的输入层训练样本，以所述历史监控视频中每帧图像的核心对象特征为目标检测算法yolo的输出层训练样本，对目标检测算法yolo进行训练，得到训练后的目标检测算法yolo，所述训练后的目标检测算法yolo为所述电力核心要素特征提取网络。
31、优选的，所述预先建立的图卷积神经网络的建立过程，包括：
32、采集电力作业现场的历史监控视频；
33、以高帧率的抽取方式，从所述历史监控视频中抽取每帧图像；
34、标注所述历史监控视频中每帧图像是否存在状态类违章行为，以及标注存在状态类违章行为的图像对应的状态类违章行为信息；
35、构建所述历史监控视频中每帧图像的第二空间知识图谱；
36、以所述第二空间知识图谱为图卷积神经网络的输入层训练样本，以所述历史监控视频中每帧图像是否存在状态类违章行为以及存在状态类违章行为的图像对应的状态类违章行为信息为图卷积神经网络的输出层训练样本，对图卷积神经网络进行训练，得到训练后的图卷积神经网络，所述训练后的图卷积神经网络为所述预先建立的图卷积神经网络。
37、优选的，所述构建所述历史监控视频中每帧图像的第二空间知识图谱，包括：
38、利用预先建立的电力核心要素特征提取网络，提取所述历史监控视频中每帧图像的核心对象特征；
39、对所述历史监控视频中每帧图像核心对象特征进行聚类，得到第二候选语义；
40、利用所述第二候选语义构建所述历史监控视频中每帧图像的空间知识图谱。
41、优选的，所述候选语义包括：物体、属性和关系。
42、优选的，所述预先建立的行为分类算法的建立过程，包括：
43、采集电力作业现场的历史监控视频；
44、以低帧率的抽取方式，从所述历史监控视频中抽取每帧图像；
45、标注所述历史监控视频中每帧图像的行为信息；
46、以所述历史监控视频中每帧图像为行为分类算法的输入层训练样本，以所述历史监控视频中每帧图像的行为信息为行为分类算法的输出层训练样本，对行为分类算法进行训练，得到训练后的行为分类算法，所述训练后的行为分类算法为所述预先建立的行为分类算法。
47、优选的，所述当所述当前帧存在状态类违章行为时，进行第一风险预警，包括：
48、当所述当前帧存在状态类违章行为时，进行作业现场状态类违章行为预警。
49、优选的，所述根据所述行为语义图进行第二风险预警，包括：
50、根据电力行为规范操作，判断所述行为语义图是否构建成功，若构建失败，则进行作业现场操作行为失误预警；若构建成功，则无需进行作业现场操作行为失误预警。
5本文档来自技高网...
【技术保护点】
1.一种基于时空上下文推理的作业现场安全风险管控方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述构建所述目标监控视频中当前帧图像的第一空间知识图谱，包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述第一空间知识图谱，利用预先建立的图卷积神经网络确定所述当前帧图像是否存在状态类违章行为，包括：
4.根据权利要求3所述的方法，其特征在于，所述预先建立的图卷积神经网络的参数是利用损失函数进行迭代更新。
5.根据权利要求1所述的方法，其特征在于，所述按时间先后顺序，利用预先建立的行为分类算法确定所述目标监控视频中每帧图像的行为信息，包括：
6.根据权利要求1所述的方法，其特征在于，所述利用所述目标监控视频中当前滑动时间窗口内的所有帧图像对应的行为信息构建行为语义图，包括：
7.根据权利要求6所述的方法，其特征在于，所述电力行为知识图谱是利用电力行为规范操作构建的；
8.根据权利要求2所述的方法，其特征在于，所述预先建立的电力核心要素特征提取网络的建立过程，包括：
...【技术特征摘要】
1.一种基于时空上下文推理的作业现场安全风险管控方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述构建所述目标监控视频中当前帧图像的第一空间知识图谱，包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述第一空间知识图谱，利用预先建立的图卷积神经网络确定所述当前帧图像是否存在状态类违章行为，包括：
4.根据权利要求3所述的方法，其特征在于，所述预先建立的图卷积神经网络的参数是利用损失函数进行迭代更新。
5.根据权利要求1所述的方法，其特征在于，所述按时间先后顺序，利用预先建立的行为分类算法确定所述目标监控视频中每帧图像的行为信息，包括：
6.根据权利要求1所述的方法，其特征在于，所述利用所述目标监控视频中当前滑动时间窗口内的所有帧图像对应的行为信息构建行为语义图，包括：
7.根据权利要求6所述的方法，其特征在于，所述电力行为知识图谱是利用电力行为规范操作构建的；
8.根据权利要求2所述的方法，其特征在于，所述预先建立的电力核心要素特征提取网络的建立过程，包括：
9.根据权利要求1所述的方法，其特征在于，所述预先建立的图卷积神经网络的建立过程，包括：
10.根据权利要求9所述的方法，其特征在于，所述构建所述历史监控视频中每帧图像的第二空间知识图谱，包括：
11.根据权利要求2或10所述的方法，其特征在于，所述候选语义包括：物体、属性和关系。
12.根据权利要求1所述的方法，其特征在于，所述预先建立的行为分类算法的建立过程，包括：
13.根据权利要求1所述的方法，其特征在于，所述当所述当前帧存在状态类违章行为时，进行第一风险预警，包括：
14.根据权利要求1所述的方法，其特征在于，所述根据所述行为语义图进行第二风险预警，包括：
15.根据权利要求4所述的方法，其特征在于，所述损失函数的计算式，包括：
16.一种基于时空上下文推理的作业现场安全...
【专利技术属性】
技术研发人员：张屹，杜泽旭，张国梁，魏玮，邱镇，卢大玮，薛鑫，靳丹，
申请(专利权)人：国网智能电网研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。