基于姿态与导线识别的带电作业安全预警方法技术

本发明专利技术涉及一种基于姿态与导线识别的带电作业安全预警方法，本发明专利技术通过双目结构光摄像头拍摄画面，对画面分别进行处理，搭建卷积神经网络的深度学习模型识别人体姿态，识别出人体的各个关键关节在视频画面中标出，并以人形姿态进行连接，描述出人体的四肢以及五官位置，运用算法进行带电导线提取识别，获取人体姿态以及导线关键点的二维坐标，再通过对图像深度进行获取，而后建立导线与人体的三维坐标模型，然后通过模型对人体姿态进行超前预测，并计算人体与导线的距离，以实现安全预警。在带电作业安全监督中，大大降低了人工成本，减小了人工判断距离的失误率，提高了带电作业安全预警的准确性和可靠性。全预警的准确性和可靠性。全预警的准确性和可靠性。

【技术实现步骤摘要】
基于姿态与导线识别的带电作业安全预警方法


[0001]本专利技术涉及电力系统带电作业安全预警方法，具体涉及一种基于姿态与导线识别的带电作业安全预警方法。

技术介绍

[0002]要保证电网的安全运行，就需要强调电力设施的建设及维护工作。当停电事故发生时，则需要工作人员立刻赶到事故现场开展处理和修复工作。电力施工人员常年工作在电力施工和维护的现场，近距离接触高压线，一旦疏忽大意，就容易发生触电事故，人身安全严重受到威胁。
[0003]为了保障电力工人的人身安全，降低触电事故的发生率，电力行业结合实际经验和相关研究，制定了详细的安全管理条例，并强制性地向电力工人进行安全教育。电力安全工作规程也对人员在带电杆塔上工作时，与带电导线的最小安全距离也做出了规定。虽然电力行业结合实际操作制定了一系列规范，这些规章制度在一定程度上也可以减少安全事故的发生，但是在配电网带电检修作业过程中，仍然会出现作业人员疏忽大意、误操作等情况，导致一些不必要的事故发生。
[0004]虽然电力系统带电作业过程中也采用了视觉技术用于安全预警，但是与实际工况相结合的并不好，主要存在以下几个问题：(1)、目前市面上常用的预警设备是红外线测距仪，利用红外线测量人体与高压线的间距，这种仪器虽然价格低廉且容易制做，但是精度低，并需要在特定视角进行检测，使用效果并不理想。
[0005](2)、在实际工况中，带电导线的圆柱表面细长且光滑，会影响反射结构光的识别，这使得基于结构光的深度距离测定精度难以得到保证，基于双目摄像头的三角测距方法在遮挡与移动物体情况下适用性也会降低。在带电作业时，导线表面工人移动也会对双目摄像头的测距精度产生影响。
[0006](3)、通过现有的图像识别带电导线，不能很好的拟合出实际工况中的导线二维数学表达式，带电导线的识别过程会被杂线、重合线以及噪点影响。带电导线识别应用在分裂导线，交叉导线以及绝缘子等复杂场景效果不太理想，这也对一般的视频识别导线方法造成了困扰，一般的识别算法不能处理这些问题。
[0007](4)、一般的配电网作业属于高空作业，配备的地面安全监管人员由于视角受限，距离较远等因素，导致安全监管的有效性得不到可靠的保证。
[0008](5)、带电作业过程中，现有视频人工监督安全预警系统技术不能保证其判断的可靠性和实时性，只是给地面安全监督人员提供另外一个视角来判断带电检修人员的安全，仍然需要安全监督人员根据其经验来判断人与导线之间的安全距离。
[0009]由于现有视觉安全预警技术存在上述问题，因此有必要设计一种带电作业的自动预警装备，从技术上减少带电作业的事故发生率。

技术实现思路

[0010]本专利技术的目的是针对现有电力系统带电作业安全检测及预警方法的缺陷，提供一种可以高效准确的识别人体姿态和带电导线，并实时且超前建立人与带电导线的三维数学模型，追踪人体与导线的距离并做出预警的基于姿态与导线识别的带电作业安全预警方法。
[0011]本专利技术的技术解决方案是：基于姿态与导线识别的带电作业安全预警方法，它包括以下步骤：第一步、彩色图像获取：利用双目结构光摄像头拍摄彩色画面，将彩色双目画面的视频流实时传输给电脑端程序进行处理，读出彩色双目画面的数据。对摄像机的参数进行标定，获得相机的内外参数，内参数包括焦距、成像原点、畸变系数，外参数包括旋转矩阵和平移向量，分别对左右视图进行消除畸变和行对准，得到正确反应位置信息的彩色图像，显示能正确反应位置信息的图像。
[0012]第二步，图像中带电导线的提取：1、图像的预处理：利用内置程序，将获取的图像进行灰度化处理，读取RGB格式的输入图像，将彩色图像处理为黑白灰图像；再经灰度值筛选，设置灰度阈值为θ
gre
，在灰度图中0与θ
gre
之间的黑色像素点值设置成像素点值成255，在图像中表现为白色，将其他像素点的像素值全部设置成0值，在图像中变现为黑色，灰度阈值可根据实际工况进行调整；然后采用高斯滤波的方法对图像像素进行均值滤波，得到灰度图。
[0013]2、直线的提取：采用双参数的Canny边缘提取算法，根据Sobel边缘差分算子求取灰度图的像素梯度图，设置参数θ
canny1
与θ
canny2
，其中θ
canny2
＞θ
canny1
，像素梯度值大于θ
canny2
的像素点识别成为边缘像素点，像素梯度值小于θ
canny1
的像素点识别成为不是边缘的像素点，把介于参数θ
canny1
与θ
canny2
之间的像素点识别成为可能是边缘的点，对可能是边缘的点进行判断，如果此像素点与边缘像素点相邻，那么将其设置为边缘像素点，反之，将其设置成为不是边缘的像素点。获取图像边缘之后，采用Hough变换识别图像中的直线集，设置直线投票阈值threshold与最大直线间隔长度maxLineGap以及最小线条长度minLineLength，可得众多可能是带电导线的直线集。
[0014]3、导线的筛选：对直线集进行分类和筛选，获得带电导线的二维数学表达式。
[0015]第三步、卷积神经网络处理图像：1、人体姿态检测模型：收集N张具有人体四肢或五官的图像，并将图像进行灰度处理转化为灰度图；然后将人体四肢与五官的信息在图像中标定，将每一张灰度图像以及灰度图像中人体姿态连线以及四肢与五官的信息作为输入，作为卷积神经网络的数据集，进行机器学习以及人体识别模型的搭建，使得人体识别模型可以准确的识别出不在数据集里的图像中人体姿态信息，从而输出人体姿态中关键关节的二维坐标。
[0016]2、人体姿态图像输出：
在第一步的基础上，将处理过后的视频流画面输入人体姿态检测模型，输出人体姿态关键关节及五官二维坐标，关键关节点包括双眼、双耳、鼻子最外边缘点以及双手臂、双肩、双手肘、双手腕、左右大腿、左右小腿两侧端点，基于人体姿态模型，将图像中的各个关节点按照符合人体姿态的形状连接，用粗直线显示在彩色视频流的每一帧图像中。
[0017]第四步、人体姿态预测：由第三步中输出的人体姿态图像，相邻几帧图像中对应关节的位置关系，计算出各个关节点的位移、速度、加速度等信息，线性外推即可预测关节下一时刻的位置信息，采用卡尔曼滤波的算法，对位置信息进行预测和校正，输出下一时刻经过校正的位置信息。
[0018]第五步、深度距离的获取：结构光双目摄像头通过向物体投射一定结构的红外光线，使用红外线摄像头捕捉结构光的结构变化，通过集成在摄像头内部的运算单元，将这种结构光的变化换算成深度信息，通过RTSP实时流传输协议把深度信息传递给电脑端进行处理，得出相机光心到对应像素在现实世界的真实距离，单位为毫米；双目摄像头运用两幅图像之间的视差关系，通过极限约束的立体匹配算法与三角测距原理，对图像中一些结构光无法准确测量的点进行辅助计算，得出图像每个像素点的深度值。
[0019]第六步、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于姿态与导线识别的带电作业安全预警方法，其特征在于：它包括以下步骤：第一步、彩色图像获取：利用双目结构光摄像头拍摄彩色画面，将彩色双目画面的视频流实时传输给电脑端程序进行处理，读出彩色双目画面的数据；对摄像机的参数进行标定，获得相机的内外参数，内参数包括焦距、成像原点、畸变系数，外参数包括旋转矩阵和平移向量，分别对左右视图进行消除畸变和行对准，得到正确反应位置信息的彩色图像，显示能正确反应位置信息的图像；第二步，图像中带电导线的提取：（1）、图像的预处理：利用内置程序，将获取的图像进行灰度化处理，读取RGB格式的输入图像，将彩色图像处理为黑白灰图像；再经灰度值筛选，设置灰度阈值为θ
gre
，在灰度图中0与θ
gre
之间的黑色像素点值设置成像素点值成255，在图像中表现为白色，将其他像素点的像素值全部设置成0值，在图像中变现为黑色，灰度阈值可根据实际工况进行调整；然后采用高斯滤波的方法对图像像素进行均值滤波，得到灰度图；（2）、直线的提取：采用双参数的Canny边缘提取算法，根据Sobel边缘差分算子求取灰度图的像素梯度图，设置参数θ
canny1
与θ
canny2
，其中θ
canny2
＞θ
canny1
，像素梯度值大于θ
canny2
的像素点识别成为边缘像素点，像素梯度值小于θ
canny1
的像素点识别成为不是边缘的像素点，把介于参数θ
canny1
与θ
canny2
之间的像素点识别成为可能是边缘的点，对可能是边缘的点进行判断，如果此像素点与边缘像素点相邻，那么将其设置为边缘像素点，反之，将其设置成为不是边缘的像素点；获取图像边缘之后，采用Hough变换识别图像中的直线集，设置直线投票阈值threshold与最大直线间隔长度maxLineGap以及最小线条长度minLineLength，可得众多可能是带电导线的直线集；（3）、导线的筛选：对直线集进行分类和筛选，获得带电导线的二维数学表达式；第三步、卷积神经网络处理图像：（1）、人体姿态检测模型：收集N张具有人体四肢或五官的图像，并将图像进行灰度处理转化为灰度图；然后将人体四肢与五官的信息在图像中标定，将每一张灰度图像以及灰度图像中人体姿态连线以及四肢与五官的信息作为输入，作为卷积神经网络的数据集，进行机器学习以及人体识别模型的搭建，使得人体识别模型可以准确的识别出不在数据集里的图像中人体姿态信息，从而输出人体姿态中关键关节的二维坐标；（2）、人体姿态图像输出：在第一步的基础上，将处理过后的视频流画面输入人体姿态检测模型，输出人体姿态关键关节及五官二维坐标，关键关节点包括双眼、双耳、鼻子最外边缘点以及双手臂、双肩、双手肘、双手腕、左右大腿、左右小腿两侧端点，基于人体姿态模型，将图像中的各个关节点按照符合人体姿态的形状连接，用粗直线显示在彩色视频流的每一帧图像中；第四步、人体姿态预测：由第三步中输出的人体姿态图像，相邻几帧图像中对应关节的位置关系，计算出各个
关节点的位移、速...

【专利技术属性】
技术研发人员：陈继祥，伏祥运，程振华，李新建，于跃，侍田，王学松，丁超，陈冉，牟宪民，盛启玉，张嘉豪，
申请(专利权)人：国网江苏省电力有限公司东海县供电分公司，
类型：发明
国别省市：