基于双目相机和深度学习的高压输电线路舞动监测方法技术

本发明专利技术涉及一种基于双目相机和深度学习的高压输电线路舞动监测方法，属于高压输电线路舞动监测技术领域。技术方案是：采集高压输电线路的原始视频，从原始视频中提取图像数据集；将图像数据集A作为全卷积神经网络FCN的输入，得到导线的语义分割结果；对全卷积神经网络FCN语义分割后的图像进行处理，得出最终提取的导线；利用LK光流对提取出来导线中的参照物进行运动追踪，得出最终的导线位移情况；对参照物的位移变化曲线进行快速傅里叶变换 FFT处理，可获得导线舞动振幅频谱。本发明专利技术采用基于深度学习的FCN网络提升了整体算法的综合性能，降低了对资源和时间的消耗需求，将深度学习融入线路舞动监测中，提高识别精度和效率。率。率。

【技术实现步骤摘要】
基于双目相机和深度学习的高压输电线路舞动监测方法


[0001]本专利技术涉及一种基于双目相机和深度学习的高压输电线路舞动监测方法，属于高压输电线路舞动监测


技术介绍

[0002]高压输电线路承担着输送电能的重要角色，舞动是输电线路覆冰或者在风激励作用下不均匀受力产生的一种低频大振幅的自激振动现象，输电线路舞动可能会导致电气故障和/或机械损伤，影响电力系统的正常运行和稳定性，舞动已经成为威胁线路安全的主要因素之一，因此输电线路舞动监测对于线路安全、电力系统正常运行都具有重要意义。
[0003]目前，主要通过传感数据和视频图像进行输电线路舞动监测，基于传感数据的监测方法是将传感器安装于输电塔上，采集输电线路舞动时的各种参数，并传送给远程计算机进行后续处理分析，从而实现舞动在线监测。这种方法可以准确测量舞动幅值、舞动频率、振动半波数等参数，便于获取完整的输电线路舞动波形，缺点是传感器部署数量问题，较多的传感器虽然可以提高测量精度，但是会增加投资成本和后期维护成本，还会加重线路负担导致电线舞动模型破坏；传感器数量少可以降低成本，但是精度也会下降，不能很好地拟合线路舞动轨迹。
[0004]由于输电线路舞动参数起到良好的监测作用，因而，视频监测法正越来越多地应用于输电线路舞动监测相关领域。与基于传感数据的监测方法相比，基于视频图像的监测方法则是通过实时采集线路舞动视频，将采集的视频上传到控制中心，经过分析后确定线路是否舞动。这种方法的优势是摄像头安装容易，不需要在输电电路上布置大量传感器，大大节省了传感器安装和维护的时间和经济成本，但是仍然需要不断完善和发展。
[0005]根据上述背景，本申请对基于视频图像的输电线路舞动监测系统进行研究分析，提出一种基于深度学习的线路舞动监测方法，为高压输电线路舞动监测提供了新思路。

技术实现思路

[0006]本专利技术目的是提供一种基于双目相机和深度学习的高压输电线路舞动监测方法，以全卷积神经网络FCN(Fully Convolutional Network)为核心并融合Lucas
‑
Kanade稀疏光流(LK光流)提出了基于深度学习的线路舞动运动轨迹及幅频特性提取方法，为线路运行状态监测提供技术参考，有助于配网线路的安全可靠运行，同时采用双目相机(Stereo)测距为最终的数据结果进行参考校准，取平均值，提高了监测精度和效率，为输电线路舞动监测提供了新思路，解决了
技术介绍
中存在的问题。
[0007]本专利技术解决所述技术问题所采用的技术方案如下：
[0008]一种基于双目相机和深度学习的高压输电线路舞动监测方法，首先采集高压输电线路的原始视频，从原始视频中提取图像数据集；其次，将图像数据集A作为全卷积神经网络FCN的输入，从而得到导线的语义分割结果；接着，对全卷积神经网络FCN语义分割后的图像进行处理，将直接分割获得的图像进行二值化处理，保留二值化图像中面积最大的连通
区，此即最终提取的导线；最后，利用LK光流对提取出来导线中的参照物进行运动追踪，追踪参照物随时间的位置变化，得出参照物的位移情况，并和双目相机所测得参照物的位移情况进行对比参照取平均值，得出最终的导线位移情况；然后对参照物的位移变化曲线进行快速傅里叶变换FFT处理，可获得导线舞动振幅频谱。采用基于深度学习的FCN网络提升了整体算法的综合性能，降低了对资源和时间的消耗需求，因此将深度学习融入线路舞动监测中，能够提高识别精度和效率，同时也为输电线路舞动监测提供了新思路。
[0009]包括以下步骤：
[0010]步骤一、设备安装；将摄像头和双目相机一起安装在电线杆顶部，同时在距电线杆不远处的导线上加装一个信标参照物；
[0011]步骤二、采集高压输电线路的舞动视频作为原始视频；利用安装在高压电线杆上的摄像头采集输电线路舞动的视频，需要输电线路位于摄像头和双目相机的镜头视野内；采集的视频中应包含线路舞动不同幅度所对应的多个视频片段；
[0012]步骤三、制作数据集；将前方摄像头采集传输回来的原始视频进行剪辑，将视频逐帧拆解为图片；然后，选择Matlab中的Image Labeler对图片的前景和背景进行标注，接着对已标注的图像进行随机水平和垂直方向平移操作以增加训练的数据量；最后，将原始标注的图像与平移后的图像合并组成最终训练网络的数据集，得到图像数据集A；
[0013]1)使用视频处理工具以1帧/秒的速率，从原始视频中提取视频帧；
[0014]2)Matlab中的Image Labeler对图片的前景和背景进行标注；
[0015]3)对已标注的图像进行随机水平和垂直方向平移操作并将原始标注的图像与平移后的图像合并组成最终训练网络的图像数据集A；
[0016]步骤四、训练网络；将图像数据集A作为全卷积神经网络FCN的输入，从而得到导线的语义分割结果。FCN网络主要由输入层、卷积层、池化层、全卷积层和输出层组成。通过若干卷积层、激活层和池化层进行图像特征提取，采用若干反卷积层、池化层对图像进行上采样，把图像分析成果恢复到与原始图像一致，达到端到端训练的目的；
[0017]步骤五、图像修饰；为方便对导线舞动轨迹的提取，需要对全卷积神经网络FCN语义分割后的图像进行处理；首先，将直接分割获得的图像进行二值化处理；然后，只保留二值化图像中面积最大的连通区，此即最终提取的导线；
[0018]步骤六、参照物位移测算，利用LK光流对提取出来导线中的参照物进行运动追踪，随时间的位置变化，得出位移情况；
[0019]在LK光流中，来自相机的图像是随时间变化的，图像是时间的函数I(t)，假设t时刻下，参照物位于(x,y)处，它的灰度可写成I(x,y,t)；它在图像中的坐标将发生变化，引入光流法的基本假设：灰度不变假设，即同一个空间点的像素灰度值，在各个图像中是固定不变的；对于t时刻位于(x,y)处，设t+dt时刻它运动到(x+dx,y+dy)处；由于灰度不变，有：
[0020]I(x+dx，y+dy，t+dt)＝I(x，y，t)
[0021]对左边进行泰勒展开，保留一阶项，得
[0022][0023]因为假设了灰度不变，于是下一个时刻的灰度等于之前的灰度，从而：
[0024][0025]两边除以dt,得
[0026]其中dx/dt为参照物在x轴上的运动，而dy/dt为y轴上的速度，把它们记为u，v；同时，为图像在该点处x方向的梯度，另一项则是在y方向的梯度，记为I
x
，I
y
；把图像灰度对时间的变化量记为I
t
,写成矩阵形式，有
[0027][0028]计算的是参照物的运动u，v，但是该式是带有两个变量的一次方程，必须引入额外的约束。在LK光流中，假设某一个窗口内的像素具有相同的运动，考虑一个大小为r*r的窗口，它含有r2数量的像素；该窗口内像素具有同样的运动，因此共有r2个方程：
[0029][0030]记：<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目相机和深度学习的高压输电线路舞动监测方法，其特征在于：首先采集高压输电线路的原始视频，从原始视频中提取图像数据集；其次，将图像数据集A作为全卷积神经网络FCN的输入，从而得到导线的语义分割结果；接着，对全卷积神经网络FCN语义分割后的图像进行处理，将直接分割获得的图像进行二值化处理，保留二值化图像中面积最大的连通区，此即最终提取的导线；最后，利用LK光流对提取出来导线中的参照物进行运动追踪，追踪参照物随时间的位置变化，得出参照物的位移情况，并和双目相机所测得参照物的位移情况进行对比参照取平均值，得出最终的导线位移情况；然后对参照物的位移变化曲线进行快速傅里叶变换FFT处理，可获得导线舞动振幅频谱。2.根据权利要求1所述的基于双目相机和深度学习的高压输电线路舞动监测方法，其特征在于包括以下步骤：步骤一、设备安装；将摄像头和双目相机一起安装在电线杆顶部，同时在距电线杆不远处的导线上加装一个信标参照物；步骤二、采集高压输电线路的舞动视频作为原始视频；利用安装在高压电线杆上的摄像头采集输电线路舞动的视频，需要输电线路位于摄像头和双目相机的镜头视野内；采集的视频中应包含线路舞动不同幅度所对应的多个视频片段；步骤三、制作数据集；将前方摄像头采集传输回来的原始视频进行剪辑，将视频逐帧拆解为图片；然后，选择Matlab中的Image Labeler对图片的前景和背景进行标注，接着对已标注的图像进行随机水平和垂直方向平移操作以增加训练的数据量；最后，将原始标注的图像与平移后的图像合并组成最终训练网络的数据集，得到图像数据集A；1)使用视频处理工具以1帧/秒的速率，从原始视频中提取视频帧；2)Matlab中的Image Labeler对图片的前景和背景进行标注；3)对已标注的图像进行随机水平和垂直方向平移操作并将原始标注的图像与平移后的图像合并组成最终训练网络的图像数据集A；步骤四、训练网络；将图像数据集A作为全卷积神经网络FCN的输入，从而得到导线的语义分割结果；FCN网络主要由输入层、卷积层、池化层、全卷积层和输出层组成；通过若干卷积层、激活层和池化层进行图像特征提取，采用若干反卷积层和池化层对图像进行上采样，把图像分析成果恢复到与原始图像一致，达到端到端训练的目的；步骤五、图像修饰；为方便对导线舞动轨迹的提取，需要对全卷积神经网络FCN语义分割后的图像进行处理；首先，将直接分割获得的图像进行二值化处理；然后，只保留二值化图像中面积最大的连通区，此即最终提取的导线；步骤六、参照物位移测算，利用LK光流对提取出来导线中的参照物进行运动追踪，随时间的位置变化，得出位移情况；在LK光流中，来自相机的图像是随时间变化的，图像是时间的函数I(t)，假设t时刻下，参照物位于(x,y)处，它的灰度可写成I(x,y,t)；它在图像中的坐标将发生变化，引入光流法的基本假设：灰度不变假设，即同一个空间点的像素灰度值，在各个图像中是固定不变的；对于t时刻位于(x,y)处，设t+dt时刻它运...

【专利技术属性】
技术研发人员：李耐心，吕文超，贾立宁，杨志才，周冀，
申请(专利权)人：国家电网有限公司，
类型：发明
国别省市：