一种架空输电线路销钉缺失检测方法、介质及系统技术方案

本发明专利技术公开一种架空输电线路销钉缺失检测方法、介质及系统，包括：获取架空输电线路的若干第一图像，第一图像中的架空输电线路上具有销钉；对若干第一图像中的销钉进行位置和销钉是否缺失的标注，得到销钉标注框的标注向量，销钉标注框为可旋转的矩形框；将第一图像的标注向量沿着第一图像中的输电线路的走向组成输入序列；采用第一图像和第一图像的输入序列对基于pixel2seq的目标检测模型进行训练，得到训练后的基于pixel2seq的目标检测模型；实时采集架空输电线路的第二图像；将第二图像输入训练后的目标检测模型后，输出销钉的预测框，预测框包含销钉的位置以及销钉是否缺失的信息。本发明专利技术大大提高检测性能。本发明专利技术大大提高检测性能。本发明专利技术大大提高检测性能。

【技术实现步骤摘要】
一种架空输电线路销钉缺失检测方法、介质及系统


[0001]本专利技术涉及架空输电线路
，尤其涉及一种架空输电线路销钉缺失检测方法、介质及系统。

技术介绍

[0002]销钉是高压输电铁塔固定绝缘子等设备的关键组件。高空中的线路一直处于振动状态，会连带其上绝缘子的连接部件销钉反复振动，这些振动累积效应会带来销钉脱落的风险，一旦销钉脱落就可能导致高压线断裂落地，造成断电甚至危及高压铁塔附近区域的安全。及时发现缺失销钉可以避免严重事故的发生以及巨大的经济损失。架空输电线路多部署在恶劣的自然环境中，且跨度很长，动辄几十、上百公里。相比于机器视觉检测方法，传统的人工巡检需要工程师到现场使用望远镜逐段监测，监测效率、监测准确率和人员安全性较低。随着信息技术与计算机视觉技术的发展，利用无人机或塔基摄像头对架空输电线路进行现场采集逐渐代替传统人工巡检的方式，并具有高效、快捷、可靠、成本低、不受地域影响等优点。
[0003]常用检测销钉是否缺失方法主要分为传统图像处理方法，机器学习方法与基于卷积神经网络的深度学习方法。传统图像处理方法主要分为图像预处理，特征选取，分类三个步骤。其中图像预处理为了使采集到的图像在不同成像条件下具有相同地图像灰度分布，方便后续进行特征提取；特征提取部分主要使用人工设计的特征提取器，例如sift算子，hog算子，模板匹配等，进行特征提取；在分类阶段，对具有判别性的特征进行目标
‑
背景分类。机器学习方法和深度学习方法主要改进了传统方法地特征提取和分类两个步骤，其中深度学习方法对于特征提取地改进大大提高了目标检测与分类地性能。
[0004]目前，利用无人机或塔基摄像头对电路进行巡检得研究取得一定的成果，使用卷积神经网络能够对简单背景下的包含销钉的螺丝件进行检测，但在输电线路上存在着与销钉相似的背景结构干扰检测。与此同时，现有的销钉缺陷方法大多使用水平框标注的销钉数据进行检测，水平框的标注包含了大量的背景区域，导致模型对于复杂背景甚至是遮挡下的包含销钉的螺丝件的检测性能有待提高。

技术实现思路

[0005]本专利技术实施例提供一种架空输电线路销钉缺失检测方法、介质及系统，以解决现有技术对架空输电线路销钉缺失检测的效果不佳的问题。
[0006]第一方面，提供一种架空输电线路销钉缺失检测方法，包括：
[0007]获取架空输电线路的若干第一图像，其中，所述第一图像中的架空输电线路上具有销钉；
[0008]对若干所述第一图像中的销钉进行位置和销钉是否缺失的标注，得到销钉标注框的标注向量，其中，所述销钉标注框为可旋转的矩形框；
[0009]对于每一所述第一图像，将该第一图像的所述标注向量沿着该第一图像中的输电
线路的走向组成输入序列；
[0010]采用所述第一图像和所述第一图像的输入序列对基于pixel2seq的目标检测模型进行训练，得到训练后的所述基于pixel2seq的目标检测模型；
[0011]实时采集架空输电线路的第二图像；
[0012]将所述第二图像输入训练后的所述基于pixel2seq的目标检测模型后，输出销钉的预测框，其中，所述预测框包含销钉的位置以及销钉是否缺失的信息。
[0013]第二方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令；所述计算机程序指令被处理器执行时实现如上述第一方面实施例所述的架空输电线路销钉缺失检测方法。
[0014]第三方面，提供一种架空输电线路销钉缺失检测系统，包括：如上述第二方面实施例所述的计算机可读存储介质。
[0015]这样，本专利技术实施例，在输电线路上存在着与销钉相似的背景结构干扰检测的情况下，以及，对于复杂背景甚至是遮挡下的包含销钉的螺丝件的检测的场景，本专利技术实施例的方法可大大提高检测性能，使得检测结果准确且检测速度较快。
附图说明
[0016]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0017]图1是本专利技术实施例的架空输电线路销钉缺失检测方法的流程图；
[0018]图2是销钉未缺失和销钉缺失的照片；
[0019]图3是本专利技术实施例的销钉先验示意图；
[0020]图4是本专利技术实施例的基于pixel2seq的目标检测模型训练示意图。
具体实施方式
[0021]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获取的所有其他实施例，都属于本专利技术保护的范围。
[0022]本专利技术实施例公开了一种架空输电线路销钉缺失检测方法。如图2所示，分别为销钉未缺失和销钉缺失的照片。具体的，如图1所示，该方法包括如下的步骤：
[0023]步骤S1：获取架空输电线路的若干第一图像。
[0024]其中，第一图像中的架空输电线路上具有销钉。第一图像可通过无人机或者塔基摄像头采集。
[0025]步骤S2：对若干第一图像中的销钉进行位置和销钉是否缺失的标注，得到销钉标注框的标注向量。
[0026]在语言模型中，预测的序列使用整数标记(token)序列来表示，在构建目标的位置与类别时，本专利技术实施例使用的基于pixel2seq的目标检测模型将连续的位置信息以及角
度信息通过离散采样的方式转化为整数标记。
[0027]本专利技术实施例的销钉标注框为可旋转的矩形框，即使用目标在图像中的像素坐标以及角度来描述一个旋转的销钉目标。因此，标注向量为[xywhαp]。x表示销钉标注框的中心像素点的横坐标，y表示销钉标注框的中心像素点的纵坐标。w表示销钉标注框的中心像素点的长边尺寸，h表示销钉标注框的中心像素点的短边尺寸。α表示销钉标注框的旋转角度，该旋转角度指的是，销钉标注框的长边顺时针旋转到坐标系的横轴正向所旋转的角度。q表示销钉标注框内的销钉是否缺失的状态，销钉缺失，q为1，销钉未缺失，q为0。例如，对于一个中心像素点坐标为(100，200)，长、短边尺寸为(9，5)，旋转角度为30
°
的销钉缺失目标，构造的标注向量为[100 200 9 5 30 1]。对于一个中心点像素坐标为(100，200)，长、短边尺寸为(9，5)，角度为30
°
的正常销钉目标(即销钉未缺失)，构造的标注向量为[100 200 9 5 30 0]。
[0028]相比于遥感影像领域和文本识别领域，销钉缺失检测往往需要通过挂载在无人机上的计算设备进行计算，算力相比于服务器设备弱很多，遥感领域中使用的基于卷积的旋转目标检测方法往往需要在预测结果后进行旋转预测框的非极大值(NMS)抑制去除重复框。而旋转目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种架空输电线路销钉缺失检测方法，其特征在于，包括：获取架空输电线路的若干第一图像，其中，所述第一图像中的架空输电线路上具有销钉；对若干所述第一图像中的销钉进行位置和销钉是否缺失的标注，得到销钉标注框的标注向量，其中，所述销钉标注框为可旋转的矩形框；对于每一所述第一图像，将该第一图像的所述标注向量沿着该第一图像中的输电线路的走向组成输入序列；采用所述第一图像和所述第一图像的输入序列对基于pixel2seq的目标检测模型进行训练，得到训练后的所述基于pixel2seq的目标检测模型；实时采集架空输电线路的第二图像；将所述第二图像输入训练后的所述基于pixel2seq的目标检测模型后，输出销钉的预测框，其中，所述预测框包含销钉的位置以及销钉是否缺失的信息。2.根据权利要求1所述的架空输电线路销钉缺失检测方法，其特征在于，所述将该第一图像的所述标注向量沿着该第一图像中的输电线路的走向组成输入序列的步骤，包括：对于每一所述第一图像，根据该第一图像中销钉的分布，划分多个销钉集中区域；按照预设标准，判断该第一图像中的每一所述销钉集中区域是否为密集区域；若所述销钉集中区域为密集区域，则将该销钉集中区域的销钉的标注向量随机排列组成该销钉集中区域的序列；若所述销钉集中区域不为密集区域，则将该销钉集中区域的销钉的标注向量按照该第一图像中的输电线路的走向排列组成该销钉集中区域的序列；沿着该第一图像中的输电线路的走向排列该第一图像的所有销钉集中区域的序列，得到输入序列。3.根据权利要求1所述的架空输电线路销钉缺失检测方法，其特征在于，所述基于pixel2seq的目标检测模型依次包括：特征提取模块、编码模块、解码模块和预测头部模块，其中，所述特征提取模块为Resnet50网络，所述编码模块为Deformable

【专利技术属性】
技术研发人员：刁志文，胡宝宁，刘世涛，王少杰，张永鑫，徐天山，牛为海，贺岩，赵海龙，吴超，王晓，秦丹，
申请(专利权)人：国网宁夏电力有限公司吴忠供电公司，
类型：发明
国别省市：