基于无人机的高铁接触网吊弦螺母缺陷检测方法技术

本发明专利技术涉及一种基于无人机的高铁接触网吊弦螺母缺陷检测方法，首先利用无人机巡检采集样本图片，利用生成对抗网络生成缺陷样本，对缺陷样本进行数据增强后送入构建的目标检测网络，对目标进行定位。根据定位结果对拍摄过偏的目标进行删除后裁剪目标框，将其送入构建的语义分割网络，对目标的外露螺栓和螺母部分进行像素级分割，对于分割结果进行阈值判断完成检测。本发明专利技术可以很好的弥补4C装置拍摄缺陷，能够实现高速铁路接触网吊弦上部螺母的自动辨识、定位以及螺母缺陷的检测，可以高效安全的保障高速铁路接触网上的吊弦安全状态。操作简单，高效便捷，安全系数高，需要人力少。需要人力少。需要人力少。

Defect detection method of dropper nut of high-speed rail catenary based on UAV

【技术实现步骤摘要】
基于无人机的高铁接触网吊弦螺母缺陷检测方法


[0001]本专利技术涉及一种接触网检测技术，具体地说是一种基于无人机的高铁接触网吊弦螺母缺陷检测方法。

技术介绍

[0002]高铁接触网作为电气化铁路的重要组成部分，直接影响着铁路系统的正常运行。吊弦是高速铁路接触网的重要部件之一，接触线通过吊弦挂在承力索上，通过调节吊弦长度可以保证结构高度，提高受电弓取流质量。
[0003]但由于环境的影响，包括温度湿度等的变化，会导致高速铁路接触网吊弦上螺母发生松动或缺失。如果吊弦螺母有缺陷，就会导致吊弦悬挂状态不稳定，产生吊弦脱落和打击受电弓的现象，造成受电弓损坏和发生行车事故等一系列危害。
[0004]现在接触网的检测方式主要是通过人工巡检和接触网悬挂状态检测装置（4C）来进行，人工巡检通过步行巡视和登程巡视来进行，巡检效率低下，流程比较繁琐，危险系数也比较高。在4C装置巡检过程中，吊弦与承力索相接处也就是吊弦上部螺母位置是现在4C巡检系统的拍摄盲区，并且4C装置检测图像效率低下，高速铁路接触网的小目标部件很容易发生漏检误检。
[0005]由于大风温度湿度等环境因素的经常性影响，吊弦螺母不定时会发生松动和缺失，迅速检测出吊弦螺母缺陷位置并及时检修就显得非常重要。

技术实现思路

[0006]本专利技术的目的就是提供一种基于无人机的高铁接触网吊弦螺母缺陷检测方法，以解决现在吊线螺母缺陷检测效率低的问题。
[0007]本专利技术是这样实现的：一种基于无人机的高铁接触网吊弦螺母缺陷检测方法，包括以下步骤。
[0008]a.使用无人机沿铁路线进行视频拍摄，获得接触网吊线上部螺母区域的视频图像，由视频图像得到包含吊弦上部螺栓螺母结构的现场样本图片。
[0009]b.人工制作并合成吊弦螺母具有缺陷的图片，通过生成对抗网络生成缺陷样本图片。
[0010]c.对缺陷样本图片进行数据增强后与现场样本图片一同送入目标检测网络。
[0011]d.对样本图片进行图像标注，先进行网络训练得到权重，再调用训练权重进行预测，得到每个样本图片的目标检测框坐标和置信度。
[0012]e.根据得到的目标检测框，将目标检测框坐标不在图片中间部位的样本图片进行删除，剩下的样本图片根据目标检测框坐标进行裁剪，去除无关背景信息。
[0013]f.将裁剪后的样本图片送入语义分割网络，分隔类别包括背景、螺母以及外露螺栓，对样本图片进行图像标注，先进行网络训练得到权重，再调用训练权重对需要分割的样本图片进行语义分割，得到每个样本图片中目标类别的分割结果。
[0014]g.根据语义分割网络的分割结果，得到样本图片中每一个像素点的种类，对图片中外露螺栓像素个数以及螺母像素个数分别进行求和，再求取两者比值并分析比值结果，确定图片中螺母的状态。
[0015]进一步地，在步骤b中，人工构建吊弦螺母具有缺陷的实物场景，拍摄图片后使用软件合成得到吊弦螺母具有缺陷的图片，根据吊弦螺母具有缺陷的图片利用生成对抗网络生成缺陷样本图片。
[0016]进一步地，在步骤c中，对缺陷样本图片分别做亮度、噪声、旋转和翻转的形态学操作，并对同一小目标在图像中进行多次复制，增加图像中小目标的数量。
[0017]进一步地，目标检测网络包含特征提取模块、注意力机制模块、特征融合模块和预测解码模块，通过特征提取模块输出样本图片的四次有效特征层，将四次有效特征层输入至注意力机制模块，对输入进来的单个特征层，分别依次进行通道注意力机制的处理和空间注意力机制的处理，然后输出至特征融合模块，由特征融合模块将获得的四个有效特征层进行加权特征融合，以将不同尺度的特征图之间相互融合，最后通过预测解码模块得到预测框的位置。
[0018]进一步地，注意力机制模块对输入进来的单个特征层，做基于通道的全局最大池化，对最大池化的结果，利用全连接层进行处理，然后取激活函数sigmoid，获得输入的单个特征层每一个通道的权值，将权值与输入的单个特征层相乘后输出；对输入进来的单个特征层，进入空间注意力机制模块，做平均池化和最大池化处理，获得权值后，将权值与输入的单个特征层相乘后输出。
[0019]进一步地，对经过注意力机制模块输出四个有效特征层，特征融合模块将输出的有效特征层进行从下到上的特征提取后，再进行从上到下的特征提取。
[0020]进一步地，在步骤e中，将样本图片沿x方向分为四等份，如果目标检测框全部位于中间两份组成的区域中，则保留该样本图片，否则将样本图片删除。
[0021]进一步地，在步骤g中，若螺母像素个数求和为0，螺栓素个数与螺母素个数的比值为无解，即判断为螺母缺失；若螺栓素个数与螺母素个数的比值大于0.787，即判断为螺母正常；若螺栓素个数与螺母素个数的比值小于等于0.787，即判断为螺母松动。
[0022]进一步地，在步骤a中，在高速铁路夜间天窗期利用无人机搭载夜航灯沿铁路线进行视频拍摄，保持无人机摄像头垂直铁路沿线，利用无人机多倍变焦模式，固定高度和镜头角度拍摄纹理清晰的吊弦上部螺栓螺母结构，获得视频图像，读取视频的每一帧并对每一帧或者每隔几帧进行截图保存操作，得到大量现场样本图片。
[0023]本专利技术首先利用无人机巡检采集样本图片，利用生成对抗网络生成缺陷样本，对缺陷样本进行数据增强后送入构建的目标检测网络，对目标进行定位。根据定位结果对拍摄过偏的目标进行删除后裁剪目标框，将其送入构建的语义分割网络，对目标的外露螺栓和螺母部分进行像素级分割，对于分割结果进行阈值判断完成检测。
[0024]本专利技术利用无人机巡检的方式，可以很好的弥补4C装置拍摄缺陷。结合深度学习技术以及无人机拍摄的高速铁路接触网上的吊弦上部螺母的图像特点，能够实现高速铁路接触网吊弦上部螺母的自动辨识、定位以及螺母缺陷的检测，可以高效安全的保障高速铁路接触网上的吊弦安全状态。操作简单，高效便捷，安全系数高，需要人力少。
附图说明
[0025]图1是本专利技术的流程图。
[0026]图2是本专利技术生成的缺陷样本图片。
[0027]图3是本专利技术目标检测网络结构图。
[0028]图4是本专利技术目标检测结果示意图。
[0029]图5是本专利技术目标检测框在图片中间部位和不在图片中间部位的示意图。
[0030]图6、图7分别为本专利技术对样本图片根据目标检测框坐标进行裁剪前后的示意图。
[0031]图8为本专利技术语义分割的效果图。
[0032]图9为对比实验误检效果图。
具体实施方式
[0033]如图1所示，本专利技术的一种基于无人机的高铁接触网吊弦螺母缺陷检测方法，包括以下步骤。
[0034]a.使用无人机沿铁路线进行视频拍摄，获得接触网吊线上部螺母区域的视频图像，由视频图像得到包含吊弦上部螺栓螺母结构的现场样本图片。
[0035]具体的，在高速铁路夜间天窗期利用无人机搭载夜航灯沿铁路线进行视频拍摄，保持无人机摄像头垂直铁路沿线，利用无人机多倍变焦模式，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无人机的高铁接触网吊弦螺母缺陷检测方法，其特征在于，包括以下步骤：a.使用无人机沿铁路线进行视频拍摄，获得接触网吊线上部螺母区域的视频图像，由视频图像得到包含吊弦上部螺栓螺母结构的现场样本图片；b.人工制作并合成吊弦螺母具有缺陷的图片，通过生成对抗网络生成缺陷样本图片；c.对缺陷样本图片进行数据增强后与现场样本图片一同送入目标检测网络；d.对样本图片进行图像标注，先进行网络训练得到权重，再调用训练权重进行预测，得到每个样本图片的目标检测框坐标和置信度；e.根据得到的目标检测框，将目标检测框坐标不在图片中间部位的样本图片进行删除，剩下的样本图片根据目标检测框坐标进行裁剪，去除无关背景信息；f.将裁剪后的样本图片送入语义分割网络，分割类别包括背景、螺母以及外露螺栓，对样本图片进行图像标注，先进行网络训练得到权重，再调用训练权重对需要分割的样本图片进行语义分割，得到每个样本图片中目标类别的分割结果；g.根据语义分割网络的分割结果，得到样本图片中每一个像素点的种类，对图片中外露螺栓像素个数以及螺母像素个数分别进行求和，再求取两者比值并分析比值结果，确定图片中螺母的状态。2.根据权利要求1所述的基于无人机的高铁接触网吊弦螺母缺陷检测方法，其特征在于，在步骤b中，人工构建吊弦螺母具有缺陷的实物场景，拍摄图片后使用软件合成得到吊弦螺母具有缺陷的图片，根据吊弦螺母具有缺陷的图片利用生成对抗网络生成缺陷样本图片。3.根据权利要求1所述的基于无人机的高铁接触网吊弦螺母缺陷检测方法，其特征在于，在步骤c中，对缺陷样本图片分别做亮度、噪声、旋转和翻转的形态学操作，并对同一小目标在图像中进行多次复制，增加图像中小目标的数量。4.根据权利要求1所述的基于无人机的高铁接触网吊弦螺母缺陷检测方法，其特征在于，目标检测网络包含特征提取模块、注意力机制模块、特征融合模块和预测解码模块，通过特征提取模块输出样本图片的四次有效特征层，将四次有效特征层输入至注意力机制模块，对输入进来的单个特征层，分别依...

【专利技术属性】
技术研发人员：常宇健，闫旭萌，牛会民，赵红涛，刘佳伟，王硕禾，张硕，
申请(专利权)人：石家庄铁道大学，
类型：发明
国别省市：