无人机巡检图像的销钉级缺陷识别方法技术

本发明专利技术公开了无人机巡检图像的销钉级缺陷识别方法，包括如下步骤：S1、搭建基于R

【技术实现步骤摘要】
无人机巡检图像的销钉级缺陷识别方法


[0001]本专利技术涉及图像识别
，具体的，涉及，无人机巡检图像的销钉级缺陷识别方法。

技术介绍

[0002]输电线路是电网的重要组成部分，是电力系统的动脉，输电线路巡检事关电网安全平稳运行。国家电网公司每年投入大量人力物力来保证电力巡检工作。由于我国地域辽阔，电网规模庞大，输电线路距离长容量大环境复杂，人工检修存在巡检环境恶劣，工作量大，记录数据多且不易储存的问题，费时费力。故目前主要通过无人机或者直升机巡检，拍摄输电线路图像后传回后台进行人工分析，进行线路缺陷及故障的排查，保证输电线路正常运行。
[0003]销钉在输电线路中起到防止软连接部位错动的作用，销钉的脱落或脱出可能影响输电线路上其余部件的正常运行。无人机巡检图像有着较大的尺度和较高的分辨率，同时销钉在图像中的占比非常微小，若按R
‑
FCN限制的图片输入大小将原图压缩，会造成销钉的细节特征丢失，影响分类效果。且输电线路的金具组合多种多样、金具串形状不规则，实现金具检测产生了巨大的工作量，远超螺栓检测本身。销钉级缺陷识别的目标是缺失开口销的金具螺栓，然而输电线路巡检图像中螺栓种类不一、形态差异小，容易发生混淆，虽然通过无人机进行巡检图像的采集和以及通过人工智能算法对巡检图像进行分析可以很大程度提高巡检的效率，但对于巡检图像中的销钉的缺陷识别的准确性并不高，以上种种都制约着电力巡检自动化和智能化的建设。

技术实现思路

[0004]本专利技术的目的是解决无人机巡检图像中销钉级缺识别准确率不高的问题，提出了无人机巡检图像的销钉级缺陷识别方法，通过对图像进行网格划分后进行标注和还原，对多目标识别模型进行训练，通过金具级
‑
销钉级的双步骤目标检测，显著提高销钉缺陷的识别准确率。
[0005]为实现上述技术目的，本专利技术提供的一种技术方案是，无人机巡检图像的销钉级缺陷识别方法，包括如下步骤：S1、搭建基于R
‑
FCN网络的多目标检测模型，以ResNet
‑
FPN模块作为特征提取器；S2、获取并标注巡检图像，采用网格化半重叠拆分方式对巡检图像进行预处理得到初选子图；S3、对初选子图进行删选和类别标注得到目标子图，使用目标子图训练多目标检测模型与热力图生成模型；S4、使用VGG16
‑
CAM网络通过类激活映射的方法生成金具的热力图；S5、将高清原图和热力图进行叠加作为多目标检测模型的输入，若各类别识别准确率大于预设准确率，则判定多目标检测模型可靠，否则扩大数据集，重新执行S3；
S6、通过训练完成的多目标检测模型对无人机实时采集的巡检图像进行识别，得到表征销钉级缺陷图像的类别和位置。
[0006]作为优选，还包括构造类别平衡的大间隔损失函数作为R
‑
FCN网络中的交叉熵损失函数。
[0007]作为优选，交叉熵损失函数的表达式为：其中：y
i
为目标子图的真实类别；c∈[0,C]，C为类别数，n
c
表示真实类别为c的全连接层单元个数；f
y
表示全连接层的输出向量，表示全连接层参数向量的模，||x
i
||表示特征向量的模，θ
yi
表示向量与向量x
i
的夹角。
[0008]作为优选，S2中，包括：将高清原图按照网格拆分成一系列大小不尽相同的初选子图，其中，相邻两个初选子图具备重叠区域，重叠区域的宽度大于螺栓在高清原图中的像素。
[0009]作为优选，S3中，对初选子图进行删选包括：将初选子图分为仅包括背景的负样本子图和包含销钉的正样本子图；剔除负样本子图，将正样本子图作为目标子图。
[0010]作为优选，对正样本子图进进行类别标注：包括：类别A：金具螺栓，开口销可见；类别B：金具螺栓，开口销缺失；类别C：金具螺栓，开口销不完全可见；类别D：铁塔螺栓，无需安装开口销。
[0011]作为优选，S4包括：进一步提取正样本子图中的背景信息；生成销钉在图像中的热力图，使用VGG16模块提取图像的特征信息，其最后一个卷积层的输出为7
×7×
512；使用全局平均池化层替换原来的全连接层，对每个7
×
7的特征图f
k
(x,y)取平均操作F
k
＝∑
x,y
f
k
(x,y)；最终输出的输出类别概率P
c
的表达式为：其中，其中k表示特征图序数，(x,y)表示特征图中像素的横纵坐标，c＝{0,1}表示输出类别，0表示背景，1表示金具串；反映了特征图f
k
(x,y)对于类别c的重要程度；定义类别c的类激活图为：
根据全部目标子图的类别信息，训练金具串的VGG16
‑
CAM网络，将大小为7
×
7的金具类激活图经过上采样调整到输入图像的大小，得到热力图M
′
(x,y)。
[0012]作为优选，S5中，将高清原图和热力图进行叠加作为多目标检测模型的输入，包括：将标注完成后的目标子图进行还原得到高清原图，将热力图M
′
(x,y)与高清原图叠加，作为多目标检测模型的输入图像除去RGB三通道外的第四个通道。
[0013]本专利技术的有益效果：使用的ResNet模块作为特征提取器，使用R
‑
FCN网络实现目标检测，使模型具有更好的识别精度和更快的训练速度；在ResNet模块加入FPN(特征金字塔)模块，使模型通过特征融合使神经网络关注到不同尺寸的目标，解决螺栓型号不一致的识别问题；通过细分销钉形态的标注方案完成神经网络的强监督训练，增强样本间方差，解决开口销缺失正/负样本形态差异过小的问题。针对无人机巡检图像分辨率较大，而销钉级缺陷在原图中占比很小的问题，直接使用原图进行训练计算量巨大、训练困难，原图下采样后又会使小目标信息丢失。通过拆分/重构的流程将原图转化为高清子图，拆分时保留不小于螺栓尺寸的重叠部分，过滤背景子图，对剩余子图进行识别并定位到原图中，最后使用NMS(非极大值抑制)得到原图的识别结果，解决原图分辨率过大训练困难、原图下采样后信息丢失的难题；针对铁塔螺栓与金具螺栓形态相近，且都会大量出现在无人机巡检图像中，铁塔螺栓无需安装开口销，神经网络却易将其混淆为未安装开口销的金具螺栓。采用金具级
‑
销钉级的双步骤目标检测，将检测区域限定在线路金具的附近，既排除了无需安装开口销的铁塔螺栓对检测结果的干扰，又可以根据已知的金具尺寸将图像缩放，使所有螺栓呈现相似尺寸，解决了拍摄距离不一致引起的目标尺寸差异问题。
附图说明
[0014]图1为本专利技术的无人机巡检图像的销钉级缺陷识别方法流程图。
具体实施方式
[0015]为使本专利技术的目的、技术方案以及优点更加清楚明白，下面结合附图和实施例对本专利技术作进一步详细说明，应当理解的是，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.无人机巡检图像的销钉级缺陷识别方法，其特征在于，包括如下步骤：S1、搭建基于R
‑
FCN网络的多目标检测模型，以ResNet
‑
FPN模块作为特征提取器；S2、获取并标注巡检图像，采用网格化半重叠拆分方式对巡检图像进行预处理得到初选子图；S3、对初选子图进行删选和类别标注得到目标子图，使用目标子图训练多目标检测模型与热力图生成模型；S4、使用VGG16
‑
CAM网络通过类激活映射的方法生成金具的热力图；S5、将高清原图和热力图进行叠加作为多目标检测模型的输入，若各类别识别准确率大于预设准确率，则判定多目标检测模型可靠，否则扩大数据集，重新执行S3；S6、通过训练完成的多目标检测模型对无人机实时采集的巡检图像进行识别，得到表征销钉级缺陷图像的类别和位置。2.根据权利要求1所述的无人机巡检图像的销钉级缺陷识别方法，其特征在于，还包括构造类别平衡的大间隔损失函数作为R
‑
FCN网络中的损失函数。3.根据权利要求2所述的无人机巡检图像的销钉级缺陷识别方法，其特征在于，大间隔损失函数的表达式为：其中：y
i
为目标子图的真实类别；c∈[0,C]，C为类别数，n
c
表示真实类别为c的全连接层单元个数；f
y
表示全连接层的输出向量，表示全连接层参数向量的模，||x
i
||表示特征向量的模，θ
yi
表示向量与向量x
i
的夹角。4.根据权利要求1所述的无人机巡检图像的销钉级缺陷识别方法，其特征在于，S2中，包括：将高清原图按照网格拆分成一系列大小不尽相同的初选子图；其中，相邻两个初选子图具备重叠区域，重叠区域的宽度大于螺栓在高清原图中的像素。5.根据权利要求4所述的无人机...

【专利技术属性】
技术研发人员：孙劼，李权，刘光，刘欢，蔡华波，方乙安，吕奕铭，李昕，陈达，
申请(专利权)人：国网浙江省电力有限公司台州供电公司，
类型：发明
国别省市：