基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法技术

本发明专利技术公开了一种基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法，包括以下步骤。步骤1：对数据集进行数据清理和划分；步骤2：通过EL

【技术实现步骤摘要】
基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法


[0001]本专利技术涉及输电线路巡检图像处理，尤其是涉及一种基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法。

技术介绍

[0002]输电线路缺陷的识别在工业实践中经济性较好、识别速率较快的常用方法是依靠图像分类模型对输电线路进行目标检测后的输出图像进行分类，以区分部件是否存在故障。但是在实践中，大部分输电线路目标图像都是无缺陷图像，不能用于训练缺陷识别和分析的监督学习模型，这种有缺陷和无缺陷样本不平衡被称为长尾效应。为了解决此问题，可以在数据级别进行增广，采用重采样的方式为样本不足的类别生成新样本，这种方式将导致少数样本的过度采样从而导致模型过拟合，直接降低特征提取的模型性能。
[0003]本专利技术针对输电线路缺陷识别问题，提出了一种基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法。其创新性以及技术贡献主要体现在以下的几个方面：
[0004](1)引入超分辨率对抗生成网络对输电线路小尺寸目标进行数据增广与语义信息扩充，解决了输电线路小尺寸目标边界不清、语义信息不足的问题；
[0005](2)引入显著性图对图像的显著性进行标注，同时引导对非显著特征进行擦除，以最大限度的保留缺陷特征并得到更多的缺陷数据增广，解决随机擦除算法对缺陷图片中显著特征擦除，导致分类模型难以学习到缺陷特征问题；
[0006](3)与现存的缺陷识别模型相比，本专利技术构建基于深度语义嵌入的增强特征金字塔分类网络，对输电线路目标物的正常数据集和缺陷数据集进行分类训练，更加贴合实际缺陷识别工作对实时性和准确性的需求。
[0007]实验结果表明，本专利技术提出的模型的精确度高、鲁棒性强、缺陷查全率高，能较好的解决输电线路缺陷识别问题。

技术实现思路

[0008]本专利技术的目的在于提供一种基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法。通过EL
‑
ESRGAN超分辨率增广算法，对输电线路小目标进行超分辨率图像生成；通过构建嵌套U型网络，对缺陷数据集进行基于显著性图的图像显著性检测，并引导Gridmask和随机擦除(Cut Out)算法，对缺陷数据集进行基于显著性图的数据增广；通过构建深度语义嵌入的特征金字塔分类网络，在ResNet34分类算法的基础上对输电线路目标图像进行缺陷识别。
[0009]本专利技术公开了一种基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法，包括以下步骤：
[0010]1)将输电线路目标图像作为数据集，根据输电线路是否有缺陷标记为正常集合和缺陷集合；根据目标图像的尺寸大小，按照给定阈值划分小目标集合和非小目标集合；
[0011]2)针对小目标集合，经过EL
‑
ERSGAN超分辨率增广算法进行图像超分辨率拓展；将非小目标集合和经过图像超分辨率拓展后的小目标集合组合后，压缩成同一尺寸，并划分训练集和测试集；
[0012]3)通过嵌套显著性检测网络U2‑
Net生成训练集图像的显著性图，通过形态学膨胀算法保证目标关键区域的完整性，在显著性分数低于阈值部分随机生成擦除区域，并填充随机像素形成数据增广后的图像集合；
[0013]4)将数据增广后的图像及其标签输入到深度语义嵌入的特征金字塔分类网络进行训练，获得训练好的分类器；
[0014]5)实时获取输电线路巡检的目标图像数据，并作为训练好的分类器的输入，输出识别结果。
[0015]作为本专利技术的可选实施方案，步骤2)所述的经过EL
‑
ERSGAN超分辨率增广算法进行图像超分辨率拓展，具体包括：
[0016]2.1)对EL
‑
ERSGAN超分辨率增广模型的生成器和鉴别器的损失函数进行定义，其公式如下：
[0017][0018][0019]式中，表示生成器的GAN损失函数，表示鉴别器的GAN损失函数，D
Ra
(x
r
,x
f
)代表鉴别图像比虚假图像更真实的概率，D
Ra
(x
f
,x
r
)表示鉴别图像比真实图像更虚假的概率，代表对处理批次中所有虚假数据进行的平均操作，x
i
代表输入GAN网络的低分辨率图像，x
f
表示GAN网络生成的判定为虚假的鉴别图像，x
r
表示GAN网络生成的判定为真实的鉴别图像；
[0020]2.2)使用输电线路非小目标集合训练超分辨率增广模型EL
‑
ERSGAN的生成器得到一个二阶退化模型，并使用L1损失函数、感知损失函数和所表示的GAN损失函数共同构建EL
‑
ERSGAN的整体损失函数，训练得到EL
‑
ERSGAN模型；
[0021]2.3)使用训练后的EL
‑
ERSGAN模型对输电线路小目标集合进行超分辨率图像增广。
[0022]作为本专利技术的可选实施方案，所述步骤3)具体为：
[0023]3.1)以残差块网络结构为基础，构建U型残差块网络；
[0024]3.2)通过堆叠3.1)中所述U型残差块网络，构建11阶段组成的嵌套显著性检测网络U2‑
Net；
[0025]3.3)使用嵌套显著性检测网络U2‑
Net生成输电线路目标图像的显著分数，通过形态学膨胀的确保算法保证目标关键区域的完整性，生成图像掩膜区域；
[0026]3.4)随机选择GridMask和随机擦除算法在图像掩膜区域进行随机擦除，并填充随机像素。
[0027]作为本专利技术的可选实施方案，所述步骤4)采用的深度语义嵌入的特征金字塔分类网络，包括：
[0028]ResNet特征提取模块，其输入为输电线路目标图像，输出为该图像不同尺度的特征；
[0029]特征增强金字塔模块，其输入为ResNet特征提取模块生成的不同尺度的特征，输出为相邻尺度的融合特征；
[0030]深层语义嵌入模块(DSE)，其输入为特征增强金字塔模块生成的融合特征，输出为具有丰富语义信息的低分辨率特征和具有丰富位置信息的高分辨率特征；
[0031]深度特征融合模块(DFF)，其输入为深层语义嵌入模块生成的低分辨率特征与高分辨率特征，输出为高分辨率和低分辨率特征经过卷积、池化操作后的特征向量；
[0032]图像分类网络(OC)，其输入为深度特征融合模块生成的高分辨率特征和低分辨率特征的特征向量，输出为输电线路巡检目标是否存在故障的分类结果。
[0033]作为本专利技术的可选实施方案，所述步骤1)使用的数据集为输电线路绝缘子自爆数据集。
[0034]根据本专利技术的一个具体实施方案，以步骤2)中构建的输电线路绝缘子图像训练集训练得到深度语义嵌入的特征金字塔分类网络，用步骤2)中构建的输电线路绝缘子图像测试集测试分类网络，并以网络分类准确率和F2
‑...

【技术保护点】

【技术特征摘要】
1.一种基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法，其特征在于包括以下步骤：1)将输电线路目标图像作为数据集，根据输电线路是否有缺陷标记为正常集合和缺陷集合；根据目标图像的尺寸大小，按照给定阈值划分小目标集合和非小目标集合；2)针对小目标集合，经过EL
‑
ERSGAN超分辨率增广算法进行图像超分辨率拓展；将非小目标集合和经过图像超分辨率拓展后的小目标集合组合后，压缩成同一尺寸，并划分训练集和测试集；3)通过嵌套显著性检测网络U2‑
Net生成训练集图像的显著性图，通过形态学膨胀算法保证目标关键区域的完整性，在显著性分数低于阈值部分随机生成擦除区域，并填充随机像素形成数据增广后的图像集合；4)将数据增广后的图像及其标签输入到深度语义嵌入的特征金字塔分类网络进行训练，获得训练好的分类器；5)实时获取输电线路巡检的目标图像数据，并作为训练好的分类器的输入，输出识别结果。2.根据权利要求1所述的一种基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法，其特征在于，步骤2)所述的经过EL
‑
ERSGAN超分辨率增广算法进行图像超分辨率拓展，具体包括：2.1)对EL
‑
ERSGAN超分辨率增广模型的生成器和鉴别器的损失函数进行定义，其公式如下：如下：式中，表示生成器的GAN损失函数，表示鉴别器的GAN损失函数，D
Ra
(x
r
,x
f
)代表鉴别图像比虚假图像更真实的概率，D
Ra
(x
f
,x
r
)表示鉴别图像比真实图像更虚假的概率，代表对处理批次中所有虚假数据进行的平均操作，x
i
代表输入GAN网络的低分辨率图像，x
f
表示GAN网络生成的判定为虚假的鉴别图像，x
r
表示GAN网络生成的判定为真实的鉴别图像；2.2)使用输电线路非小目标集合训练超分辨率增广模型EL
‑
...

【专利技术属性】
技术研发人员：杨强，徐昊，苏超，曹园，蒋迪，邱恺頔，
申请(专利权)人：浙江大学，
类型：发明
国别省市：