室外绝缘子表面缺陷识别方法、装置及电子设备制造方法及图纸

本发明专利技术提供一种室外绝缘子表面缺陷识别方法、装置及电子设备。该方法包括：获取目标图像；基于预设绝缘子检测模型对目标图像中的绝缘子进行定位，获得包括绝缘子定位坐标的目标图像；将按照绝缘子定位坐标对目标图像进行裁剪后的待识别绝缘子图像输入预设图像重建和特征重建融合模型，获得待识别绝缘子图像与正常绝缘子图像的第一差异特征图和待识别绝缘子图像的特征与正常绝缘子图像的特征的第二差异特征图；对第一差异特征图和第二差异特征图进行融合，并对融合后的特征图进行阈值分割，根据分割结果确定对应绝缘子的表面缺陷识别结果。本发明专利技术能够自动对高压电力系统和室外高速铁路牵引变电系统中的绝缘子进行准确快速的表面缺陷识别。速的表面缺陷识别。速的表面缺陷识别。

【技术实现步骤摘要】
室外绝缘子表面缺陷识别方法、装置及电子设备


[0001]本专利技术涉及牵引变电运行状态检修
，尤其涉及一种室外绝缘子表面缺陷识别方法、装置及电子设备。

技术介绍

[0002]目前，中国电网规模已经超过美国，居世界第一，然而我国的电力巡线方法和技术却依然滞后，并造成不少人力、物力以及社会资源浪费。
[0003]传统的高压输变电领域的设备运行状态检修存在巡视范围小、检测效率低和存在安全隐患等问题。目前，基于无人机的高压输变电领域设备运行状态巡检广泛应用在我国各大电力公司，它具有机动灵活的特点，可以通过悬停在设备周边实现“无死角、无盲区”巡视诊断。然而目前基于无人机的室外绝缘子表面缺陷识别巡检一般都是利用无人机采集完图像后依靠人工进行检测，无法进行自动检测。人工检测会影响缺陷识别的效率，同时检测准确率也会因人而异。

技术实现思路

[0004]本专利技术实施例提供了一种室外绝缘子表面缺陷识别方法、装置及电子设备，以解决目前基于人工的室外绝缘子表面缺陷识别效率和准确率不高的问题。
[0005]第一方面，本专利技术实施例提供了一种室外绝缘子表面缺陷识别方法，包括：
[0006]获取目标图像；所述目标图像为包括绝缘子且待进行表面缺陷识别的图像；
[0007]基于预设绝缘子检测模型对所述目标图像中的绝缘子进行定位，获得包括绝缘子定位坐标的目标图像；
[0008]将按照所述绝缘子定位坐标对所述目标图像进行裁剪后的待识别绝缘子图像输入预设图像重建和特征重建融合模型，获得所述待识别绝缘子图像与正常绝缘子图像的第一差异特征图和所述待识别绝缘子图像的特征与正常绝缘子图像的特征的第二差异特征图；
[0009]对所述第一差异特征图和所述第二差异特征图进行融合，并对融合后的特征图进行阈值分割，根据分割结果确定对应绝缘子的表面缺陷识别结果。
[0010]在一种可能的实现方式中，所述预设绝缘子检测模型，包括：第一特征提取网络、特征融合网络、特征注意网络、候选区域生成网络、分类与边界框回归网络；
[0011]所述第一特征提取网络，用于对所述目标图像进行不同尺度的特征提取，获得所述目标图像不同尺度的提取特征图；
[0012]所述特征融合网络，用于对所述目标图像不同尺度的提取特征图进行特征融合，获得所述目标图像的多尺度融合特征图；
[0013]所述特征注意网络，用于对所述多尺度融合特征图中不同通道的特征进行加权，获得加权后的多尺度融合特征图；
[0014]所述候选区域生成网络，用于按照所述加权后的多尺度融合特征图进行候选区域
生成，获得含绝缘子概率较高的各个候选区域及对应的候选区域特征；
[0015]所述分类与边界框回归网络，用于对各个候选区域特征进行分类，并对各个候选区域进行回归，将损失最小的候选区域的坐标确定为所述目标图像的绝缘子定位坐标。
[0016]在一种可能的实现方式中，所述预设绝缘子检测模型的训练过程包括：
[0017]将训练集中的各幅训练图像依次输入所述第一特征提取网络、所述特征融合网络、所述特征注意网络、所述候选区域生成网络、所述分类与边界框回归网络中；
[0018]基于所述分类与边界框回归网络中输出的各幅训练图像的绝缘子定位预测边框、各幅训练图像的绝缘子定位真实边框和IoU损失函数，对所述特征注意网络中不同通道的权重和所述候选区域生成网络中生成的候选区域进行迭代训练，当所述IoU损失函数收敛时，获得训练完成的预设绝缘子检测模型。
[0019]在一种可能的实现方式中，所述训练集中每幅训练图像中的绝缘子的角度不同；
[0020]基于所述分类与边界框回归网络中输出的各幅训练图像的绝缘子定位预测边框、各幅训练图像的绝缘子定位真实边框和IoU损失函数，对所述候选区域生成网络中生成的候选区域进行迭代训练，包括：
[0021]基于所述分类与边界框回归网络中输出的各幅训练图像的绝缘子定位预测边框的边框旋转角、各幅训练图像的绝缘子定位真实边框的边框旋转角和IoU损失函数，对所述候选区域生成网络中生成的候选区域进行迭代训练；
[0022]所述基于预设绝缘子检测模型对所述目标图像中的绝缘子进行定位，获得包括绝缘子定位坐标的目标图像，包括：
[0023]基于预设绝缘子检测模型对所述目标图像中的绝缘子进行定位，获得包括边框旋转角的绝缘子定位坐标的目标图像；
[0024]所述将按照所述绝缘子定位坐标对所述目标图像进行裁剪后的待识别绝缘子图像输入预设图像重建和特征重建融合模型，包括：
[0025]将按照所述绝缘子定位坐标中的边框旋转角旋转，并按照所述绝缘子定位坐标裁剪后的待识别绝缘子图像输入预设图像重建和特征重建融合模型。
[0026]在一种可能的实现方式中，所述预设图像重建和特征重建融合模型，包括：图像重建网络，第二特征提取网络和特征重建网络；
[0027]所述图像重建网络，用于对所述待识别绝缘子图像进行重建，获得所述待识别绝缘子图像与正常绝缘子图像的第一差异特征图；
[0028]所述第二特征提取网络，用于对所述待识别绝缘子图像进行特征提取；
[0029]所述特征重建网络，用于对提取的所述待识别绝缘子图像的特征进行重建，获得所述待识别绝缘子图像的特征与正常绝缘子图像的特征的第二差异特征图。
[0030]在一种可能的实现方式中，所述对所述第一差异特征图和所述第二差异特征图进行融合，包括：
[0031]根据E＝W1E1+W2E2，对所述第一差异特征图和所述第二差异特征图进行融合；
[0032]其中，E为融合后的特征图，W1为所述第一差异特征图的权重，E1为所述第一差异特征图，W2为所述第二差异特征图的权重，E2为所述第二差异特征图。
[0033]在一种可能的实现方式中，所述对融合后的特征图进行阈值分割，根据分割结果确定对应绝缘子的表面缺陷识别结果，包括：
[0034]基于大律阈值分割方法对融合后的特征图的前景和背景进行分割，根据分割结果中的前景区域确定对应绝缘子是否存在表面缺陷及表面缺陷的位置。
[0035]第二方面，本专利技术实施例提供了一种室外绝缘子表面缺陷识别装置，包括：
[0036]获取模块，用于获取目标图像；所述目标图像为包括绝缘子且待进行表面缺陷识别的图像；
[0037]定位模块，用于基于预设绝缘子检测模型对所述目标图像中的绝缘子进行定位，获得包括绝缘子定位坐标的目标图像；
[0038]第一识别模块，用于将按照所述绝缘子定位坐标对所述目标图像进行裁剪后的待识别绝缘子图像输入预设图像重建和特征重建融合模型，获得所述待识别绝缘子图像与正常绝缘子图像的第一差异特征图和所述待识别绝缘子图像的特征与正常绝缘子图像的特征的第二差异特征图；
[0039]第二识别模块，用于对所述第一差异特征图和所述第二差异特征图进行融合，并对融合后的特征图进行阈值分割，根据分割结果确定对应绝缘子的表面缺陷识别结果。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种室外绝缘子表面缺陷识别方法，其特征在于，包括：获取目标图像；所述目标图像为包括绝缘子且待进行表面缺陷识别的图像；基于预设绝缘子检测模型对所述目标图像中的绝缘子进行定位，获得包括绝缘子定位坐标的目标图像；将按照所述绝缘子定位坐标对所述目标图像进行裁剪后的待识别绝缘子图像输入预设图像重建和特征重建融合模型，获得所述待识别绝缘子图像与正常绝缘子图像的第一差异特征图和所述待识别绝缘子图像的特征与正常绝缘子图像的特征的第二差异特征图；对所述第一差异特征图和所述第二差异特征图进行融合，并对融合后的特征图进行阈值分割，根据分割结果确定对应绝缘子的表面缺陷识别结果。2.根据权利要求1所述的室外绝缘子表面缺陷识别方法，其特征在于，所述预设绝缘子检测模型，包括：第一特征提取网络、特征融合网络、特征注意网络、候选区域生成网络、分类与边界框回归网络；所述第一特征提取网络，用于对所述目标图像进行不同尺度的特征提取，获得所述目标图像不同尺度的提取特征图；所述特征融合网络，用于对所述目标图像不同尺度的提取特征图进行特征融合，获得所述目标图像的多尺度融合特征图；所述特征注意网络，用于对所述多尺度融合特征图中不同通道的特征进行加权，获得加权后的多尺度融合特征图；所述候选区域生成网络，用于按照所述加权后的多尺度融合特征图进行候选区域生成，获得含绝缘子概率较高的各个候选区域及对应的候选区域特征；所述分类与边界框回归网络，用于对各个候选区域特征进行分类，并对各个候选区域进行回归，将损失最小的候选区域的坐标确定为所述目标图像的绝缘子定位坐标。3.根据权利要求2所述的室外绝缘子表面缺陷识别方法，其特征在于，所述预设绝缘子检测模型的训练过程包括：将训练集中的各幅训练图像依次输入所述第一特征提取网络、所述特征融合网络、所述特征注意网络、所述候选区域生成网络、所述分类与边界框回归网络中；基于所述分类与边界框回归网络中输出的各幅训练图像的绝缘子定位预测边框、各幅训练图像的绝缘子定位真实边框和IoU损失函数，对所述特征注意网络中不同通道的权重和所述候选区域生成网络中生成的候选区域进行迭代训练，当所述IoU损失函数收敛时，获得训练完成的预设绝缘子检测模型。4.根据权利要求3所述的室外绝缘子表面缺陷识别方法，其特征在于，所述训练集中每幅训练图像中的绝缘子的角度不同；基于所述分类与边界框回归网络中输出的各幅训练图像的绝缘子定位预测边框、各幅训练图像的绝缘子定位真实边框和IoU损失函数，对所述候选区域生成网络中生成的候选区域进行迭代训练，包括：基于所述分类与边界框回归网络中输出的各幅训练图像的绝缘子定位预测边框的边框旋转角、各幅训练图像的绝缘子定位真实边框的边框旋转角和IoU损失函数，对所述候选区域生成网络中生成的候选区域进行迭代训练；所述基于预设绝缘子检测模型对所述目标图像中的绝缘子进行定位，获得包括绝缘子
定位坐标...

【专利技术属性】
技术研发人员：梁博渊，臧谦，田霖，刘振，张志猛，刘良帅，侯倩，庞先海，
申请(专利权)人：国家电网有限公司国网河北能源技术服务有限公司，
类型：发明
国别省市：