一种基于人工智能的绝缘子缺陷识别方法、设备及介质技术

本发明专利技术公开了一种基于人工智能的绝缘子缺陷识别方法、设备及介质，包括：将待缺陷识别的绝缘子图像输入绝缘子串检测器，检测获得绝缘子串区域图像；对绝缘子串区域图像进行角度校正处理，得到校正图像；将校正图像输入缺陷检测器以检测获得绝缘子缺陷区域，缺陷检测器基于改进的yolov5模型构建并训练得到；根据缺陷区域检测结果进行绝缘子缺陷识别：若未检测到缺陷区域，判定当前绝缘子串不存在缺陷；若缺陷位于绝缘子串中间位置，直接判定当前绝缘子串存在缺陷；若缺陷区域位于绝缘子串两端，则再将缺陷区域图像输入绝缘子缺陷分类器，根据输出结果判定当前绝缘子串是否存在缺陷。本发明专利技术提高对绝缘子缺陷的识别准确率。发明专利技术提高对绝缘子缺陷的识别准确率。发明专利技术提高对绝缘子缺陷的识别准确率。

【技术实现步骤摘要】
一种基于人工智能的绝缘子缺陷识别方法、设备及介质


[0001]本专利技术涉及电力设备图像分析领域，尤其涉及一种基于人工智能的绝缘子缺陷识别方法、设备及存储介质。

技术介绍

[0002]随着电力工业的快速发展，电力设备的数量和种类越来越多，急需一种能自动识别电力线路上的设备缺陷的方法。现有技术中，由于绝缘子在图像上占比较小，导致绝缘子缺陷识别的鲁棒性不高，尤其位于绝缘子串两端点的绝缘子缺陷的误判率较高。

技术实现思路

[0003]本专利技术提供一种基于人工智能的绝缘子缺陷识别方法、设备及介质，以解决现有技术中对绝缘子缺陷识别的鲁棒性不高的问题。
[0004]为实现上述技术目的，本专利技术采用如下技术方案：一种基于人工智能的绝缘子缺陷识别方法，包括：获取待缺陷识别的绝缘子图像；将待缺陷识别的绝缘子图像输入至预先训练好的绝缘子串检测器，检测获得绝缘子串区域图像；对绝缘子串区域图像进行角度校正处理，得到校正图像；在校正图像中，绝缘子串的棒芯垂直于校正图像的边界线；将校正图像输入至预先训练好的缺陷检测器，检测获得绝缘子的缺陷区域图像；所述缺陷检测器基于改进的yolov5模型构建并训练得到；根据缺陷区域检测结果进行绝缘子缺陷识别：若缺陷检测器未检测到缺陷区域，则判定当前绝缘子不存在缺陷；若缺陷检测器检测到的绝缘子缺陷位于绝缘子串的中间位置，则直接判定当前绝缘子存在缺陷；若缺陷检测器检测到的绝缘子的缺陷位于绝缘子串的两端，则进一步将绝缘子的缺陷区域图像输入预先训练好的绝缘子缺陷分类器，根据输出结果判定当前绝缘子是否存在缺陷。
[0005]进一步地，所述绝缘子串检测器采用带实例分割的mask
‑
rcnn目标检测器，通过若干航拍的绝缘子图像对深度神经网络模型进行训练得到，具体包括：获取若干各种拍摄角度的绝缘子串的图像和其他不包含绝缘子串的电力设备的图像，并进行标注，构成绝缘子串数据集；对绝缘子串数据集中的图像进行预处理，构成绝缘子串训练集和绝缘子串测试集；利用绝缘子串训练集和绝缘子串测试集，对基于mask
‑
rcnn带实例分割的深度学习网络结构的模型进行训练，得到带实例分割的绝缘子串检测器。
[0006]进一步地，所述角度校正处理采用两阶段的图像校正方法；第一阶段的图像校正方法为：提取绝缘子串的轮廓，将轮廓长轴方向视为主方向，计算主方向与图像边界方向的夹角，根据该夹角对绝缘子串区域图像进行旋转，使得主方向与图像的底部边界水平线垂直，得到初始校正图像；第二阶段的图像校正方法为：以比例a横向缩小初始校正图像；然后对横向缩小后的图像以比例b纵向缩小；再提取图像中的绝缘子边缘，并采用hough算法计算图像中棒芯形成的直线；最终，根据该直线与初始校正图像底边边界水平线的夹角，旋转初始校正图像，使得棒芯与图像的底部边界水平线垂直，得到精确的校正图像；其中a>b。
[0007]进一步地，所述改进的yolov5模型，其focus层包括6个输入通道，分别用于输入校正图像的rgb和hsv共6个通道信息；所述改进的yolov5模型，其focus 层的卷积子层的切片后通道数，为原始改进前的2倍。
[0008]进一步地，所述改进的yolov5模型，其输出层prediction包括形式与结构均相同但输入不同分辨率特征图的三个输出子层；其中，每个输出子层增加注意力机制，包括4层结构：第1层结构的输入为yolov5模型Neck层输出，包括1个卷积子层，用于对Neck层的输出进行卷积变换；经过卷积子层后再经过上采样，将分辨率提高1倍，输出为1个通道，表示特征图上的各点是否表示绝缘子缺陷的概率；第2层结构的输入为yolov5模型Neck层输出，包括1个卷积子层，用于对Neck层的输出进行卷积变换；经过卷积子层后再经过上采样，将分辨率提高1倍，输出为18个通道；具体计算方法为：18=（1+4+1）*3，本专利技术只检测绝缘子缺陷1个类， 3是yolov5模型的anchor数目，anchor指在每个输出层的特征图的每个点预设的检测框的数目；另外的4和1指的是检测框的xywh值和objectness概率值，objectness概率值表示特征图上的某个点是绝缘子缺陷的概率。虽然“第1层”和“第2层”都包含相同的信息即是否为前景的概率，但是“第1层”和“第2层”的参数是不同的，期望通过训练能够形成相互配合使得输出结果最优的网络权重。
[0009]第3层结构采用注意力机制将第1层结构和第2层结构的输出进行融合，具体为：先将第1层结构输出的特征图的各点特征值的范围变换为[0.8,1]；然后将第1层结构的输出特征图与第2层结构输出的各通道的特征图在相同点的值进行相乘，得到与第2层结构输出特征图维数相同的特征图；第4层结构使用1个卷积子层对第3层结构输出的特征图进行变换，卷积的步长为2，实现下采样的效果，得到表示检测结果的特征图；该特征图上各点表示的检测结果，包括每个预设检测框为绝缘子缺陷前景的概率、为绝缘子缺陷的概率以及与此预设检测框对应的实际检测框的位置。
[0010]进一步地，所述改进的yolov5模型，其训练的损失函数为：式中，L为改进的yolov5模型的损失函数值，表示未改进的yolov5模型的损失函数，表示改进的yolov5模型的输出层的第k个输出子层的第1层结构的输出特征
图上第i点的标签值，表示改进的yolov5模型的输出层的第k个输出子层的第1层结构输出特征图上第i点的输出值，n表示输出特征图的点的数目，k为输出子层的数目，yolov5模型包含3个输出子层。
[0011]进一步地，所述绝缘子缺陷分类器的训练方法为：获取若干各种拍摄角度的原始绝缘子图像，并按照待缺陷识别的绝缘子图像相同的处理方法，获得其绝缘子串区域图像和校正图像；对绝缘子串区域图像和校正图像中位于绝缘子串两端处的绝缘子缺陷进行标注，构建缺陷绝缘子样本；按照绝缘子缺陷标注框的尺寸，对绝缘子串区域图像和校正图像中的正常绝缘子区域进行标注，构建正常绝缘子样本；对缺陷绝缘子样本和正常绝缘子样本进行预处理，然后输入至基于resnet的二分类模型中进行训练，得到绝缘子缺陷分类器。
[0012]进一步地，所述对缺陷绝缘子样本和正常绝缘子样本进行预处理，具体为：对缺陷绝缘子样本和正常绝缘子样本，首先进行边缘提取形成边缘二值图像，其中边缘像素值为255，非边缘处像素值为0；然后，设边缘二值图像的像素值为，绝缘子样本在通道的像素值为，对边缘二值图像与绝缘子样本进行融合得到预处理后的融合图像：式中，表示融合图像在通道中的像素值，a和b为融合的比例系数。
[0013]一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现上述任一项所述的基于人工智能的绝缘子缺陷识别方法。
[0014]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的基于人工智能的绝缘子缺陷识别方法。
[0015]与现有技术相比，本专利技术的有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的绝缘子缺陷识别方法，其特征在于，包括：获取待缺陷识别的绝缘子图像；将待缺陷识别的绝缘子图像输入至预先训练好的绝缘子串检测器，检测获得绝缘子串区域图像；对绝缘子串区域图像进行角度校正处理，得到校正图像；在校正图像中，绝缘子串的棒芯垂直于校正图像的边界线；将校正图像输入至预先训练好的绝缘子缺陷检测器，检测获得绝缘子串的缺陷区域图像；所述缺陷检测器基于改进的yolov5模型构建并训练得到；根据缺陷区域检测结果进行绝缘子缺陷识别：若缺陷检测器未检测到缺陷区域，则判定当前绝缘子串不存在缺陷；若缺陷检测器检测到的绝缘子缺陷位于绝缘子串的中间位置，则直接判定当前绝缘子串存在缺陷；若缺陷检测器检测到的绝缘子缺陷位于绝缘子串的两端，则进一步将绝缘子的缺陷区域图像输入预先训练好的绝缘子缺陷分类器，根据输出结果判定当前绝缘子串是否存在缺陷。2.根据权利要求1所述的方法，其特征在于，所述绝缘子串检测器采用带实例分割的mask
‑
rcnn目标检测器，通过若干航拍的绝缘子串图像对深度神经网络模型进行训练得到，具体包括：获取若干各种拍摄角度的绝缘子串的图像和其他不包含绝缘子串的电力设备的图像，并进行标注，构成绝缘子串数据集；对绝缘子串数据集中的图像进行预处理，构成绝缘子串训练集和绝缘子串测试集；利用绝缘子串训练集和绝缘子串测试集，对基于mask
‑
rcnn带实例分割的深度学习网络结构的模型进行训练，得到带实例分割的绝缘子串检测器。3.根据权利要求1所述的方法，其特征在于，所述角度校正处理采用两阶段的图像校正方法；第一阶段的图像校正方法为：绝缘子串检测器检测获得绝缘子串的轮廓，将轮廓长轴方向视为主方向，计算主方向与图像边界方向的夹角，根据该夹角对绝缘子串区域图像进行旋转，使得主方向与图像的底部边界水平线垂直，得到初始校正图像；第二阶段的图像校正方法为：以比例a横向缩小初始校正图像；然后对横向缩小后的图像以比例b纵向缩小；再提取图像中的绝缘子串边缘，并采用hough算法计算图像中绝缘子串的棒芯形成的直线；最终，根据该直线与初始校正图像底边边界水平线的夹角，旋转初始校正图像，使得棒芯与图像的底部边界水平线垂直，得到精确的校正图像；其中a>b。4.根据权利要求1所述的方法，其特征在于，所述改进的yolov5模型，其focus层包括6个输入通道，分别用于输入校正图像的rgb和hsv共6个通道信息；所述改进的yolov5模型，其focus 层的卷积子层的切片后通道数，为原始改进前的2倍。5.根据权利要求1所述的方法，其特征在于，所述改进的yolov5模型，其输出层prediction包括形式与结构均相同但分辨率特征图不同的3个输出子层；其中，每个输出子层增加注意力机制，包括4层结构：第1层结构的输入为yolov5模型Neck层输出，包括1个卷积子层，用于对Neck层的输出
进行卷积变换；经过卷积子层后再经...

【专利技术属性】
技术研发人员：徐晓晖，黄晃，张炼，
申请(专利权)人：湖南应超智能计算研究院有限责任公司，
类型：发明
国别省市：