【技术实现步骤摘要】
本专利技术涉及深度学习，具体涉及基于sga与se-f的轻量级输电线路绝缘子缺陷检测算法。
技术介绍
1、输电线路作为保障电能传输的关键组成部分，其维护检修是确保电网安全稳定运行的重要步骤。输电线路部件主要包括导线、绝缘子、塔杆等。其中，绝缘子是输电线路中使用最广泛、最基本的部件，其故障也是造成线路故障的主要原因之一，所以定期巡检输电线路绝缘子故障对电力系统的安全运行尤为重要。近年来，利用无人机对输电线路巡检是国内外输电线路巡检的重要模式。该巡检模式显著提高了电力系统巡检的效率、安全性，减少了人工成本。然而，随着输电网络规模的持续扩大，由无人机采集的数据呈现倍增趋势，为相关技术人员增加了巨大的工作负担。目前，在输电线路巡检领域，利用无人机进行高压输电线路的巡检，并基于计算机视觉技术对巡检数据中存在的故障目标进行实时、精准检测，已成为重要的研究方向，同时也是一个具有极大挑战性的课题。
2、目前，基于深度学习的目标检测已成为计算机视觉领域的主要研究方向，同时也是一个备受关注的研究热点。这一方法能够有效克服传统基于人工进行目标检测时存在的检测精度低、容易受到环境干扰以及泛化能力不足等问题。基于深度学习的目标检测算法可以分为两种：
3、一种是二阶段算法，该方法首先生成候选框，然后对这些框进行分类和定位，以提供较高的准确度，同时有效区分不同类别的目标，这种方法在目标位置精准性和多类别识别方面具备优势，代表算法包括r-cnn、fast r-cnn、faster r-cnn等。但二阶段目标检测算法存在实时性相对较低的缺点
4、另一种是基于回归的一阶段检测算法，其主要思想是将图片分为s×s个单元格，每个单元格负责检测中心点落在该单元格内的目标，并预测出边界框及目标类别信息。其中典型算法包括ssd[18]和yolo系列等。xuan l等人通过对ssd算法中特征融合部分进行改进来检测输电线路中的绝缘子和间隔器，最后实验证明改进后算法的检测精度优于初始算法。ang g等人基于yolov5检测框架对极端焊缝噪声进行检测，引入重参数化卷积神经网络repvgg优化了网络结构[30]，并使用轻量化的注意力机制模块nam[31]增强网络对特征点的感知。改进后的模型相较于初始yolov5模型和传统的cnn方法，检测精度获得大大提升。hulin li等人将标准卷积sc和深度可分离卷积dwconv结合，提出一种新型卷积gsconv[32]，用于替代yolov5中标准卷积层以实现减小模型计算量的同时保证足够高的精度。实验表明在无人驾驶道路检测任务中，改进后的更高的检测效率。xingkui zhu等人基于transformer encoder设计了一种全新的检测头tph，用于无人机道路检测任务。实验表明改进后的模型对道路中各类目标拥有更高的检测精度。bao w等人基于yolov5提出一种绝缘子和减震器的缺陷检测方法，该研究将ca注意力机制引入yolov5网络，增强了网络在复杂背景下检测绝缘子和减震器的能力。同时使用bifpn代替原始的panet特征融合框架，增强了网络对小目标的检测能力。实验表明，该模型较初始模型对两种缺陷的检测能力均有提升。
5、综上所述，现有研究对算法的改进主要分为两个方向，一是通过引入模块或改进网络结构提高模型检测精度，但同时会增加网络的复杂度，使得模型参数量、计算量增大，导致检测实时性较差。二是使用轻量级网络替换原有结构提高模型检测速度，但无法保证足够高的检测精度。
6、yolov5是you only look once(yolo)系列中训练门槛较低的一阶段检测模型之一，并且在众多模型中，该模型实现了检测速度和准确度的最佳平衡，是目前应用最广的输电线路绝缘子缺陷检测模型。
7、尽管yolov5继承了之前版本的众多改进策略，但依旧存在对于复杂背景下的缺陷目标以及较小目标特征提取能力较差；并且由于此类目标的位置信息和语义信息不够明确，只采用fpn+pan的特征融合方式无法实现特征间的有效融合；模型计算量过大导致无法有效部署于无人机终端进行实时检测等问题。
8、针对上述问题，结合输电线路绝缘子缺陷数据集特点，本专利技术首先通过引入注意力机制、构建新型特征融合方式对初始模型进行改进，然后结合通道剪枝算法实现模型轻量化，最后构建知识蒸馏模型提高剪枝后模型检测精度。
技术实现思路
1、本专利技术的目的在于针对现有技术中不足与缺陷，提供基于sga与se-f的轻量级输电线路绝缘子缺陷检测算法，本专利技术首先通过引入注意力机制、构建新型特征融合方式对初始模型进行改进，然后结合通道剪枝算法实现模型轻量化，最后构建知识蒸馏模型提高剪枝后模型检测精度。
2、为实现上述目的，本专利技术采用以下技术方案是：基于sga与se-f的轻量级输电线路绝缘子缺陷检测算法，它具体包括如下步骤：首先，在yolov5网络基础上引入全新的注意力机制sga，增强待检测缺陷目标的显著度，以解决微小绝缘子缺陷特征难以提取的问题；其次，提出了同尺度加权融合模块se-f，用于替换特征融合网络中的concat模块，提高了网络对低层位置信息和高层语义信息的特征的融合能力；再次，对改进后yolov5通过稀疏化训练和通道剪枝，进一步优化模型结构；同时利用知识蒸馏引导模型进行知识学习，提高检测精度；最后，使用分类循环训练法，解决因样本数量不平衡和背景复杂度差异导致模型学习效率低的问题。
3、进一步的，所述注意力机制sga的具体为：x'＝f1×1(gn(x)×softmax(sda(q,k,v)))；其中w1，w2，w3为x分别经过三次全连接层得到的权重矩阵；
4、在特征归一化阶段，注意力机制sga使用groupnorm代替原nam中所使用的batchnorm，因为在实际的模型训练中，batchnorm需要使用足够大的batch size，如果batch size太小会极大增加模型的误检率，但是在实际任务中，输入的图像数据很大，较大的batch size会导致显存溢出，groupnorm的归一化方式避开了batch size对模型的影响，首先将channel分组，然后计算channel方向上每一个group的均值和方差，计算过程如下：其中，μng(x)表示保留n维度，当前组别的均值；σng(x)表示当前组别的方差；ε为一个尽可能小的值；γ和β分别为缩放因子和平移因子；
5、在注意力权重计算阶段，使用单头自注意力模型中缩放点积注意力机制，重新设计了一条支路计算注意力权重，首先使用三个全连接层从输入x中提取出query、key、value向量，然后对query和key向量进行缩放点积，计算每个query向量与key本文档来自技高网...
【技术保护点】
1.基于SGA与SE-F的轻量级输电线路绝缘子缺陷检测算法，其特征在于：它具体包括如下步骤：
2.根据权利要求1所述的基于SGA与SE-F的轻量级输电线路绝缘子缺陷检测算法，其特征在于：所述S1中注意力机制SGA的具体为：
3.根据权利要求1所述的基于SGA与SE-F的轻量级输电线路绝缘子缺陷检测算法，其特征在于：所述S2中同尺度加权融合模块SE-f具体为：
4.根据权利要求1所述的基于SGA与SE-F的轻量级输电线路绝缘子缺陷检测算法，其特征在于：所述S3中改进YOLOv5的模型优化包括结构优化与精度优化。
5.根据权利要求1所述的基于SGA与SE-F的轻量级输电线路绝缘子缺陷检测算法，其特征在于：所述结构优化具体为：对初始YOLOv5s网络改进后，其计算量相较于初始YOLOv5s网络略有提高，并且训练后模型体积较大，过高的计算量会导致算法推理耗时较长，进而影响检测的实时性，且体积较大的模型不利于算法部署于移动终端，为了压缩模型体积，筛选不重要通道、采取模型剪枝操作是有必要，为保持网络完整性以及减少硬件成本，采用通道剪枝方式对模型
6.根据权利要求1所述的基于SGA与SE-F的轻量级输电线路绝缘子缺陷检测算法，其特征在于：所述精度优化具体为：知识蒸馏是利用迁移学习的思想将高精度的大模型学习到的知识指导小模型训练，加速较小模型的收敛，考虑到改进YOLOv5模型经过通道剪枝操作后存在精度下降的问题，因此对剪枝后的模型采用知识蒸馏微调，以保持较高的检测精度；
...【技术特征摘要】
1.基于sga与se-f的轻量级输电线路绝缘子缺陷检测算法，其特征在于：它具体包括如下步骤：
2.根据权利要求1所述的基于sga与se-f的轻量级输电线路绝缘子缺陷检测算法，其特征在于：所述s1中注意力机制sga的具体为：
3.根据权利要求1所述的基于sga与se-f的轻量级输电线路绝缘子缺陷检测算法，其特征在于：所述s2中同尺度加权融合模块se-f具体为：
4.根据权利要求1所述的基于sga与se-f的轻量级输电线路绝缘子缺陷检测算法，其特征在于：所述s3中改进yolov5的模型优化包括结构优化与精度优化。
5.根据权利要求1所述的基于sga与se-f的轻量级输电线路绝缘子缺陷检测算法，其特征在于：所述结构优化具体为：对初始yolov5s网...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。