【技术实现步骤摘要】
本专利技术属于图像增强领域，特别涉及一种挂轨机器人巡检图像处理方法。
技术介绍
1、传统的配电室巡检工作主要依靠人工现场检查，不仅耗时耗力，而且在恶劣天气条件下存在安全隐患，通过使用搭载高精度相机的巡检机器人，并结合深度学习图像处理增强技术，可以实现对输电线路及附属设施的自动化检测，这不仅提高了检测的准确性和效率，还极大地降低了工作人员面临的风险。
2、随着电力设施的老化，其维护成本和频率也在不断增加，通过巡检机器人和图像识别分割技术，可以实时监测电力设施的状态变化，并对异常情况进行早期预警，利用深度学习算法对图像识别分析，判断电缆故障状态，提前预测设备的故障趋势，这不仅能减少意外停机的时间，还能降低维修成本，延长设备的使用寿命。
3、通过对巡检机器人拍摄的高清图像进行分析处理，及时发现故障所在位置，分析故障缘由，能够显著提高电力设施维护的效率和安全性，还能为电力系统的长期稳定运行提供强有力的支持，这对于减少意外停电事件、保障电力供应的可靠性和连续性具有极其重要的意义。
技术实现思路
1、本专利技术提供一种挂轨机器人巡检图像处理方法，旨在提出过滤强化模块，有助于过滤输入图像中的干扰信息，并强化图像中对识别有益的特征，有助于后续特征的处理，提高模型识别的准确性；提出多阶跨尺度模块，使用多尺度金字塔结构提取不同尺度下输入向量的特征，充分利用向量中的高级语义信息和低级细节纹理信息，进一步提高分割的精度；提出解码器模块，将不同尺度的特征信息进行融合和提取，提高模型的
2、本专利技术旨在提出电力系统巡检机器人图像分割模型，提供一种电力系统巡检机器人图像的处理方法，包括以下步骤：
3、s1、电力系统故障图像数据集制作，对巡检机器人在电力系统生产环境进行巡检时拍摄的故障图像进行整理，得到电力系统缺陷故障图像，并对其中出现频率最高的几种场景图像进行标注，具体包括绝缘子破损、绝缘子裂纹、导线断裂、导线断股、导线腐蚀、塔杆锈蚀六大场景的图像，将图像中对应的缺陷和故障处进行标注，标注完成后，得到电力系统缺陷和故障数据集；
4、s2、构建一个过滤强化模块，包含3×3卷积、上采样、下采样和跳跃连接；
5、s3、构建一个多阶跨尺度模块，包含自适应平均池化、过滤强化模块和上采样；
6、s4、构建一个编码器，包含过滤强化模块、多阶跨尺度模块、跳跃连接和3×3卷积；
7、s5、构建一个解码器，包含特征拆分、跳跃连接和3×3卷积；
8、s6、构建电力系统故障缺陷识别分割网络模型，依次由输入、编码器、解码器、全连接、激活函数和输出组成；
9、s7、训练电力系统故障缺陷识别分割网络模型，使用电力系统故障图像数据集，训练电力系统故障缺陷识别分割网络模型；
10、s8、电力系统机器人巡检图像处理，获得需要识别的电力系统机器人巡检图像，输入到电力系统故障缺陷识别分割网络模型，得到识别分割后的电力系统机器人巡检图像。
11、优选地，在s1步骤中，采用电力系统巡检机器人对生产环境中的故障图像进行拍摄，包括自然条件下由于受潮、风吹、暴晒导致的绝缘子破损、绝缘子裂纹、导线断裂、导线断股、导线腐蚀、塔杆锈蚀的图像；图像清晰度高，图像中的各缺陷特征明显，且收集的图像中各缺陷类型的样本数充足且数量均匀，从而提高模型识别的准确性和鲁棒性；同时，对于每种缺陷类型，采集晴天、阴天、包含红外和夜视拍摄的夜晚的多种光照条件下的图像，从而使模型适应复杂的自然光照环境，进一步提高模型的识别性能；另外，对于采集到的缺陷图像数据，使用图像标注程序labelme对图像中的缺陷区域进行标记，绘制缺陷区域边界框，从而是模型识别图像中缺陷的位置。
12、优选地，在s2步骤中，对于过滤强化模块，输入电力系统机器人巡检原始图像iel，iel∈rh×w×3，其中h为图像的高度，w为图像的宽度，且图像包括红、绿、蓝3个维度；首先对输入的图像特征矩阵进行卷积操作得到其中w为输入特征矩阵大小，p为补零层数，卷积核大小为k，步长为s；其后对特征向量进行两次平均池化f＝avgpool(w′)；此时，特征向量尺寸减小，模块能够对其中的噪声进行过滤，同时强化其中对特征识别有益的特征；其后，对特征向量进行两次上采样f′＝upsample(conn(f1+f2))，其中conn()表示跳跃连接，f1和f2分别表示当前特征和模块进行平均池化前对应尺寸的特征；上采样后，特征向量被恢复成与输入图像对应特征向量相同的尺寸并输出。
13、优选地，使用s2步骤提出的过滤强化模块对输入特征进行过滤和强化特征，电力系统处在复杂环境中，其背景部分中的图像内容往往具有随机性，该部分噪声对识别电力系统故障具有一定的干扰效果，不利于模型识别，过滤强化模块连续通过池化操作提取向量中的高阶特征，逐步减少噪声对图像内容的干扰的同时仍保留图像中的目标信息；另外，通过连续上采样将提取出的高阶特征逐步还原并进行强化，增强特征的可区分性，并通过减少不必要的信息提高模型训练的效率，降低模型处理特征所需的计算资源。
14、优选地，在s3步骤中，对于多阶跨尺度模块，输入过滤强化模块得到的输出特征ifru，ifru∈rh×w×3，其后进行4次不同尺度的自适应平均池化得到4个尺寸的特征向量zk，对于zk中的每一个值(i，j)，其中n为池化窗口大小；其后zk分别经过过滤强化模块进行进一步提取特征得到z′k：z′k＝fru(zk)，其中fru()表示过滤强化模块。
15、优选地，在s3步骤中，对于得到的不同尺寸的特征向量z′k，使用上采样方法对其进行尺寸恢复；对于点(x，y)处的特征值i(x，y)，
16、，其中(x1，y1)、(x1，y2)、(x2，y1)、(x2，y2)为点(x，y)相邻的4个坐标点，x1≤x≤x2，y1≤y≤y1。
17、优选地，在s4步骤中，对于编码器模块，输入的电力系统机器人巡检图像依次经过过滤强化模块和多阶跨尺度模块提取特征，并配有跳跃连接，将原始输入图像的特征向量与多阶跨尺度模块输出的特征向量在通道维度进行合并，利用原始输入图像中的丰富细节特征与阶跨尺度模块输出的特征向量进行融合，然后进行3×3卷积，作为编码器模块的输出。
18、优选地，使用s3步骤提出的多阶跨尺度模块对输入特征进行处理，电力系统故障缺陷具有多样性，其故障目标在图像中往往尺寸不定，使用多阶跨尺度模块对输入特征提取不同尺度的特征图，使得模型能够在面对目标尺度跨度较大时仍保持较高的分割精度，另外，不同层次的特征映射可以捕获从低级边缘纹理信息到高级全局语义信息的不同抽象级别信息，提高模型在复杂多变场景下的适应性和泛化能力。
19、优选地，在s5步骤中，对于解码器模块，输入编码器输出的包含高阶语义特征和低阶细节特征的编码后特征fencoder，计算得到解码后的解码特征fdecoder；具体来说，首先对进行特征fencode本文档来自技高网...
【技术保护点】
1.一种挂轨机器人巡检图像处理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种挂轨机器人巡检图像处理方法，其特征在于，在S1步骤中，采用电力系统巡检机器人对生产环境中的故障图像进行拍摄，包括自然条件下由于受潮、风吹、暴晒导致的绝缘子破损、绝缘子裂纹、导线断裂、导线断股、导线腐蚀、塔杆锈蚀的图像；图像清晰度高，图像中的各缺陷特征明显，且收集的图像中各缺陷类型的样本数充足且数量均匀，从而提高模型识别的准确性和鲁棒性；同时，对于每种缺陷类型，采集晴天、阴天、包含红外和夜视拍摄的夜晚的多种光照条件下的图像，从而使模型适应复杂的自然光照环境，进一步提高模型的识别性能；另外，对于采集到的缺陷图像数据，使用图像标注程序Labelme对图像中的缺陷区域进行标记，绘制缺陷区域边界框，从而是模型识别图像中缺陷的位置。
3.根据权利要求2所述的一种挂轨机器人巡检图像处理方法，其特征在于，在S2步骤中，对于过滤强化模块，输入电力系统机器人巡检原始图像IEL，IEL∈RH×W×3，其中H为图像的高度，W为图像的宽度，且图像包括红、绿、蓝3个维度；首先对输入的图像特征矩
4.根据权利要求3所述的一种挂轨机器人巡检图像处理方法，其特征在于，在S3步骤中，对于多阶跨尺度模块，输入过滤强化模块得到的输出特征IFRU，IFRU∈RH×W×3，其后进行4次不同尺度的自适应平均池化得到4个尺寸的特征向量zk，对于zk中的每一个值(i，j)，
5.根据权利要求4所述的一种挂轨机器人巡检图像处理方法，其特征在于，在S3步骤中，对于得到的不同尺寸的特征向量z′k，使用上采样方法对其进行尺寸恢复；对于点(x，y)处的特征值I(x，y)，
6.根据权利要求5所述的一种挂轨机器人巡检图像处理方法，其特征在于，在S4步骤中，对于编码器模块，输入的电力系统机器人巡检图像依次经过过滤强化模块和多阶跨尺度模块提取特征，并配有跳跃连接，将原始输入图像的特征向量与多阶跨尺度模块输出的特征向量在通道维度进行合并，利用原始输入图像中的丰富细节特征与阶跨尺度模块输出的特征向量进行融合，然后进行3×3卷积，作为编码器模块的输出。
7.根据权利要求6所述的一种挂轨机器人巡检图像处理方法，其特征在于，在S5步骤中，对于解码器模块，输入编码器输出的包含高阶语义特征和低阶细节特征的编码后特征FEncoder，计算得到解码后的解码特征FDecoder；具体来说，首先对进行特征FEncoder拆分得到F1，F2＝Split(FDecoder)，其次对F2进行特征拆分得到F21，F22＝split(F2)；最终由此计算得到FDecoder＝Conv(Conn(FEncoder，merge(merge(F1，F21)，F22)))，其中merge()为特征向量融合。
8.根据权利要求7所述的一种挂轨机器人巡检图像处理方法，其特征在于，在S6步骤中，输入图像I依次经过编码器模块和解码器模块，得到特征向量IDecoder；其次，对于解码器的输出，对其全连接后使用Sigmoid函数进行激活，将特征向量的值映射到0和1之间作为模型对目标的预测概率，具体计算方式为由此，得到了图像中每个像素属于分割目标部分的概率分布，像素点的值越接近1，则该像素点被认为是分割目标的置信度越高；通过阈值过滤，即可获取最终的分割结果。
9.根据权利要求1所述的一种挂轨机器人巡检图像处理方法，其特征在于，在S7步骤中，将获取到的电力系统机器人巡检图像按照3:1的比例划分成训练集和测试集；在模型评估阶段中，使用准确率、精准度、召回率和F1得分作为模型分割性能的评价指标。
...【技术特征摘要】
1.一种挂轨机器人巡检图像处理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种挂轨机器人巡检图像处理方法，其特征在于，在s1步骤中，采用电力系统巡检机器人对生产环境中的故障图像进行拍摄，包括自然条件下由于受潮、风吹、暴晒导致的绝缘子破损、绝缘子裂纹、导线断裂、导线断股、导线腐蚀、塔杆锈蚀的图像；图像清晰度高，图像中的各缺陷特征明显，且收集的图像中各缺陷类型的样本数充足且数量均匀，从而提高模型识别的准确性和鲁棒性；同时，对于每种缺陷类型，采集晴天、阴天、包含红外和夜视拍摄的夜晚的多种光照条件下的图像，从而使模型适应复杂的自然光照环境，进一步提高模型的识别性能；另外，对于采集到的缺陷图像数据，使用图像标注程序labelme对图像中的缺陷区域进行标记，绘制缺陷区域边界框，从而是模型识别图像中缺陷的位置。
3.根据权利要求2所述的一种挂轨机器人巡检图像处理方法，其特征在于，在s2步骤中，对于过滤强化模块，输入电力系统机器人巡检原始图像iel，iel∈rh×w×3，其中h为图像的高度，w为图像的宽度，且图像包括红、绿、蓝3个维度；首先对输入的图像特征矩阵进行卷积操作得到其中w为输入特征矩阵大小，p为补零层数，卷积核大小为k，步长为s；其后对特征向量进行两次平均池化f＝avgpool(w)；此时，特征向量尺寸减小，模块能够对其中的噪声进行过滤，同时强化其中对特征识别有益的特征；其后，对特征向量进行两次上采样f′＝upsample(conn(f1+f2))，其中conn()表示跳跃连接，f1和f2分别表示当前特征和模块进行平均池化前对应尺寸的特征；上采样后，特征向量被恢复成与输入图像对应特征向量相同的尺寸并输出。
4.根据权利要求3所述的一种挂轨机器人巡检图像处理方法，其特征在于，在s3步骤中，对于多阶跨尺度模块，输入过滤强化模块得到的输出特征ifru，ifru∈rh×w×3，其后进行4次不同尺度的自适应平均池化得到4个尺寸的特征向量zk，对于zk中的每一个值(i，j)，
5.根据权利要求4所述的一种挂轨机器人巡...
【专利技术属性】
技术研发人员：何善鸿，刘佳为，刘会学，叶锦雄，薛宁涛，周长文，符永正，吕德胜，
申请(专利权)人：广东粤电靖海发电有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。