基于MaskRCNN的输电铁塔涉鸟故障状态识别评估方法技术

本发明专利技术公开了一种基于Mask RCNN的输电铁塔涉鸟故障状态识别评估方法，步骤包括：步骤1、建立图像数据库；步骤2、搭建MaskRCNN输电铁塔故障状态识别评估模型，修改模型的最后一层FC层分类数，并利用图像数据库对模型进行迁移微调，实现鸟类、鸟巢、绝缘子及其本体故障的多目标识别与实例分割；结合图像处理技术对识别到的鸟粪污迹、鸟啄痕迹结果修正与故障状态评估；步骤3、对涉鸟故障特征进行分析，包括涉鸟故障类型分析和涉害鸟种特征分析；步骤4、利用步骤3的分析结果，建立融合涉害鸟种判别的涉鸟故障判别方式，实现对全类别涉鸟故障的识别评估。本发明专利技术方法，能更精细化的为输电线路安全运行保驾护航。全运行保驾护航。全运行保驾护航。

【技术实现步骤摘要】
基于Mask RCNN的输电铁塔涉鸟故障状态识别评估方法


[0001]本专利技术属于图像处理
，涉及一种基于Mask RCNN的输电铁塔涉鸟故障状态识别评估方法。

技术介绍

[0002]近年来，鸟类繁衍数量激增、种群数量增多，日益增长的鸟类种群为输电铁塔及其线路的安全稳定运行带来了挑战。据资料统计，在2004
‑
2006年期间，220kV及以上输电线路鸟害跳闸数约占总跳闸数的1/10，其中主要以220kV线路为主；在2010
‑
2014年期间，全国27个省级国家电网公司的调查结果表明，110kV及以上电压等级的输电线路因涉鸟故障造成跳闸1702次；同时，上述数据均呈现出逐年上升趋势，涉鸟故障俨然已成为影响输电线路安全运行的重大隐患之一。因此，实现110kV
‑
220kV输电铁塔及其线路上的涉鸟故障识别与状态评估以便及时发布预警信息至关重要。
[0003]为了准确识别与防范各类涉鸟故障，国内外相关研究学者针对鸟类活动和涉鸟故障展开了调查分析。李长看等人根据河南电网的涉鸟故障特征，首次提出将涉鸟故障划分为鸟巢类、鸟粪类、鸟体短接类、鸟啄类四类，在每个类别下依据地区差异(包括地貌、植被、气候、迁徙通道)划分出不同的风险等级，并绘制出鸟害区域的风险等级分布图进而实现鸟害防治。正是基于对鸟类生活习性的观测和鸟害故障特点的总结，使得涉鸟故障防范不再依靠巡检人员的运行经验和主观臆测，从而在防鸟工作开展初期有效提高了涉鸟故障防范作业的有效性和经济性。例如，李帆等人结合上述技术手段针对江西电网输电线路鸟害故障进行了统计，发现该地区鸟害主要集中在春夏两季时的农田或近水源区域发生，并进一步计算得到防治装置的相关参数值。巢亚峰等人则在统计了湖南电网输电线路涉鸟故障后，发现故障点具有位置重复、区域集中的特征，整体呈现出倒V形分布的现象，进而依据这些特点开展鸟害防治及风险评估工作；但是，不同鸟类在不同地区的生长习性存在差异，样点、样线等取样法难以悉数掌握所有鸟类的生活习性；然而，即便是统计完全，由于涉鸟故障重合闸成功率较高，故障痕迹不明显，极易造成故障遗漏、调查分析不细致的情况，统计结果依赖于有限的历史数据，从而导致出现以偏概全的局面。
[0004]近年来，随着图像处理技术的发展，输电线路信息化程度不断提高，海量图像数据层出不穷，基于图像处理的涉鸟故障检测技术应运而生。徐晶等人根据铁塔塔材方向各异的先验知识，利用无监督学习算法将巡检分块图像聚类以实现铁塔定位，并通过HSV颜色特征量及形状特征参数相结合的方式在铁塔区域搜索鸟巢；张义莲等人依据鸟巢通常出现在输电铁塔横担区域这一事实经验，通过获取输电铁塔图像中塔架的HOG特征，构建并训练一系列级联的弱分类器Gentle Adaboost进而确定横担位置，然后在该区域内利用颜色特征达到鸟巢检测的目的。虽然，上述通过传统图像分析技术结合模式识别的算法较于“经验治鸟”取得了显著性进展，但该类算法由于缺乏空间信息且易受图像中物体或场景变换的影响，在运行环境复杂多变且检测目标模糊的场景中易失效；基于此，王纪武等人针对复杂背景下鸟巢检测困难的问题，改进了现有深度学习模型Faster RCNN，提出一种适应于输电线
路运行环境的多尺度鸟巢检测算法，但该方法只对鸟巢类故障有效，很难直接移植到其他类涉鸟故障检测中；孙建刚等人提出一种基于YOLO(You Only Look Once)单阶段检测模型的鸟类识别算法，通过模型检测到鸟类以触发驱鸟装置动作达到防治目的，但鸟类对于长期作用的驱鸟装置势必会产生适应性，可能会导致该算法的现场实用价值降低。

技术实现思路

[0005]本专利技术的目的是提供一种基于Mask RCNN的输电铁塔涉鸟故障状态识别评估方法，解决了现有技术中的图像处理算法鲁棒性差、泛化能力弱；现有深度学习算法应用对象单一、尚未形成由检测到预警闭环机制的问题。
[0006]本专利技术采用的技术方案是，一种基于Mask RCNN的输电铁塔涉鸟故障状态识别评估方法，按照以下步骤实施：
[0007]步骤1、建立图像数据库，以自然环境下的鸟类和架空输电线路为研究对象；
[0008]步骤2、首先，加载基于COCO数据集训练而来的Mask RCNN预训练权重，通过组建残差网络、特征金字塔网络、区域候选网络和感兴趣区域对准计算单元来搭建Mask RCNN输电铁塔故障状态识别评估模型，以下简称Mask RCNN模型；
[0009]其次，修改Mask RCNN模型的最后一层FC层分类数，并利用步骤1所建立的图像数据库对Mask RCNN模型进行迁移微调，实现鸟类、鸟巢、绝缘子及其本体故障的多目标识别与实例分割；
[0010]最后，在Mask RCNN模型识别结果的基础上，结合图像处理技术对识别到的鸟粪污迹、鸟啄痕迹结果修正与故障状态评估；
[0011]步骤3、对涉鸟故障特征进行分析，包括涉鸟故障类型分析和涉害鸟种特征分析；
[0012]步骤4、利用步骤3的分析结果，建立融合涉害鸟种判别的涉鸟故障判别方式，实现对全类别涉鸟故障的识别评估。
[0013]本专利技术的有益效果，包括以下几个方面：
[0014]1)与传统图像处理算法相比，基于传统图像技术的涉鸟故障检测方法的各个阶段(包括灰度化、分割、建立模型或模式识别)彼此割裂，难以实现整体优化。此外，现场电力运行环境带来的物体、场景、光照等变换极易导致被检目标的颜色、纹理、空间关系和形状特征失效，从而影响算法的定位识别精度。本专利技术所采用的Mask RCNN模型，特征提取、分类回归通过总损失函数实现整体优化；同时，基于深度学习和大数据的检测算法无须过分依赖人为设计特征，检测性能更加稳健，提供了一种更加稳定的涉鸟故障检测方法。
[0015]2)与现有的深度学习算法相比，现有基于深度学习的涉鸟故障检测算法应用对象相对单一(只检测鸟巢类故障、只识别鸟种类型等)，尚未形成由故障检测到状态评估再到发布预警的完整闭环。本专利技术首先通过研究涉鸟故障特征(包括涉鸟故障类型和涉害鸟种特点)，提出一种融合鸟种判别的涉鸟故障评估方法，为后续涉鸟故障状态定级奠定理论基础；其次，在Mask RCNN深度学习模型的基础上，通过对鸟巢、涉害交叉鸟种、绝缘子及其本体故障等图像数据进行学习训练，从而实现多目标识别定位的目的；最后，结合传统图像处理技术对Mask RCNN的涉鸟故障识别结果进行修正与评估。本专利技术算法采用以ResNet
‑
50分类层作为辅助，Mask RCNN分类层作为主分类的方式进行训练，具有正则化能力的辅助分类层有效提升了整个模型的分类识别精度，所应用的迁移微调训练方法和基于传统图像技术
的后处理方法巧妙地解决了训练集信息匮乏的弊端，有效避免了模型的过拟合问题，有效解决了传统图像处理算法和现有深度学习算法对于涉鸟故障检测的问题，为110
‑
220kV输电线路涉鸟故障状态辨识与评估提供了新思路。
附图说明
[0016本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Mask RCNN的输电铁塔涉鸟故障状态识别评估方法，其特征在于，按照以下步骤实施：步骤1、建立图像数据库，以自然环境下的鸟类和架空输电线路为研究对象；步骤2、首先，加载基于COCO数据集训练而来的Mask RCNN预训练权重，通过组建残差网络、特征金字塔网络、区域候选网络和感兴趣区域对准计算单元来搭建Mask RCNN输电铁塔故障状态识别评估模型，以下简称Mask RCNN模型；其次，修改Mask RCNN模型的最后一层FC层分类数，并利用步骤1所建立的图像数据库对Mask RCNN模型进行迁移微调，实现鸟类、鸟巢、绝缘子及其本体故障的多目标识别与实例分割；最后，在Mask RCNN模型识别结果的基础上，结合图像处理技术对识别到的鸟粪污迹、鸟啄痕迹结果修正与故障状态评估；步骤3、对涉鸟故障特征进行分析，包括涉鸟故障类型分析和涉害鸟种特征分析；步骤4、利用步骤3的分析结果，建立融合涉害鸟种判别的涉鸟故障判别方式，实现对全类别涉鸟故障的识别评估。2.根据权利要求1所述的基于Mask RCNN的输电铁塔涉鸟故障状态识别评估方法，其特征在于，所述步骤1中，具体过程是：1.1)通过无人机拍摄、网络爬取和从CUB200
‑
2011数据集中下载获得，称为图像数据库；1.2)参照微软COCO2014数据集，通过Labelme软件对步骤1.1)得到的图像数据库样本进行边界及类别标注，标注时，利用Labelme软件中的多边形操作，沿着目标轮廓标点并连线构成图像的掩膜，通过矩形框操作标记目标的边界框，所包含的顶点坐标信息用于监督预测坐标的回归。3.根据权利要求1所述的基于Mask RCNN的输电铁塔涉鸟故障状态识别评估方法，其特征在于，所述步骤2中，具体过程是，2.1)依次选取的残差网络、特征金字塔网络、区域候选网络和感兴趣区域对准计算单元，搭建Mask RCNN模型；2.2)修改Mask RCNN模型最后一层FC层分类数，对Mask RCNN模型载入COCO数据集训练而来的预训练权重，输入步骤1建立的图像数据库进入Mask RCNN模型，保留ResNet
‑
50分类分支和Mask RCNN主分类分支，构成主辅结合的分类方式进行迁移微调式的训练，得到能够同时实现目标检测与实例分割的Mask RCNN输电铁塔故障状态识别评估模型，Mask RCNN模型中的总损失函数如式(1)所示：L＝L
cls1
+L
cls2
+L
box
+L
mask
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)(1)
其中，L
cls1
是ResNet
‑
50分支构成的辅助分类损失函数，L
cls2
是MaskRCNN全连接层构成的主分类损失函数，L
box
是框回归损失函数，L
mask
是掩膜生成损失函数，N
cls
代表分类数，N
box
代表回归框个数，N
mask
代表掩膜个数；i为小批量中锚框的一个索引，t
i
表示预测框的偏移量，表示的是回归框相对于真实标签的实际偏移量，p
i
表示的是目标预测的概率值，表示回归框内物体，回归框内物体为正例，则值为1；回归框内物体为负例，则值为0；m
i
表示物体被预测为目标的置信度，体被预测为目标的置信度，R是关于鲁棒的损失函数的计算如式(7)所示，其中，x表示Mask RCNN输电铁塔故障状态识别评估模型的输入量：掩膜生成损失函数的计算如式(8)所示，其中，表示在第i个掩膜层中每个像素经过sigmoid函数后产生的输出；2.3)在MaskRCNN模型目标检测结果的基础上，建立基于预测框的鸟巢类故障状态识别方式，通过准确定位鸟巢、绝缘子区域和计算二者之间的水平间距实现鸟巢类故障状态的自动判别：2.3.1)输入Mask RCNN模型检测到的鸟巢边界框左上角坐标(x
1l
,y
1l
)、右下角坐标(x
1r
,y
1r
)和绝缘子边界框左上角坐标(x
2l
,y
2l
)、右下角坐标(x
2r
,y
2r
)；2.3.2)根据对应坐标点，计算得到鸟巢区域中心点的坐标为(x1,y1)＝((x
1l
+x
1r
)/2,(y
1l
+y
1r
)/2)，同时，计算得到绝缘子区域中心点的坐标为(x2,y2)＝((x
2l
+x
2r
)/2,(y
2l
+y
2r
)/2)；2.3.3)定义鸟巢与绝缘子之间的水平间距D＝|x1‑
x2|，设定110kV安全距离的上界为绝缘子高度的1.05倍即2/1.9＝1.05，下界为绝缘子高度的0.37倍即0.6/1.6＝0.37，220kV安全距离的上界为绝缘子高度的0.71倍即2/2.8＝0.71，下界为绝缘子高度的0.26倍即0.6/2.3＝0.26；于是，分别得到110kV、220kV电压等级下鸟巢...

【专利技术属性】
技术研发人员：黄新波，高玉菡，张烨，孙苏珍，李博涛，
申请(专利权)人：西安工程大学，
类型：发明
国别省市：