一种基于双图推理的变电设备渗漏油分割方法技术

本发明专利技术提供了一种基于双图推理的变电设备渗漏油分割方法，该方法包括构建数据集，以人工采集变电设备巡检图片为数据源，选出含渗漏油缺陷的变电设备巡检图像构建数据集，使用标注软件对数据集进行标注，并划分训练集及测试集，搭建渗漏油分割模型，基于训练集完成模型的迭代训练，利用在测试集完成模型分割效果的可视化和评价指标的计算。本发明专利技术提供的基于双图推理的变电设备渗漏油分割方法，利用了渗漏油的纹理和边缘特性，解决了渗漏油部件强相关、形态多变及扩散变化特性导致其缺陷特征提取困难、分割精度低与分割效果差的问题。分割精度低与分割效果差的问题。分割精度低与分割效果差的问题。

【技术实现步骤摘要】
一种基于双图推理的变电设备渗漏油分割方法


[0001]本专利技术涉及电力
，特别是涉及一种基于双图推理的变电设备渗漏油分割方法。

技术介绍

[0002]随着新型电力系统建设步伐的加速，变电站运维模式开始由无人值守型向智慧型过渡，借助目标检测、语义分割等深度学习方法对现有变电站监控系统图像进行集中处理分析，可以大幅缩短巡检周期，提高巡检效率。对于变电设备渗漏油而言，由于渗漏油是典型的不规则弱语义缺陷，使用矩形框标注会引起语义歧义，导致目标检测算法训练受到干扰而导致检测效果不佳，因此，语义分割算法更加适用于渗漏油检测任务。
[0003]渗漏油作为弱边缘且不规则的变电设备外表面缺陷，其具有部件强相关、形态多变、边缘不明显等特点，导致其分割难度大幅提高。首先，小面积渗漏油常发生在充油变电设备部件的连接处，大面积渗漏油常横跨多个变电设备部件，部件强相关的特点使特征提取网络更容易关注部件特征而非缺陷特征。其次，渗漏油的颜色与形状是动态变化的，在特征提取网络浅层挖掘缺陷共性特征难度大，同时，氧化后的渗漏油区域与阴影在颜色、形态等浅层特征上具有一定的相似性，语义分割的编解码机制又直接引入了浅层特征，易导致含阴影的渗漏油区域漏检问题与含阴影的背景区域误检问题。最后，渗漏油具有由点到面的扩散特性，渗漏区域呈现内边缘清晰，外边缘模糊的特点，且语义分割的上下采样机制又进一步弱化边缘信息，易造成分割边缘粗糙等问题。因此，设计一种基于双图推理的变电设备渗漏油分割方法是十分有必要的。

技术实现思路

[0004]本专利技术的目的是提供一种基于双图推理的变电设备渗漏油分割方法，利用了渗漏油的纹理和边缘特性，解决了渗漏油部件强相关、形态多变及扩散变化特性导致其缺陷特征提取困难、分割精度低与分割效果差的问题。
[0005]为实现上述目的，本专利技术提供了如下方案：
[0006]一种基于双图推理的变电设备渗漏油分割方法，包括如下步骤：
[0007]步骤1：构建数据集，以人工采集变电设备巡检图片为数据源，选出含渗漏油缺陷的变电设备巡检图像构建数据集，使用标注软件对数据集进行标注，并划分训练集及测试集；
[0008]步骤2：搭建渗漏油分割模型，基于训练集完成模型的迭代训练；
[0009]步骤3：利用测试集完成模型分割效果的可视化和评价指标的计算。
[0010]可选的，步骤1中，构建数据集，以人工采集变电设备巡检图片为数据源，选出含渗漏油缺陷的变电设备巡检图像构建数据集，使用标注软件对数据集进行标注，并划分训练集及测试集，具体为：
[0011]构建数据集，以人工采集变电设备巡检图片为数据源，选出含渗漏油缺陷的变电
设备巡检图像，将图像分辨率统一至2048
×
1024，通过标注工具对变电设备巡检图像中渗漏油区域进行人工标注，得到分割标注图像，通过canny边缘检测方法自动生成边缘标注图像，将原始变电设备巡检图像及对应的分割标注图像及边缘标注图像组成图像样本，整合所有图像样本构建数据集，按照7:3的比例划分训练集及测试集。
[0012]可选的，步骤2中，基于训练集完成模型的迭代训练，具体包括如下步骤：
[0013]步骤201：通过渗漏油分割模型的特征提取网络提取多尺度特征图，包括深层特征图及浅层特征图，其中，深层特征图富含语义信息，浅层特征图中富含空间信息；
[0014]步骤202：拼接融合前两层浅层特征图，利用二维离散小波变换将浅层特征图分解为反映平滑纹理的低频特征子图和反映突变纹理的高频特征子图，将两个子图拼接融合得到结构化纹理特征图；
[0015]步骤203：通过加权平均池化聚合结构化纹理特征图的纹理信息，由单一节点特征向量表征区域级的纹理信息，实现由像素空间中的结构化纹理特征图向交互空间中语义节点的转换，通过计算语义节点间的相似度系数生成用于节点间信息传播的带权邻接矩阵，完成语义图表示，通过两层的图卷积神经网络实现节点信息聚合与状态更新，在完成节点间语义关系表示与推理后，将稀疏空间的节点矩阵反映射回像素空间，得到增强纹理特征图；
[0016]步骤204：高分辨率特征图通过Bottle2neck层聚合不同尺度下的空间信息，得到节点矩阵，在深层语义特征的引导下计算节点特征向量间的相似度系数，得到带权邻接矩阵，完成空间图构建，并利用最简图卷积完成节点信息聚合与状态更新，经维度变换后得到增强边缘特征图；
[0017]步骤205：将增强纹理特征图与特征提取网络提取的浅层特征图进行融合，将增强边缘特征图与特征提取网络提取的深层特征图进行融合，并通过语义分割头得到分割预测图；
[0018]步骤206：通过分割预测图、边缘感知图、分割标注图像及边缘标注图像计算分割损失及边缘感知损失，采用交替参数更新策略在正向和反向传播中交替完成相关权重系数更新，完成模型的整体优化，完成训练。
[0019]可选的，步骤201中，通过渗漏油分割模型的特征提取网络提取多尺度特征图，包括深层特征图及浅层特征图，其中，深层特征图富含语义信息，浅层特征图中富含空间信息，具体为：
[0020]获取待分割图像x，将待分割图像x采用扩张卷积的ResNet50网络提取多尺度特征映射{x0,x1,x2,x3,x4}，其中，{x0,x1}为高分辨率的浅层特征图，富含空间信息，{x2,x3,x4}为低分辨率的深层特征图，富含场景理解的语义信息，其中，x0取ResNet50网络前三个3
×
3卷积的输出特征图。
[0021]可选的，步骤202中，拼接融合前两层浅层特征图，利用二维离散小波变换将浅层特征图分解为反映平滑纹理的低频特征子图和反映突变纹理的高频特征子图，将两个子图拼接融合得到结构化纹理特征图，具体为：
[0022]对浅层特征图x1进行上采样，与x0进行特征拼接并通过1
×
1卷积压缩通道维度得到高分辨率特征图为：
[0023][0024]式中，f1(
·
,w1)为压缩通道维度的1
×
1卷积操作，w1为1
×
1卷积中可学习的权重参数，(
·
)
up
表示由双线性插值实现的上采样操作，表示特征图拼接操作，利用二维离散小波变换将x
spa
分解为反映平滑纹理的低频特征子图和反映突变纹理的高频特征子图及为：
[0025][0026]式中，分别表示低频特征子图、水平高频特征子图、垂直高频特征子图及对角高频特征子图，2DWT表示二维小波变换操作，所选用的小波基函数为Daubechies，将四个子图融合拼接并通过1
×
1卷积压缩通道维度得到纹理特征图为：
[0027][0028]式中，f2(
·
,w2)为压缩通道维度的1
×
1卷积操作，w2为1
×
1卷积中可学习的权重参数，表示特征图拼接操作。
[0029]可选的，步骤203中，通过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双图推理的变电设备渗漏油分割方法，其特征在于，包括如下步骤：步骤1：构建数据集，以人工采集变电设备巡检图片为数据源，选出含渗漏油缺陷的变电设备巡检图像构建数据集，使用标注软件对数据集进行标注，并划分训练集及测试集；步骤2：搭建渗漏油分割模型，基于训练集完成模型的迭代训练；步骤3：利用测试集完成模型分割效果的可视化和评价指标的计算。2.根据权利要求1所述的基于双图推理的变电设备渗漏油分割方法，其特征在于，步骤1中，构建数据集，以人工采集变电设备巡检图片为数据源，选出含渗漏油缺陷的变电设备巡检图像构建数据集，使用标注软件对数据集进行标注，并划分训练集及测试集，具体为：构建数据集，以人工采集变电设备巡检图片为数据源，选出含渗漏油缺陷的变电设备巡检图像，将图像分辨率统一至2048
×
1024，通过标注工具对变电设备巡检图像中渗漏油区域进行人工标注，得到分割标注图像，通过canny边缘检测方法自动生成边缘标注图像，将原始变电设备巡检图像及对应的分割标注图像及边缘标注图像组成图像样本，整合所有图像样本构建数据集，按照7:3的比例划分训练集及测试集。3.根据权利要求2所述的基于双图推理的变电设备渗漏油分割方法，其特征在于，步骤2中，基于训练集对模型进行训练，具体包括如下步骤：步骤201：通过渗漏油分割模型的特征提取网络提取多尺度特征图，包括深层特征图及浅层特征图，其中，深层特征图富含语义信息，浅层特征图中富含空间信息；步骤202：拼接融合前两层浅层特征图，利用二维离散小波变换将浅层特征图分解为反映平滑纹理的低频特征子图和反映突变纹理的高频特征子图，将两个子图拼接融合得到结构化纹理特征图；步骤203：通过加权平均池化聚合结构化纹理特征图的纹理信息，由单一节点特征向量表征区域级的纹理信息，实现由像素空间中的结构化纹理特征图向交互空间中语义节点的转换，通过计算语义节点间的相似度系数生成用于节点间信息传播的带权邻接矩阵，完成语义图表示，通过两层的图卷积神经网络实现节点信息聚合与状态更新，在完成节点间语义关系表示与推理后，将稀疏空间的节点矩阵反映射回像素空间，得到增强纹理特征图；步骤204：高分辨率特征图通过Bottle2neck层聚合不同尺度下的空间信息，得到节点矩阵，并在深层语义特征的引导下计算节点特征向量间的相似度系数，得到带权邻接矩阵，完成空间图构建，并利用最简图卷积完成节点信息聚合与状态更新，经维度变换后得到增强边缘特征图；步骤205：将增强纹理特征图与特征提取网络提取的浅层特征图进行融合，将增强边缘特征图与特征提取网络提取的深层特征图进行融合，并通过语义分割头得到分割预测图；步骤206：通过分割预测图、边缘感知图、分割标注图像及边缘标注图像计算分割损失及边缘感知损失，采用交替参数更新策略在正向和反向传播中交替完成相关权重系数更新，完成模型的整体优化，完成训练。4.根据权利要求3所述的基于双图推理的变电设备渗漏油分割方法，其特征在于，步骤201中，通过渗漏油分割模型的特征提取网络提取多尺度特征图，包括深层特征图及浅层特征图，其中，深层特征图富含语义信息，浅层特征图中富含空间信息，具体为：获取待分割图像x，将待分割图像x采用扩张卷积的ResNet50网络提取多尺度特征映射{x0,x1,x2,x3,x4}，其中，{x0,x1}为高分辨率的浅层特征图，富含空间信息，{x2,x3,x4}为低
分辨率的深层特征图，富含场景理解的语义信息，其中，x0取ResNet50网络前三个3
×
3卷积的输出特征图。5.根据权利要求4所述的基于双图推理的变电设备渗漏油分割方法，其特征在于，步骤202中，拼接融合前两层浅层特征图，利用二维离散小波变换将浅层特征图分解为反映平滑纹理的低频特征子图和反映突变纹理的高频特征子图，将两个子图拼接融合得到结构化纹理特征图，具体为：对浅层特征图x1进行上采样，与x0进行特征拼接并通过1
×
1卷积压缩通道维度得到高分辨率特征图为：式中，f1(
·
,w1)为压缩通道维度的1
×
1卷积操作，w1为1
×
1卷积中可学习的权重参数，(
·
)
up
表示由双线性插值实现的上采样操作，表示特征图拼接操作，利用二维离散小波变换将x
spa
分解为反映平滑纹理的低频特征子图和反映突变纹理的高频特征子图及为：式中，分别表示低频特征子图、水平高频特征子图、垂直高频特征子图及对角高频特征子图，2DWT表示二维小波变换操作，所选用的小波基函数为Daubechies，将四个子图融合拼接并通过1
×
1卷积压缩通道维度得到纹理特征图为：式中，f2(
·
,w2)为压缩通道维度的1
×
1卷积操作，w2为1
×
1卷积中可学习的权重参数，表示特征图拼接操作。6.根据权利要求5所述的基于双图推理的变电设备渗漏油分割方法，其特征在于，步骤203中，通过加权平均池化聚合结构化纹理特征图的纹理信息，由单一节点特征向量表征区域级的纹理信息，实现由像素空间中的结构化纹理特征图向交互空间中语义节点的转换，通过计算语义节点间的相似度系数生成用于节点间信息传播的带权邻接矩阵，完成语义图表示，通过两层的图卷积神经网络实现节点信息聚合与状态更新，在完成节点间语义关系表示与推理后，将稀疏空间的节点矩阵反映射回像素空间，得到增强纹理特征图，具体为：通过渗漏油分割模型的语义图卷积模块实现语义图推理，首先构建投影函数Ω(
·
)将像素空间的结构化纹理特征图映射到交互空间的节点矩阵X
t
∈R N
×
N
，以实现区域纹理特征的聚合，投影函数表征为加权平均池化：
式中，表示一组可学习的权重向量，表示按空间维度分解的纹理特征向量，v
i
∈R N
×1表示聚合后的特征向量，将投影函数建模为两个卷积操作与θ(
·
,w
θ
)，用于维度变换，θ(
·
,w
θ
)用于生成权重向量b
i
，将节点矩阵的计算简化为：式中，表示矩阵乘法运算，w
θ
为两个卷积层中可学习的参数，(
·
)
vec
表示矩阵转向量操作，(
·
)
T
表示转置操作，完成映射后，结构化纹理特征图中任意区域纹理特征间语义邻接关系的建模简化为捕获节点矩阵X
t
中节点特征向量间的邻接关系，通过两个一维卷积操作φ1(
·
,w
φ1
)与φ2(
·
,w
φ2
)捕获节点特征向量间的相似性系数来衡量语义节点间的邻接关系，得到带权邻接矩阵A
t
∈R
N
×
N
为：式中，表示矩阵乘法运算，w
φ1
,w
φ2
为两个一维卷积中可学习的参数，(
·
)
T
表示转置操作，完成节点矩阵和邻接矩阵的构建后，语义图节点信息聚合与状态更新通过两层图卷积神经网络实现，在训练过程中，邻接矩阵学习节点特征的边权重，其反映密集像素空间中结构化纹理特征的全局关系，信息扩散后，每个节点聚合到所有必要的节点信息，并通过线性变换更新其状态，得到：式中，表示状态更新后的节点矩阵，Relu表示relu激活...

【专利技术属性】
技术研发人员：赵振兵，刘斌，李刚，苏攀，王洪涛，
申请(专利权)人：华北电力大学保定，
类型：发明
国别省市：