一种电力设备巡检图像缺陷描述方法和装置制造方法及图纸

本发明专利技术公开了一种电力设备巡检图像缺陷描述方法和装置，该方法包括：获取目标图像；通过语义分割工具获取待检测的电力设备的轮廓图像和轮廓内图像；获取轮廓图像的无向图结构，并将无向图结构输入预先训练好的目标图卷积网络，得到表征轮廓图像的设备类型的第一推理概率矩阵；根据第二推理概率矩阵中的每行的最大概率值的下标得到第二索引序列，并根据第二索引序列从预设的词源表中获取轮廓内图像的设备状态描述文本；将设备类型描述文本和设备状态描述文本进行拼接，得到待检测的电力设备的类型与状态描述文本。本方案实现了对电力设备故障的自动描述，提高了电力设备故障描述的准确度和标准化程度，降低了人力成本，提高了设备维护和修复的效率。了设备维护和修复的效率。了设备维护和修复的效率。

【技术实现步骤摘要】
一种电力设备巡检图像缺陷描述方法和装置


[0001]本专利技术涉及电力
，尤其涉及一种电力设备巡检图像缺陷描述方法和装置。

技术介绍

[0002]电力设备巡检图像是指反映电力设备在运行期间的拍摄图像，通常包括设备的外观、类型、状态等信息。电力设备巡检图像对于电网公司的设备维护和修复具有重要的作用，可以帮助工作人员快速识别设备是否有故障和并提出解决方案。然而，目前电力设备巡检图像的描述主要依赖于人工编写，这样存在以下问题：
[0003](1)人工编写巡检图像描述的效率低，耗时长，容易出错；
[0004](2)人工编写巡检图像描述的质量不一，风格不统一，可能存在遗漏或冗余的信息；
[0005](3)人工编写巡检图像描述的成本高，需要专业的技术人员和大量的人力资源。

技术实现思路

[0006]本专利技术旨在至少解决现有技术中存在的技术问题，为此，本专利技术第一方面提出一种电力设备巡检图像缺陷描述方法，所述方法包括：
[0007]获取目标图像，所述目标图像中包含待检测的电力设备；
[0008]通过语义分割工具获取所述待检测的电力设备的轮廓图像和轮廓内图像；
[0009]获取所述轮廓图像的无向图结构，并将所述无向图结构输入预先训练好的目标图卷积网络，得到表征所述轮廓图像的设备类型的第一推理概率矩阵；
[0010]选取所述概率矩阵中的最大概率值的下标作为第一索引，并根据所述第一索引从预设的映射字典中获取所述轮廓图像的设备类型描述文本；
[0011]将所述轮廓内图像和所述设备类型描述文本输入预先训练好的目标图像编码器和目标GPT解码器，得到表征所述轮廓内图像的设备状态的第二推理概率矩阵；
[0012]根据所述第二推理概率矩阵中的每行的最大概率值的下标得到第二索引序列，并根据所述第二索引序列从预设的词源表中获取所述轮廓内图像的设备状态描述文本；
[0013]将所述设备类型描述文本和所述设备状态描述文本进行拼接，得到所述待检测的电力设备的类型与状态描述文本。
[0014]可选地，在根据所述第一索引从预设的映射字典中获取所述轮廓图像的设备类型描述文本之前，还包括：
[0015]将预设的设备描述文本集合中的每条描述文本，拆分成描述设备类型的第一子文本和描述设备状态的第二子文本；
[0016]根据所述第一子文本构建包括设备索引和设备类型的映射关系的映射字典；
[0017]利用分词器将各个所述第二子文本拆分为多个词元；
[0018]利用所述多个词元构建包括状态索引和设备状态的映射关系的词源表。
[0019]可选地，所述目标图卷积网络通过以下步骤训练得到：
[0020]获取包含各种待检测的电力设备的轮廓图像的样本轮廓图像集合；
[0021]将所述样本轮廓图像中的每个像素点的坐标值替换为所述像素点与中心像素点的坐标之差，得到归一化轮廓图像；所述中心像素点为位于所述轮廓图像中心位置的像素点；
[0022]将所述归一化轮廓图像转化为无向图；
[0023]将所述无向图输入初始图卷积网络中，得到表征所述样本轮廓图像的设备类型的第一预测概率矩阵；
[0024]选取所述第一预测概率矩阵中的最大概率值的下标作为第一预测索引；
[0025]利用交叉熵损失函数，确定所述第一预测索引与所述样本轮廓图像在所述映射字典中的第一索引标签之间的损失值；
[0026]根据所述损失值训练所初始标图卷积网络，当所述损失值收敛时，结束训练，得到用于预测轮廓图像的设备类型的目标图卷积网络。
[0027]可选地，所述将所述归一化轮廓图像转化为无向图，包括：
[0028]将所述归一化轮廓图像中的相邻两个坐标点之间的线段作为节点，并将有相同端点的两条线段用边连接，得到所述归一化轮廓图像的无向图。
[0029]可选地，所述将所述无向图输入初始图卷积网络中，得到表征所述样本轮廓图像的设备类型的第一预测概率矩阵，包括：
[0030]将所述无向图输入初始图卷积网络中，所述目标图卷积网络中的各个卷积层提取所述无向图的局部结构特征和整体结构特征；所述局部结构特征包括各条所述线段的归一化长度，所述线段的两端点在标准坐标系中的方位角之差；所述整体结构特征包括各条所述线段的中点在所述标准坐标系中的坐标向量；
[0031]所述卷积层根据所述局部结构特征和所述整体结构特征，输出所述无向图中所有节点的隐藏状态，所述隐藏状态包括隐藏节点特征；
[0032]所述初始图卷积网络的最后一个卷积层输出的所述隐藏节点特征在汇聚层中聚合，得到所述轮廓图像的整体特征矩阵；
[0033]所述整体特征矩阵经投影矩阵被转换成行数为K1的一维向量，所述行数为K1的一维向量为设备类型的预测概率矩阵。
[0034]可选地，所述目标图像编码器和所述目标GPT解码器通过以下步骤训练得到：
[0035]获取包含各种待检测的电力设备的轮廓内图像的样本轮廓内图像集合；
[0036]将所述样本轮廓内图像切分并拉伸成行数为K2的一维向量；
[0037]将所述行数为K2的一维向量输入全连接层后，添加位置编码，并与所述映射字典中的设备类型特征向量进行拼接，得到浅层特征向量；
[0038]将所述浅层特征向量输入初始图像编码器，经过所述初始图像编码器的前馈神经网络、自注意力模块和全连接层，得到深层特征向量；
[0039]将所述深层特征向量输入初始GPT解码器，得到表征所述样本轮廓内图像的设备状态的第二预测概率矩阵；
[0040]选取所述第二预测概率矩阵中每行的最大概率值的下标作为第二预测索引，得到预测索引序列；
[0041]利用交叉熵损失函数，确定所述预测索引序列与所述样本轮廓内图像在所述词源表中的索引标签序列之间的损失值；
[0042]根据所述损失值训练所述初始图像编码器和所述初始GPT解码器，当所述损失值收敛时，结束训练，得到用于预测轮廓内图像的设备状态的图像编码器和GPT解码器。
[0043]可选地，所述根据所述第二索引序列从预设的词源表中获取所述轮廓内图像的设备状态描述文本，包括：
[0044]根据所述第二索引序列，从预设的词源表中获取对应的描述文本；
[0045]将所述描述文本按照所述第二索引序列的排列顺序组合起来，得到所述轮廓内图像的设备状态描述文本。
[0046]本专利技术第二方面提出一种电力设备巡检图像缺陷描述装置，所述装置包括：
[0047]目标图像获取模块，用于获取目标图像，所述目标图像中包含待检测的电力设备；
[0048]分割模块，用于通过语义分割工具获取所述待检测的电力设备的轮廓图像和轮廓内图像；
[0049]第一推理概率矩阵获取模块，用于获取所述轮廓图像的无向图结构，并将所述无向图结构输入预先训练好的目标图卷积网络，得到表征所述轮廓图像的设备类型的第一推理概率矩阵；
[0050]第一描述文本获本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电力设备巡检图像缺陷描述方法，其特征在于，所述方法包括：获取目标图像，所述目标图像中包含待检测的电力设备；通过语义分割工具获取所述待检测的电力设备的轮廓图像和轮廓内图像；获取所述轮廓图像的无向图结构，并将所述无向图结构输入预先训练好的目标图卷积网络，得到表征所述轮廓图像的设备类型的第一推理概率矩阵；选取所述概率矩阵中的最大概率值的下标作为第一索引，并根据所述第一索引从预设的映射字典中获取所述轮廓图像的设备类型描述文本；将所述轮廓内图像和所述设备类型描述文本输入预先训练好的目标图像编码器和目标GPT解码器，得到表征所述轮廓内图像的设备状态的第二推理概率矩阵；根据所述第二推理概率矩阵中的每行的最大概率值的下标得到第二索引序列，并根据所述第二索引序列从预设的词源表中获取所述轮廓内图像的设备状态描述文本；将所述设备类型描述文本和所述设备状态描述文本进行拼接，得到所述待检测的电力设备的类型与状态描述文本。2.根据权利要求1所述的方法，在根据所述第一索引从预设的映射字典中获取所述轮廓图像的设备类型描述文本之前，还包括：将预设的设备描述文本集合中的每条描述文本，拆分成描述设备类型的第一子文本和描述设备状态的第二子文本；根据所述第一子文本构建包括设备索引和设备类型的映射关系的映射字典；利用分词器将各个所述第二子文本拆分为多个词元；利用所述多个词元构建包括状态索引和设备状态的映射关系的词源表。3.根据权利要求1所述的方法，其特征在于，所述目标图卷积网络通过以下步骤训练得到：获取包含各种待检测的电力设备的轮廓图像的样本轮廓图像集合；将所述样本轮廓图像中的每个像素点的坐标值替换为所述像素点与中心像素点的坐标之差，得到归一化轮廓图像；所述中心像素点为位于所述轮廓图像中心位置的像素点；将所述归一化轮廓图像转化为无向图；将所述无向图输入初始图卷积网络中，得到表征所述样本轮廓图像的设备类型的第一预测概率矩阵；选取所述第一预测概率矩阵中的最大概率值的下标作为第一预测索引；利用交叉熵损失函数，确定所述第一预测索引与所述样本轮廓图像在所述映射字典中的第一索引标签之间的损失值；根据所述损失值训练所初始标图卷积网络，当所述损失值收敛时，结束训练，得到用于预测轮廓图像的设备类型的目标图卷积网络。4.根据权利要求3所述的方法，其特征在于，所述将所述归一化轮廓图像转化为无向图，包括：将所述归一化轮廓图像中的相邻两个坐标点之间的线段作为节点，并将有相同端点的两条线段用边连接，得到所述归一化轮廓图像的无向图。5.根据权利要求4所述的方法，其特征在于，所述将所述无向图输入初始图卷积网络中，得到表征所述样本轮廓图像的设备类型的第一预测概率矩阵，包括：
将所述无向图输入初始图卷积网络中，所述目标图卷积网络中的各个卷积层提取所述无向图的局部结构特征和整体结构特征；所述局部结构特征包括各条所述线段的归一化长度，所述线段的两端点在标准坐标系中的方位角之差；所述整体结构特征包括各条所述线段的中点在所述标准坐标系中的坐标向量；所述卷积层根据所述局部结构特征和所述整体结构特征，输出所述无向图中所有节点的隐藏状态，所述隐藏状态包括隐藏节点特征；所述初始图卷积网络的最后一个卷积层输出的所述隐藏节点特征在汇聚层中聚合，得到所述轮廓图像的整体特征矩阵；所述整体特征矩阵经投影矩阵被转换成行数为K1的...

【专利技术属性】
技术研发人员：许毅，赵宗罗，项翔，罗良，蒋良，周波，王立森，帅万高，姚毅滨，孔令令，陈非凡，黄晗婧，刘波，徐永军，金辰立，
申请(专利权)人：国网浙江省电力有限公司杭州供电公司，
类型：发明
国别省市：