【技术实现步骤摘要】
本专利技术属于电力设备检测，涉及一种基于多模态大模型的电力设备缺陷检测方法及系统。
技术介绍
1、电力设备作为电力系统的核心组成部分，其稳定性和可靠性对于保障电力供应至关重要。然而，随着设备的使用年限增长和环境因素的影响，电力设备容易出现各种故障。这些故障如果未能及时发现和处理，将会对电力系统的运行造成严重影响，甚至引发大面积的停电事故。因此，电力设备检测显得尤为重要。目前，电力设备检测主要通过采集电力设备的图像或运行数据，对图像中的信息或数据中的异常进行识别和分析，以实现质量检测或故障预警。然而，当电力设备表面的标签位置不完全与标准位置一致时，图像缺陷检测技术可能会误判为缺陷。同时，在电力设备异常运行数据的检测中，仍需要人工进行大量的数据分析和判断，导致检测效率低下。
技术实现思路
1、本专利技术的目的在于解决现有技术中电力设备异常运行数据的检测中，仍需要人工进行大量的数据分析和判断的问题，提供一种基于多模态大模型的电力设备缺陷检测方法及系统。
2、为达到上述目的，本专利技术采用以下技术方案予以实现：
3、本专利技术提出的一种基于多模态大模型的电力设备缺陷检测方法，包括：
4、对所采集电力设备图像进行分析，获取电力设备图像中的设备类型和设备缺陷，并对电力设备图像中的设备类型和设备缺陷进行标注；
5、基于设备类型和设备缺陷，确定设备缺陷与设备的对应关系，分别构建设备类型和设备缺陷与属性的对应表；
6、构建具备文本与图像联合
7、基于设备类型和设备缺陷与属性的对应表，将标注后的电力设备图像输入至自注意力设备故障检测模型中进行训练，并设置基础任务，直至基础任务精度达到指定阈值，完成电力设备缺陷检测。
8、优选地，所述对所采集电力设备图像进行分析，获取电力设备图像中的设备类型和设备缺陷，具体为：
9、基于所采集电力设备图像构成图像数据集d，将图像数据集d中的图像i＝{i1，i2，…}分别建立为设备描述集合s＝{s1，s2，…，sm}和缺陷描述集合q＝{q1，q2，…，qn}，其中，sm为设备描述中文标签，m为数据集d中包含的设备类型总数；qn为缺陷描述中文标签，n为数据集d中包含的缺陷类型总数；
10、对电力设备图像中的设备类型和设备缺陷进行标注，具体为：
11、基于设备描述集合s＝{s1，s2，…，sm}和缺陷描述集合q＝{q1，q2，…，qn}，对每张图像中的目标进行标注，并保存标注结果，所述标注结果包括对应图像中感兴趣目标的标签名称和标注框坐标(x，y，w，h)，分别表示标注框左上角点和右下角点的横纵坐标。
12、优选地，所述基于设备类型和设备缺陷，确定设备缺陷与设备的对应关系，分别构建设备类型和设备缺陷与属性的对应表，具体为：
13、基于设备描述集合s与缺陷描述集合q，建立设备与缺陷对应表dyb，每类缺陷对应于一个设备，每个设备可包含多种其所属缺陷，dyb＝{s1＝q11，q12，···，s2＝q21，q22，··，…；
14、基于设备描述集合s，建立设备与其属性的对应表dybs，表征当前设备具有的特征，其中，dybs＝{ts1＝{z11，z12，…}，ts2＝{z21，z22，…}，…}；
15、基于缺陷描述集合q，建立设备与其属性的对应表dybq，表征当前设备具有的特征；其中，dybq＝{tq1＝{y11，y12，…}，tq2＝{y21，y22，…}，…}。
16、优选地，具备文本与图像联合学习能力的自注意力设备故障检测模型的工作流程为：
17、对输入的文本信息t，通过文本编码网络提取特征，得到文本特征矩阵ft；
18、对输入的图像信息，经过卷积神经网络cnn提取特征，得到图像特征矩阵fi；
19、基于图像特征fi和文本特征矩阵ft，通过改进的交叉自注意力机制网络进行特征融合，得到融合图像信息的文本特征和融合文本信息的图像特征；
20、基于融合图像信息的文本特征和融合文本信息的图像特征，通过文本特征层注意力机制，获取最终的图像特征；
21、基于图像注意力模块和文本注意力模块对最终的图像特征进行解码，得到输出特征；
22、基于输出特征通过全连接层，得到预测框的位置；
23、基于多任务损失函数进行自注意力设备故障检测模型调优，当损失函数最小时，得到最优的自注意力设备故障检测模型。
24、优选地，所述对输入的文本信息t，通过文本编码网络提取特征，得到文本特征矩阵ft，具体为：
25、所述文本编码网络由12个transformer编码器串联组成e＝{ei|i∈{1，2,3,4,5,6,7,8,9,10，11，12}}；每个编码器ei∈e由若干结构相同的子模块串联构成，每个子模块包含多头自注意力模块、残差连接、层归一化以及全连接层；输入文本序列中的每一个单词首先通过随机初始化的方式得到对应的初始词嵌入ν0，ν0通过叠加位置嵌入νp和文本嵌入vs后输入文本编码网络中得到文本特征ft，
26、ft＝textencoder(t)
27、所述对输入的图像信息，经过卷积神经网络cnn提取特征，得到图像特征矩阵fi，具体为：
28、输入图像i∈r3×1280×1280通过由若干个的卷积核卷积得到图像块，每个图像块通过叠加位置嵌入vp后，输入与文本编码网络结构相似的图像编码网络e′中得到最终的图像特征fi，其中，fi＝cnn(i)。
29、优选地，所述基于图像特征fi和文本特征矩阵ft，通过改进的交叉自注意力机制网络进行特征融合，得到融合图像信息的文本特征和融合文本信息的图像特征，具体为：
30、所述改进的交叉自注意力机制网络包括多头自注意力模块、跨图像-文本联合注意力模块和跨文本-图像联合注意力模块；所述词嵌入ν1经由多头自注意力模块计算得到键向量kv和值向量vv，所述图像特征f1经由多头自注意力模块计算得到查询向量qf，所述跨图像-文本联合注意力模块通过公式fv＝softmax(qfkv)vv，得到融合文本信息的图像特征所述跨文本-图像联合注意力模块通过公式vf＝softmax(qvkf)vf得到融合图像信息的文本特征
31、所述基于融合图像信息的文本特征和融合文本信息的图像特征，通过文本特征层注意力机制，获取最终的图像特征，具体为：
32、基于m＝fv×vf，得到图像特征和文本特征间的相似度度量矩阵m，取m中每个行向量的最大值作为相应的图像特征以及与该图像特征最相关的文本特征的相关性，通过将相关性由大到小排序并选取前若干个值对应的图像特征的位置作为最终选取的图像特征ffinal。
33、优选地，所述基于图像注意力模块和文本注意力模块对最终的图像特征进行解码，得到输出特征，具体为：
34、基于最终选取的图像特征ff本文档来自技高网...
【技术保护点】
1.一种基于多模态大模型的电力设备缺陷检测方法，其特征在于，包括：
2.根据权利要求1所述的基于多模态大模型的电力设备缺陷检测方法，其特征在于，所述对所采集电力设备图像进行分析，获取电力设备图像中的设备类型和设备缺陷，具体为：
3.根据权利要求1所述的基于多模态大模型的电力设备缺陷检测方法，其特征在于，所述基于设备类型和设备缺陷，确定设备缺陷与设备的对应关系，分别构建设备类型和设备缺陷与属性的对应表，具体为：
4.根据权利要求1所述的基于多模态大模型的电力设备缺陷检测方法，其特征在于，具备文本与图像联合学习能力的自注意力设备故障检测模型的工作流程为：
5.根据权利要求4所述的基于多模态大模型的电力设备缺陷检测方法，其特征在于，所述对输入的文本信息T，通过文本编码网络提取特征，得到文本特征矩阵FT，具体为：
6.根据权利要求4所述的基于多模态大模型的电力设备缺陷检测方法，其特征在于，所述基于图像特征FI和文本特征矩阵FT，通过改进的交叉自注意力机制网络进行特征融合，得到融合图像信息的文本特征和融合文本信息的图像特征，具体为
7.根据权利要求4所述的基于多模态大模型的电力设备缺陷检测方法，其特征在于，所述基于图像注意力模块和文本注意力模块对最终的图像特征进行解码，得到输出特征，具体为：
8.根据权利要求1所述的基于多模态大模型的电力设备缺陷检测方法，其特征在于，所述设置基础任务，直至基础任务精度达到指定阈值，完成电力设备缺陷检测，具体为：
9.一种基于多模态大模型的电力设备缺陷检测系统，其特征在于，包括：
10.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1～8任一项所述基于多模态大模型的电力设备缺陷检测方法的步骤。
11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～8任一项所述基于多模态大模型的电力设备缺陷检测方法的步骤。
...【技术特征摘要】
1.一种基于多模态大模型的电力设备缺陷检测方法，其特征在于，包括：
2.根据权利要求1所述的基于多模态大模型的电力设备缺陷检测方法，其特征在于，所述对所采集电力设备图像进行分析，获取电力设备图像中的设备类型和设备缺陷，具体为：
3.根据权利要求1所述的基于多模态大模型的电力设备缺陷检测方法，其特征在于，所述基于设备类型和设备缺陷，确定设备缺陷与设备的对应关系，分别构建设备类型和设备缺陷与属性的对应表，具体为：
4.根据权利要求1所述的基于多模态大模型的电力设备缺陷检测方法，其特征在于，具备文本与图像联合学习能力的自注意力设备故障检测模型的工作流程为：
5.根据权利要求4所述的基于多模态大模型的电力设备缺陷检测方法，其特征在于，所述对输入的文本信息t，通过文本编码网络提取特征，得到文本特征矩阵ft，具体为：
6.根据权利要求4所述的基于多模态大模型的电力设备缺陷检测方法，其特征在于，所述基于图像特征fi和文本特征矩阵ft，通过改进的交叉自注意力机制网络进...
【专利技术属性】
技术研发人员：莫文昊，谈元鹏，安康，胡方舟，刘英杰，
申请(专利权)人：中国电力科学研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。