【技术实现步骤摘要】
本专利技术涉及变电站异常识别，具体涉及基于多模态大模型的变电站异常识别方法及设备。
技术介绍
1、变压器渗漏油是导致变压器故障的主要原因，严重时会引发击穿事故，导致大面积停电甚至电网崩溃。传统的变压器巡检主要依靠人工目测，这种方法效率低下。现在，无人机巡检、高清摄像头巡检和地面智能巡检机器人巡检逐渐成为智能巡检的常态。然而，当前变压器巡检面临的主要问题是，在复杂背景下，对巡检图像缺陷检测的需求大幅增加，而检测精度和效率相对较低。深度学习神经网络的发展极大地推动了目标缺陷检测，但数据匮乏问题也变得尤为突出。因此，如何在少量数据样本中训练出高精度网络成为一个值得思考的问题。电力视觉技术的提出，连接了电力系统、计算机视觉和深度学习三者。
2、近年来，具有良好图像分类效果的网络通常由卷积神经网络(convolutionalneural network,cnn)构成，因为cnn具有强大的特征提取能力，在物体检测和分割中表现出色。目前的目标检测网络主要分为两类：单阶段检测网络和双阶段检测网络。单阶段检测网络如yolo(you only look once)系列(yolo、yolov2、yolov3、yolov4、yolov7)和ssd算法，其检测速度快但精度较低；双阶段检测网络如r-cnn和faster r-cnn，虽然检测精度高，但检测速度较慢。
3、在渗漏油检测方面，li等利用荧光标记法进行渗漏油图像识别，通过构造饱和度和强度间的线性关系实现变压器渗漏油检测。其他研究也提出了基于rgb图像与热图像特征融合的管道渗
4、中国专利cn114092437b公开了一种变压器渗漏油检测方法，包括：获取所述变压器的紫外荧光图片；将所述紫外荧光图片转换为yuv图片；基于所述yuv图片确定出变压器渗漏油区域。此方法使用的传统图像算法泛化性能不高。
5、尽管上述方法在实验室环境下取得了一定效果，但在复杂背景下的变压器日常巡检中仍存在数据集采集困难、目标检测模型泛化性能不高等问题。
技术实现思路
1、基于上述
技术介绍
所提出的问题，本专利技术的目的在于提供基于多模态大模型的变电站异常识别方法及设备，解决了现有技术在复杂背景下的变压器日常巡检中仍存在数据集采集困难、目标检测模型泛化性能不高的问题。
2、本专利技术通过下述技术方案实现：
3、本专利技术第一方面提供了基于多模态大模型的变电站异常识别方法，包括如下步骤：
4、获取变压器数据，对所述变压器数据进行预处理；
5、对预处理后的变压器数据进行标注，生成标注数据；其中，标注内容包括变压器渗漏油异常信息和变压器部位；
6、建立变压器渗漏油检测模型，利用所述标注数据对所述变压器渗漏油检测模型进行训练，利用训练后的变压器渗漏油检测模型进行变压器渗漏油识别；
7、其中，所述变压器渗漏油检测模型是通过对blip-2模型权重进行lora微调建立的。
8、在上述技术方案中，首先获取变压器数据，并对该变压器数据进行预处理，剔除杂质。对预处理后的变压器数据进行标注，该标注包括了变压器中的渗漏油异常信息以及变压器部位，通过在变压器数据中标注变压器部位克服了目前图像渗漏油检测只关注是否出现渗漏油情况，而无法识别渗漏油的具体部位，通过同时对变压器渗漏油异常信息以及变压器部位进行标注，从而获取渗漏油情况以及渗漏油的具体部位信息。
9、通过blip-2模型的权重进行lora(low-rank adaptation)微调构建本方法所要使用的变压器渗漏油检测模型，blip-2模型是一种多模态大模型，本方法在变压器渗漏油异常检测领域引入了多模态大模型，借助大模型的能力判断并识别图像数据中存在的异常，同时，调节了lora训练参数，注入了更多可训练的transformer层，使得变压器渗漏油检测模型的泛化性能增强，克服了目前变电站异常识别中对数据集质量要求较高，相同数据集情况下与大模型比较而言泛化能力较低，导致异常检测在很多情况下会出现漏检、误检等情况。
10、在一种可选的实施例中，对blip-2模型权重进行lora微调包括如下步骤：
11、获取blip-2模型，选择blip-2模型中transformer层中的自注意力层作为微调目标层；
12、在微调目标层中引入第一低轶矩阵和第二低轶矩阵；
13、通过所述第一低轶矩阵和所述第二低轶矩阵在前向传播过程中调整所述微调目标层的权重。
14、在一种可选的实施例中，所述第一低轶矩阵的尺寸为d×r，所述第二低轶矩阵的尺寸为r×d，其中，d是原始权重矩阵的维度，r是一个远小于d的数，表示低秩。
15、在一种可选的实施例中，所述blip-2模型选用blip-opt-2.7b模型权重文件。
16、在一种可选的实施例中，利用所述标注数据对所述变压器渗漏油检测模型进行训练包括：
17、前向传播训练：将所述标注数据输入所述变压器渗漏油检测模型中，从第一层开始计算每一层的激活值直至输出层，得到预测值；
18、损失计算：使用交叉熵损失函数计算所述预测值与实际值之间的差值，得到损失值；
19、反向传播训练：通过链式法则从输出层开始反向计算每一层的梯度直至第一层，得到梯度值；
20、参数更新：根据所述梯度值对所述变压器渗漏油检测模型新型更新。
21、本专利技术第二方面提供了基于多模态大模型的变电站异常识别系统，包括：
22、预处理模块，所述预处理模块用于获取变压器数据，对所述变压器数据进行预处理；
23、标注模块，所述标注模块用于对预处理后的变压器数据进行标注，生成标注数据；其中，标注内容包括变压器渗漏油异常信息和变压器部位；
24、检测模块，所述检测模块用于建立变压器渗漏油检测模型，利用所述标注数据对所述变压器渗漏油检测模型进行训练，利用训练后的变压器渗漏油检测模型进行变压器渗漏油识别；
25、其中，所述变压器渗漏油检测模型是通过对blip-2模型权重进行lora微调建立的。
26、在一种可选的实施例中，所述检测模块包括：
27、目标选择单元，所述目标选择单元用于获取blip-2模型，选择blip-2模型中transformer层中的自注意力层作为微调目标层；
28、矩阵引入单元，所述矩阵引入单元用于在微调目标层中引入第一低轶矩阵和第二低轶矩阵；
29、调整单元，所述调整单元用于通过所述第一低轶矩阵和所述第二低轶矩阵在前向传播过程中调整所述微调目标层的权重。
30、在一种可选的实施例中，所述检测模块还包括：
31、前向传播训练单元，所述前向传播训练单元用于将所述标本文档来自技高网...
【技术保护点】
1.基于多模态大模型的变电站异常识别方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于多模态大模型的变电站异常识别方法，其特征在于，对BLIP-2模型权重进行LoRA微调包括如下步骤：
3.根据权利要求2所述的基于多模态大模型的变电站异常识别方法，其特征在于，所述第一低轶矩阵的尺寸为d×r，所述第二低轶矩阵的尺寸为r×d，其中，d是原始权重矩阵的维度，r是一个远小于d的数，表示低秩。
4.根据权利要求2所述的基于多模态大模型的变电站异常识别方法，其特征在于，所述BLIP-2模型选用blip-opt-2.7b模型权重文件。
5.根据权利要求1所述的基于多模态大模型的变电站异常识别方法，其特征在于，利用所述标注数据对所述变压器渗漏油检测模型进行训练包括：
6.基于多模态大模型的变电站异常识别系统，其特征在于，包括：
7.根据权利要求6所述的基于多模态大模型的变电站异常识别系统，其特征在于，所述检测模块包括：
8.根据权利要求6所述的基于多模态大模型的变电站异常识别系统，其特征在于，所述检测
9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至5所述的基于多模态大模型的变电站异常识别方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5所述的基于多模态大模型的变电站异常识别方法。
...【技术特征摘要】
1.基于多模态大模型的变电站异常识别方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于多模态大模型的变电站异常识别方法，其特征在于，对blip-2模型权重进行lora微调包括如下步骤：
3.根据权利要求2所述的基于多模态大模型的变电站异常识别方法，其特征在于，所述第一低轶矩阵的尺寸为d×r，所述第二低轶矩阵的尺寸为r×d，其中，d是原始权重矩阵的维度，r是一个远小于d的数，表示低秩。
4.根据权利要求2所述的基于多模态大模型的变电站异常识别方法，其特征在于，所述blip-2模型选用blip-opt-2.7b模型权重文件。
5.根据权利要求1所述的基于多模态大模型的变电站异常识别方法，其特征在于，利用所述标注数据对所述...
【专利技术属性】
技术研发人员：廖文龙，邹琬，范松海，杨鑫，王振宇，
申请(专利权)人：国网四川省电力公司电力科学研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。