【技术实现步骤摘要】
本专利技术主要涉及变压器检测，具体涉及一种基于知识蒸馏轻量化的变压器异常检测方法、产品、介质及系统。
技术介绍
1、变压器是电力系统中至关重要的设备之一，负责调节电压、传输电能和保障电网稳定运行。通过对变压器进行异常检测，可以及时发现变压器的故障或缺陷，避免其影响电力传输的可靠性，从而保证居民生活中的正常用电。对变压器进行异常检测是保障电力系统稳定运行的关键举措，具有重要的现实意义和经济价值。
2、近年来，深度学习技术在许多领域迅速发展和应用，其中深度学习在计算机视觉领域带来了许多突破和问题的解决。典型的目标检测模型网络包括retinanet、faster r-cnn、ssd等，也可以应用于电力场景的变压器异常检测。随着目标检测神经网络模型的不断发展和改进，虽然带来了相当的检测准确性，但也产生了难以部署的高网络复杂性问题，通常需要在硬件设备上部署模型，然而，由于电力系统场景中硬件的限制，无法满足大型模型预测推理所需的参数存储空间。因此，压缩和轻量化模型成为另一个迫切需要解决的问题。
3、知识蒸馏是一种获得轻量级模型的新兴方法，最早由hinton等人提出。知识蒸馏使用软标签作为大型教师网络向小型学生网络传递的暗知识，用于分类任务。具体而言，在使用知识蒸馏方法时，通常包括两个神经网络：一个复杂而庞大的“教师网络”和一个简单而较小的“学生网络”。首先训练教师网络以获得教师网络的软标签，然后使用标记的训练数据和教师的软标签来训练学生网络。在学生网络的训练过程中，使用教师网络的软标签作为额外的监督信号进行学习。p>
4、最近，现有技术中有将知识蒸馏应用于目标检测任务中，然而，许多目标检测任务仅仅涉及对教师模型中间特征层进行微调和提取知识，而忽略了教师模型输出逻辑层的知识，进而导致学生模型在定位和分类方面的性能不足。
技术实现思路
1、针对现有技术存在的技术问题，本专利技术提供一种节省大量参数存储空间，同时提供良好的准确性和推理速度的基于知识蒸馏轻量化的变压器异常检测方法、产品、介质及系统。
2、为解决上述技术问题，本专利技术提出的技术方案为：
3、第一方面，本专利技术提供一种基于知识蒸馏轻量化的变压器异常检测方法，包括：获取变压器图像并输入至预先训练好的轻量化学生模型中以得到检测结果；
4、其中得到轻量化学生模型的过程为：
5、构建教师模型和学生模型，通过变压器图像对学生模型进行蒸馏训练，在蒸馏训练的过程中利用教师模型的预测逻辑以及中间特征对学生模型的输出进行约束，以得到训练好的轻量化学生模型。
6、优选地，所述蒸馏训练包括逻辑蒸馏训练和特征蒸馏训练。
7、优选地，在逻辑蒸馏训练中，计算任务损失和逻辑蒸馏损失，具体过程为：
8、将变压器图像送入学生模型中，提取学生图像特征，同时在不需要计算梯度的评估模式下提取教师模型的教师图像特征，将教师图像特征送入教师模型头部得到教师模型的教师预测结果；将得到的学生图像特征、教师图像特征和教师预测结果传入学生模型的头部，计算学生预测结果与真实标签之间的任务损失；
9、将教师模型输出的输出逻辑与学生模型输出的输出逻辑进行比较，得到逻辑蒸馏损失；
10、将任务损失与逻辑蒸馏损失保存在学生损失的字典中。
11、优选地，所述逻辑蒸馏训练包括定位逻辑蒸馏与分类逻辑蒸馏；
12、所述分类逻辑蒸馏是对师生模型预测类别的得分送入归一化指数函数进行计算，得到预测的类别逻辑分布，然后使用相对熵来拉近学生网络和教师网络输出类别逻辑分布之间的距离；
13、其中分类分支的知识蒸馏公式如下：
14、
15、其中zi是模型头部的分类分支输出的逻辑向量，pi是类别的逻辑分布向量，下标s和t分别表示学生和教师模型；t为温度系数。
16、在定位逻辑蒸馏中，头部的回归分支是预测边界框的四个坐标，通过使用逻辑值的概率分布表示边界框。
17、优选地，定位逻辑蒸馏的具体过程为：
18、选择b＝{t,b,l,r}作为边界框的基本形式，令z表示模型定位头为边缘e预测的n个逻辑值，教师和学生逻辑值分别用zt、zs表示，然后使用带温度参数的归一化指数函数s(·，τ)将zt、zs转换为逻辑概率分布向量pt、ps；其中τ表示温度系数；e∈{t,b,l,r}；t,b,l,r分别为采样点到上、下、左、右边的距离；
19、衡量两个逻辑概率分布向量pt、ps之间相似性的定位蒸馏为：
20、
21、lkl表示相对熵kl损失；
22、边界框b四条边界坐标的逻辑概率分布向量pt/ps之间的kl损失的总和为边界框的位置损失，公式如下：
23、
24、优选地，在特征蒸馏训练中，先进行归一化特征知识蒸馏，再将归一化的特征图分为前景部分和背景部分，分别计算出前景损失与背景损失。
25、优选地，归一化特征知识蒸馏的具体过程为：
26、将特征图ft,fs拉平形状为(c，n×h×w)的二维矩阵，计算每个通道的均值meant,means以及标准差stdt,stds，公式如下：
27、
28、对特征图进行归一化操作，即将每个通道的数值减去对应通道的均值并除以标准差；
29、归一化后的师生特征图(c，n×h×w)重新调整为原始形状(n，c，h，w)，公式如下：
30、
31、优选地，将归一化的特征图分为前景部分和背景部分，分别计算出前景损失与背景损失的具体过程为：
32、先计算好前景和背景掩码，前景和背景掩码计算公式如下：
33、
34、
35、其中，r表示真实框，i，j分别表示特征图的水平和垂直坐标；h和w表示真实框的高度和宽度；
36、使用归一化后的特征图和预先计算好的前景和背景掩码，将特征图分为前景部分和背景部分；
37、计算前景部分的前景损失和背景部分的背景损失，公式如下：
38、
39、第二方面，本专利技术还公开了一种基于知识蒸馏轻量化的变压器异常检测系统，包括：
40、检测模块，用于获取变压器图像并输入至预先训练好的轻量化学生模型中以得到检测结果；
41、模型构建及训练模块，用于构建教师模型和学生模型，通过变压器图像对学生模型进行蒸馏训练，在蒸馏训练的过程中利用教师模型的预测逻辑以及中间特征对学生模型的输出进行约束，以得到训练好的轻量化学生模型。
42、优选地，所述模型构建及训练模块中，蒸馏训练包括逻辑蒸馏训练和特征蒸馏训练。
43、优选地，在逻辑蒸馏训练中，计算任务损失和逻辑蒸馏损失，具体过程为：
44、将变压器图像送入学生模型中，提取学生图像特征，同时在不需要计算梯度的评估模式下提取教师模型的教师图像特征，将教师图像特征送入教师模型头部得本文档来自技高网...
【技术保护点】
1.一种基于知识蒸馏轻量化的变压器异常检测方法，其特征在于，包括：
2.根据权利要求1所述的基于知识蒸馏轻量化的变压器异常检测方法，其特征在于，所述蒸馏训练包括逻辑蒸馏训练和特征蒸馏训练。
3.根据权利要求2所述的基于知识蒸馏轻量化的变压器异常检测方法，其特征在于，在逻辑蒸馏训练中，计算任务损失和逻辑蒸馏损失，具体过程为：
4.根据权利要求3所述的基于知识蒸馏轻量化的变压器异常检测方法，其特征在于，所述逻辑蒸馏训练包括定位逻辑蒸馏与分类逻辑蒸馏；
5.根据权利要求4所述的基于知识蒸馏轻量化的变压器异常检测方法，其特征在于，定位逻辑蒸馏的具体过程为：
6.根据权利要求2-5中任意一项所述的基于知识蒸馏轻量化的变压器异常检测方法，其特征在于，在特征蒸馏训练中，先进行归一化特征知识蒸馏，再将归一化的特征图分为前景部分和背景部分，分别计算出前景损失与背景损失。
7.根据权利要求6所述的基于知识蒸馏轻量化的变压器异常检测方法，其特征在于，归一化特征知识蒸馏的具体过程为：
8.根据权利要求7所述的基于知识蒸馏
9.一种基于知识蒸馏轻量化的变压器异常检测系统，其特征在于，包括：
10.根据权利要求9所述的基于知识蒸馏轻量化的变压器异常检测系统，其特征在于，所述模型构建及训练模块中，蒸馏训练包括逻辑蒸馏训练和特征蒸馏训练。
11.根据权利要求10所述的基于知识蒸馏轻量化的变压器异常检测系统，其特征在于，在逻辑蒸馏训练中，计算任务损失和逻辑蒸馏损失，具体过程为：
12.根据权利要求11所述的基于知识蒸馏轻量化的变压器异常检测系统，其特征在于，所述逻辑蒸馏训练包括定位逻辑蒸馏与分类逻辑蒸馏；
13.根据权利要求12所述的基于知识蒸馏轻量化的变压器异常检测系统，其特征在于，定位逻辑蒸馏的具体过程为：
14.根据权利要求10-13中任意一项所述的基于知识蒸馏轻量化的变压器异常检测系统，其特征在于，在特征蒸馏训练中，先进行归一化特征知识蒸馏，再将归一化的特征图分为前景部分和背景部分，分别计算出前景损失与背景损失。
15.根据权利要求14所述的基于知识蒸馏轻量化的变压器异常检测系统，其特征在于，归一化特征知识蒸馏的具体过程为：
16.根据权利要求15所述的基于知识蒸馏轻量化的变压器异常检测系统，其特征在于，将归一化的特征图分为前景部分和背景部分，分别计算出前景损失与背景损失的具体过程为：
17.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器运行时执行如权利要求1-8中任意一项所述方法的步骤。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序在被处理器运行时执行如权利要求1-8中任意一项所述方法的步骤。
19.一种融合领域知识的新能源场站异常数据检测诊断系统，包括相互连接的存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述计算机程序在被处理器运行时执行如权利要求1-8中任意一项所述方法的步骤。
...【技术特征摘要】
1.一种基于知识蒸馏轻量化的变压器异常检测方法，其特征在于，包括：
2.根据权利要求1所述的基于知识蒸馏轻量化的变压器异常检测方法，其特征在于，所述蒸馏训练包括逻辑蒸馏训练和特征蒸馏训练。
3.根据权利要求2所述的基于知识蒸馏轻量化的变压器异常检测方法，其特征在于，在逻辑蒸馏训练中，计算任务损失和逻辑蒸馏损失，具体过程为：
4.根据权利要求3所述的基于知识蒸馏轻量化的变压器异常检测方法，其特征在于，所述逻辑蒸馏训练包括定位逻辑蒸馏与分类逻辑蒸馏；
5.根据权利要求4所述的基于知识蒸馏轻量化的变压器异常检测方法，其特征在于，定位逻辑蒸馏的具体过程为：
6.根据权利要求2-5中任意一项所述的基于知识蒸馏轻量化的变压器异常检测方法，其特征在于，在特征蒸馏训练中，先进行归一化特征知识蒸馏，再将归一化的特征图分为前景部分和背景部分，分别计算出前景损失与背景损失。
7.根据权利要求6所述的基于知识蒸馏轻量化的变压器异常检测方法，其特征在于，归一化特征知识蒸馏的具体过程为：
8.根据权利要求7所述的基于知识蒸馏轻量化的变压器异常检测方法，其特征在于，将归一化的特征图分为前景部分和背景部分，分别计算出前景损失与背景损失的具体过程为：
9.一种基于知识蒸馏轻量化的变压器异常检测系统，其特征在于，包括：
10.根据权利要求9所述的基于知识蒸馏轻量化的变压器异常检测系统，其特征在于，所述模型构建及训练模块中，蒸馏训练包括逻辑蒸馏训练和特征蒸馏训练。
11.根据权利要求10所述的基于知识蒸...
【专利技术属性】
技术研发人员：胡胜，曹浩，卢铃，王兰博，闫迎，毛建旭，黄蓉，刘赟，周卫华，谢亿，刘味果，
申请(专利权)人：国网湖南省电力有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。