一种基于迁移互学习的小样本电力设备图像分类方法技术

本发明专利技术涉及小样本图像分类技术领域，尤其涉及一种基于迁移互学习的小样本电力设备图像分类方法，具体包括以下步骤：首先通过旋转、裁剪等方法增强数据集；然后构造两个具有交叉熵损失和自监督损失的互学习小样本迁移模型，同时两个模型的输出相互为另一模型提供互信息损失；最后固定训练好的其中一个模型的主干网络作为特征提取器与新的分类器结合，对新的电力设备类别的图像样本进行分类预测。本发明专利技术能够通过两个模型互学习的方式提高主干网络模型特征提取能力，训练后的主干网络可以与多种新的分类器相结合完成对未可见类别样本的分类决策；同时，本发明专利技术只需要少量图像数据，即可训练出高精度的分类模型，非常适用于电力设备巡检场景。备巡检场景。备巡检场景。

【技术实现步骤摘要】
一种基于迁移互学习的小样本电力设备图像分类方法


[0001]本专利技术涉及小样本图像分类
，尤其涉及一种基于迁移互学习的小样本电力设备图像分类方法。

技术介绍

[0002]近年来，深度学习技术在诸如图像分类、目标检测和语义分割等计算机视觉任务中取得突破性发展。然而，在训练样本数目非常少的情况下，深度学习模型往往出现过拟合，其性能远远不能令人满意。相比之下，人类视觉只需要少量示例样本就能识别大量物体，并且具有快速理解新概念并将其泛化的能力。在这种强大学习能力的启发下，小样本学习逐渐成为计算机视觉和机器学习领域中的研究热点。
[0003]为了保证电力设备的安全可靠运行，电力公司需要对电力设备进行定期巡检。为了减轻人工巡检工作量，电力行业目前已投入大量智能巡检设备，通过人工智能图像处理算法代替人工完成设备巡检。
[0004]图像分类任务是电力设备智能巡检的重要一环。传统的人工智能算法需要大量的数据才能训练出较高分类精度的模型。由于电力设备的安全性和敏感性等原因，传统技术很难获得大量的电力设备图像。因此如何通过有限的图像数据集训练出高效的人工智能模型是目前电力设备图像分类的一大挑战。
[0005]目前，基于迁移学习的小样本图像分类方法虽然能够解决训练样本不足的问题，但是研究中发现迁移模型在训练过程中仍然存在过拟合现象。为了进一步提高小样本图像分类的性能，寻求一种具有较好泛化性能且适用于电力设备巡检场景的图像分类算法，显得尤为重要。

技术实现思路

[0006]本专利技术的目的是为了解决现有技术中存在的缺点，而提出的一种基于迁移互学习的小样本电力设备图像分类方法，该方法能够通过两个模型互学习的方式提高主干网络模型特征提取能力，最后迁移至新的分类器，完成对未可见类别的样本的分类决策；同时，该方法只需要少量图像数据，即可训练出高精度的分类模型，非常适用于电力设备巡检场景。
[0007]为了实现上述目的，本专利技术采用了如下技术方案：
[0008]一种基于迁移互学习的小样本电力设备图像分类方法，具体步骤如下：
[0009]步骤1、对输入电力设备图像数据进行裁剪、旋转扩充预处理；
[0010]步骤2、构建两个互学习的小样本迁移模型T1和T2，模型T1通过参数为θ1的主干网络提取电力设备图像特征，通过参数为的基类分类器进行基类标签预测，通过参数为τ1的旋转分类器进行旋转标签预测；同样地，对于模型T2，其主干网络、基类分类器以及旋转分类器的参数分别为θ2，τ2；
[0011]步骤3、将预处理后的电力图像样本输入到模型T1和T2中，经过主干网络提取得到d维的特征张量，然后将特征张量传入基类分类器与旋转分类器得到基类分类值和旋转分类
值；
[0012]步骤4、将T1和T2模型同时进行预训练，计算每个模型对应的交叉熵损失函数L
CE
和自监督损失函数L
SSL
以及它们之间的互信息损失函数L
KD
，从而得到总的损失函数，并基于总损失函数计算梯度分别对T1和T2中的参数进行优化从而完成预训练过程；
[0013]步骤5、任意选择T1和T2中的一个模型，将模型的主干网络迁移到新的分类器上，对新的电力设备类别的图像样本进行预测。
[0014]优选地，步骤1的具体步骤如下：
[0015]步骤1.1、对每个图像分别以图像矩形的四个顶点和中心点为起点，并按图像面积的80％裁剪5次并保存；然后再对扩充后的每个图像分别旋转0
°
,45
°
,90
°
以及180
°
并保存。
[0016]步骤1.2、对来自同一个图像的裁剪和旋转图像赋予原图相同的基类标签，第m个图像对应基类标签为y
m
，y
m
∈{1,2,
…
,C
b
}，C
b
为基类标签类别数量。再
[0017]根据其旋转角度确定对应旋转标签为
[0018]优选地，所述步骤2中，主干网络嵌入GLSCA局部空间注意力模块，该模块通过融合图像每个像素点周围5x5的空间向量信息，更有效地提取电力设备轮廓信息。
[0019]优选地，步骤3的具体步骤如下：
[0020]步骤3.1、对于模型T1，第m个图像x
m
经过主干网络提取得到d维的特征表示为f
θ1
(x
m
)，基类预测分类器和旋转预测分类器对特征的分类分值表示为和分别由下式得到：
[0021][0022]其中L
φ1
与L
τ1
分别表示基类预测分类器和旋转预测分类器，分类器由不同的全连接网络组成；
[0023]步骤3.2、分类分值经过Sofmax层被转化为基类分类和旋转分类预测概率值，其计算公式分别为：
[0024][0025]其中表示基类分类分值的第c个分量，表示旋转分类分值的第r个分量；p1(y
m
＝c|x
m
)为模型T1基类分类预测概率值；为模型T1旋转分类预测概率值；
[0026]步骤3.3、同样对于模型T2，第m个图像x
m
经过主干网络提取得到d维的特征表示为f
θ2
(x
m
)，基类预测分类器和旋转预测分类器对特征的分类分值表示为和分别由下
式得到：
[0027][0028]其中L
φ2
与L
τ2
分别表示基类预测分类器和旋转预测分类器，分类器由不同的全连接网络组成；
[0029]分类分值经过Sofmax层被转化为基类分类和旋转分类预测概率值，其计算公式分别为：
[0030][0031]其中表示基类分类分值的第c个分量，表示旋转分类分值的第r个分量；p2(y
m
＝c|x
m
)为模型T2基类分类预测概率值；为模型T2旋转分类预测概率值。
[0032]优选地，步骤4的具体步骤如下：
[0033]步骤4.1、计算模型T1和T2基于基类分类预测概率值与真实基类标签之间的交叉熵损失函数，其计算公式分别为：
[0034][0035]其中y
mc
表示图像样本基类标签y
m
的第c个分量，M为总训练图片量；
[0036]步骤4.2、计算模型T1和T2基于旋转分类预测概率值与真实旋转标签之间的自监督损失函数，其计算公式分别为：
[0037][0038]其中表示旋转标签的第r个分量；
[0039]步骤4.3、计算模型T1和T2基类分类器概率输出之间的正则化损失函数，其计算公式分别为：
[0040][0041]步骤4.4、计算模型T1和T2进行优化的总损失函数，其计算公式分别为：
[0042][0043]其中α1、β1、λ1、α2、β2、λ2分别为模型T1和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于迁移互学习的小样本电力设备图像分类方法，其特征在于，具体步骤如下：步骤1、对输入电力设备图像数据进行裁剪、旋转扩充预处理；步骤2、构建两个互学习的小样本迁移模型T1和T2，模型T1通过参数为θ1的主干网络提取电力设备图像特征，通过参数为的基类分类器进行基类标签预测，通过参数为τ1的旋转分类器进行旋转标签预测；同样地，对于模型T2，其主干网络、基类分类器以及旋转分类器的参数分别为θ2，τ2；步骤3、将预处理后的电力图像样本输入到模型T1和T2中，经过主干网络提取得到d维的特征张量，然后将特征张量传入基类分类器与旋转分类器得到基类分类值和旋转分类值；步骤4、将T1和T2模型同时进行预训练，计算每个模型对应的交叉熵损失函数L
CE
和自监督损失函数L
SSL
以及它们之间的互信息损失函数L
KD
，从而得到总的损失函数，并基于总损失函数计算梯度分别对T1和T2中的参数进行优化从而完成预训练过程；步骤5、任意选择T1和T2中的一个模型，将模型的主干网络迁移到新的分类器上，对新的电力设备类别的图像样本进行预测。2.根据权利要求1所述的一种基于迁移互学习的小样本电力设备图像分类方法，其特征在于，步骤1的具体步骤如下：步骤1.1、对每个图像分别以图像矩形的四个顶点和中心点为起点，并按图像面积的80％裁剪5次并保存；然后再对扩充后的每个图像分别旋转0
°
,45
°
,90
°
以及180
°
并保存；步骤1.2、对来自同一个图像的裁剪和旋转图像赋予原图相同的基类标签，第m个图像对应基类标签为y
m
，y
m
∈{1,2,
…
,C
b
}，C
b
为基类标签类别数量，再根据其旋转角度确定对应旋转标签为旋转标签为3.根据权利要求1所述的一种基于迁移互学习的小样本电力设备图像分类方法，其特征在于，所述步骤2中，主干网络嵌入GLSCA局部空间注意力模块，该模块通过融合图像每个像素点周围5x5的空间向量信息，更有效地提取电力设备轮廓信息。4.根据权利要求1所述的一种基于迁移互学习的小样本电力设备图像分类方法，其特征在于，步骤3的具体步骤如下：步骤3.1、对于模型T1，第m个图像x
m
经过主干网络提取得到d维的特征表示为f
θ1
(x
m
)，基类预测分类器和旋转预测分类器对特征的分类分值表示为和分别由下式得到：其中L
φ1
与L
τ1
分别表示基...

【专利技术属性】
技术研发人员：周伯俊，顾菊平，张新松，程天宇，华亮，徐一鸣，赵凤申，赵佳皓，蒋凌，言淳恺，
申请(专利权)人：南通大学，
类型：发明
国别省市：