一种基于相似度特征融合的小样本图像分类方法技术

本发明专利技术公开了一种基于相似度特征融合的小样本图像分类方法，包括如下步骤：步骤一：对输入图像进行特征提取；步骤二：文本端相似度关系抽取；步骤三：样本间相似度关系抽取；步骤四：基于文本相似度的特征融合；步骤五：基于样本相似度的特征融合；步骤六：多阶段特征融合；步骤七：模型训练与测试。本发明专利技术基于样本与类别之间的相似性，通过对输入小样本图像特征与基础类别的自然图像特征进行特征融合，能够提升小样本图像特征的多样性，并完善小样本图像的类别表述，从而帮助分类器提升对小样本图像的响应能力，提升小样本图像分类的准确度。提升小样本图像分类的准确度。提升小样本图像分类的准确度。

【技术实现步骤摘要】
一种基于相似度特征融合的小样本图像分类方法


[0001]本专利技术属于图像分类领域，具体的说是一种基于相似度特征融合的小样本图像分类方法。

技术介绍

[0002]近年来，卷积神经网络(CNN)已在包括图像分类、分割等大量视觉任务上展现出强大的性能，但是其依赖于大规模标注数据进行训练，而大规模数据的标注需要耗费大量的人力物力成本，这限制了其应用场景。为了解决这一问题，人们提出了小样本学习(FSL)这一任务。其旨在通过有限的训练样本完成对测试样本的分类。
[0003]目前，在小样本学习(FSL)任务中往往采用预训练的方式。其使用在基础类别上预训练的特征提取器(Backbone)直接提取支持类别的样本特征，并使用支持样本的特征训练分类器。训练稳健的特征提取器(Backbone)可以有效提升小样本学习(FSL)模型的性能，然而，从零设计、训练并验证一个特征提取器耗时且昂贵。而且由于基础类别与支持类别不相交，在基础类别上预训练的特征提取器(Backbone)更倾向于关注它所学习的基础类别样本的纹理和结构信息，导致其忽略了支持样本的细节，其存在着分类性能较弱的问题。
[0004]为解决上述在少量支持样本上分类性能不足的问题，基于数据生成的方式基于当前的支持样本生成更多的新样本以辅助分类器的优化过程，但是其忽视了基础类别与支持类别间的差异，并且在数据生成过程中引入了额外噪声，反而会对分类器产生误导。
[0005]基于上述分析，目前如何减少由于基础类别与支持类别、基础样本与支持样本间差异引入的特征表示间的偏差，从而提升分类器对支持类别的响应能力，是小样本学习急需解决的问题。

技术实现思路

[0006]本专利技术是为了解决上述现有技术存在的不足之处，提出了一种基于相似性特征融合的小样本图像分类方法，通过直接建模支持样本与基础样本、支持类别与基础类别间的相似性，从而能提升小样本图像分类的准确性。
[0007]本专利技术为达到上述专利技术目的，采用如下技术方案：
[0008]本专利技术一种基于相似度特征融合的小样本图像分类方法的特点是按以下步骤进行：
[0009]步骤1、输入图像的特征提取：
[0010]步骤1.1、获取自然图像集合并输入预训练的CNN模型中进行特征提取，得到自然图像的特征表示及其基础类别集合，记为其中，表示第i个自然图像的特征表示，且d表示特征表示的维度，表示第i个自然图像所属的基础类别，且C
base
表示自然图像集合的基础类别集合，|C
base
|表示自然图像集合的基础类别数量，N
base
表示每个基础类别中的自然图像数量；
[0011]步骤1.2、获取另一图像样本集合并输入所述预训练的CNN模型中进行特征提取，得到图像样本的特征表示及其支持类别集合，记为其中，表示第j个图像样本的特征表示，且表示第j个图像样本的特征表示，且表示第j个图像样本所属的支持类别，且C
novel
表示图像样本的支持类别集合，且满足C
novel
∩C
base
＝φ，|C
novel
|表示图像样本的支持类别数量，N
novel
表示每个支持类别中的图像样本数量；
[0012]步骤2：文本端相似度关系抽取：
[0013]步骤2.1、使用预训练的词嵌入模型提取基础类别集合C
base
中各基础类别的文本信息的向量表示其中，表示第k个基础类别的文本信息的向量表示，t表示向量表示的维度；
[0014]步骤2.2、使用所述预训练的词嵌入模型提取支持类别集合C
novel
中各支持类别的文本信息的向量表示其中，表示第s个支持类别的文本信息的向量表示，
[0015]步骤2.3、使用式(1)计算第s个支持类别的文本信息的向量表示与第i个基础类别文本信息的向量表示之间的距离并作为第s个支持类别与一个基础类别的文本端相似度关系，从而得到第s个支持类别与所有基础类别之间文本端相似度关系向量
[0016][0017]式(1)中，表示与的向量内积，与分别表示与的L2范式；
[0018]步骤3：样本间相似度关系抽取：
[0019]使用式(2)计算第j个图像样本的特征表示与第i个自然图像的特征表示之间的距离并作为第j个图像样本与一个自然图像间相似度关系，从而得到第j个图像样本与所有自然图像之间的样本相似度关系向量
[0020][0021]式(2)中，表示与的向量内积，与分别表示与的L2范式；
[0022]步骤4：基于文本相似度的特征融合，并生成融合后的特征
[0023]步骤5：基于样本相似度的特征融合，并生成融合后的特征
[0024]步骤6：多阶段特征融合，并生成融合后的特征
[0025]步骤7：模型训练与测试：
[0026]步骤7.1、依据所述特征提取模块，对基础样本集合与支持集合提取图像的特征表示，由所述基于文本相似度的特征融合、基于样本相似度的特征融合与多阶段特征融合构成相似度特征融合模块，对支持样本按照特征融合方式的选择进行特征融合，得到融合后的样本
[0027]步骤7.2、利用式(3)构建损失函数L；
[0028][0029]式(3)中，L
CE
表示交叉熵损失，Γ表示分类器，λ为特征融合时的调和因子；表示支持样本的类别，且与融合后的样本的类别一致；
[0030]步骤7.3、利用梯度下降算法训练所述分类器Γ，并计算损失函数L，以更新分类器Γ的参数，当训练迭代次数达到设定的次数时，停止训练，得到训练后的分类器Γ
*
，用于预测新图像样本的类别。
[0031]本专利技术所述的基于相似度特征融合的小样本图像分类方法的特点也在于，所述步骤4包括：
[0032]步骤4.1、将第j个图像样本的特征表示在V
novel
中对应支持类别的文本信息的向量表示记为并提取与基础类别集合C
base
中所有基础类别的文本相似度关系R
T
(j)；
[0033]步骤4.2、从第j个图像样本的特征表示的文本相似度关系R
T
(j)中选择β个最近距离所对应的基础类别集合，并将β个基础类别集合中所有的自然图像的特征表示作为文本端备选集其中，表示文本端备选集D
textual
中第r个自然图像的特征表示并作为备选特征表示；
[0034]步骤4.3、生成文本端随机向量V
T
∈R
d
，且文本端随机向量V
T
服从0
‑
1均匀分布V
T
～U(0,1)，定义超参数α，且α∈[0,1]，依据随机向量V
T
与超参数α，使用式(4)构建文本端掩码向量M
T
∈R
d
；
[0035][0036]式(4)中，v本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于相似度特征融合的小样本图像分类方法，其特征是按以下步骤进行：步骤1、输入图像的特征提取：步骤1.1、获取自然图像集合并输入预训练的CNN模型中进行特征提取，得到自然图像的特征表示及其基础类别集合，记为其中，表示第i个自然图像的特征表示，且d表示特征表示的维度，表示第i个自然图像所属的基础类别，且C
base
表示自然图像集合的基础类别集合，|C
base
|表示自然图像集合的基础类别数量，N
base
表示每个基础类别中的自然图像数量；步骤1.2、获取另一图像样本集合并输入所述预训练的CNN模型中进行特征提取，得到图像样本的特征表示及其支持类别集合，记为其中，表示第j个图像样本的特征表示，且第j个图像样本的特征表示，且表示第j个图像样本所属的支持类别，且C
novel
表示图像样本的支持类别集合，且满足C
novel
∩C
base
＝φ，|C
novel
|表示图像样本的支持类别数量，N
novel
表示每个支持类别中的图像样本数量；步骤2：文本端相似度关系抽取：步骤2.1、使用预训练的词嵌入模型提取基础类别集合C
base
中各基础类别的文本信息的向量表示其中，表示第k个基础类别的文本信息的向量表示，t表示向量表示的维度；步骤2.2、使用所述预训练的词嵌入模型提取支持类别集合C
novel
中各支持类别的文本信息的向量表示其中，表示第s个支持类别的文本信息的向量表示，步骤2.3、使用式(1)计算第s个支持类别的文本信息的向量表示与第i个基础类别文本信息的向量表示之间的距离并作为第s个支持类别与一个基础类别的文本端相似度关系，从而得到第s个支持类别与所有基础类别之间文本端相似度关系向量量式(1)中，表示与的向量内积，与分别表示与的L2范式；步骤3：样本间相似度关系抽取：使用式(2)计算第j个图像样本的特征表示与第i个自然图像的特征表示之间的距离并作为第j个图像样本与一个自然图像间相似度关系，从而得到第j个图像样本与所有自然图像之间的样本相似度关系向量
式(2)中，表示与的向量内积，与分别表示与的L2范式；步骤4：基于文本相似度的特征融合，并生成融合后的特征步骤5：基于样本相似度的特征融合，并生成融合后的特征步骤6：多阶段特征融合，并生成融合后的特征步骤7：模型训练与测试：步骤7.1、依据所述特征提取模块，对基础样本集合与支持集合提取图像的特征表示，由所述基于文本相似度的特征融合、基于样本相似度的特征融合与多阶段特征融合构成相似度特征融合模块，对支持样本按照特征融合方式的选择进行特征融合，得到融合后的样本步骤7.2、利用式(3)构建损失函数L；式(3)中，L
CE
表示交叉熵损失，Γ表示分类器，λ为特征融合时的调和因子；表示支持样本的类别，且与融合后的样本的类别一致；步骤7.3、利用梯度下降算法训练所述分类器Γ，并计算损失函数L，以更新分类器Γ的参数，当训练迭代次数达到设定的次数时，停止训练，得到训练后的分类器Γ
*
，用于预测新图像样本的类别。2.根据权利要求1所述的基于相似度特征融合的小样本图像分类方法，其特征在于，所述步骤4包括：步骤4.1、将第j个图像样本的特征表示在V
novel
中对应支持类别的文本信息的向量表示记为并提取与基础类别集合C
base
中所有基础类别的文本相似度关系R
T
(j)；步骤4.2、从第j个图像样本的特征表示的文本相似度关系R
T
(j)中选择β个最近距离所对应的基础类别集合，并将β个基础类别集合中所有的自然图像的特征表示作为文本端备选集其中，表示文本端备选集D
textual
中第r个自然图像的特征表示并作为备选特征表示；步骤4.3、生成文本端随机向量V
T
∈R
d
，且文本端随机向量V
T
服从0
‑
1均匀分布V
T
～U(0,1)，定义超参数α，且α∈[0,1]，依据随机向量V
T
与超参数α，使用式(4)构建文本端掩码向量M
T
∈R
d
；
式(4)中，v
Tt
...

【专利技术属性】
技术研发人员：何向南，王硕，卢金达，郝艳宾，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：