一种基于特征转换的少样本图像分类方法技术

本发明专利技术公开了一种基于特征转换的少样本图像分类方法，具体可分为如下步骤：划分数据集；从训练集取样少样本分类任务；利用神经网络提取少样本分类任务样本的特征表示；利用数据的相似度信息对原始特征进行特征转换；对任务中待分类样本分类，计算交叉熵损失，反向传播更新网络参数；迭代训练得到理想的特征提取网络；完成少样本分类任务。本发明专利技术训练了一个适合于少样本分类的特征提取器，使得在训练数据极少的情况下，分类器仍可以取得较为理想的分类性能。并且在特征提取后增加了一步特征转换操作，使得少样本分类任务内部的相似度信息得以利用，在计算复杂度仅有极小的增加的情况下，分类性能获得显著提升。为少样本分类任务提供了新思路。

A method of image classification with few samples based on feature transformation

The invention discloses a classification method of small sample image based on feature conversion, which can be divided into the following steps: dividing data set; sampling small sample classification task from training set; extracting feature representation of small sample classification task sample using neural network; feature conversion of original feature using similarity information of data; classification of samples to be classified in task and calculation of cross Entropy loss, back propagation updating network parameters, iterative training to get the ideal feature extraction network, and completing the task of small sample classification. The invention trains a feature extractor suitable for small sample classification, so that the classifier can still achieve relatively ideal classification performance in the case of little training data. After feature extraction, a step of feature transformation is added to make use of the similarity information in the task of small sample classification, and the performance of classification is improved significantly when the computational complexity is only slightly increased. It provides a new idea for the task of small sample classification.

【技术实现步骤摘要】
一种基于特征转换的少样本图像分类方法
本专利技术涉及深度学习与图像分类，具体涉及一种基于特征转换的少样本图像分类方法。
技术介绍
近年来，深度学习在各个领域都取得了显著的成绩，例如在计算机视觉，机器翻译，语音建模等任务中都发挥了重要的作用。尽管深度学习已经获得了巨大的成功，训练深层神经网络却需要使用大量带标签数据进行迭代训练，才能达到这样令人惊叹的效果。在训练数据量很少的情况下，深层神经网络模型很难达到令人满意的性能。相比于在训练数据很少的情况下难以训练的深层神经网络模型，人类，甚至小孩子都拥有通过仅仅看过几张新事物的图片便可以识别出新事物的能力。例如小孩子在百科全书中看到一张老虎的图片，即使之前不知道老虎这种动物，仍然可以在下次看到老虎时轻松的识别出来。目前很多解决少样本图像分类的方法都受到了原型网络的影响。原型网络假设存在一个特征提取器可以将图像映射到一个特有的映射空间(embeddingspace)，在这个空间中，每一类图像都存在有原型，待分类样本可以通过与原型进行距离比较得到其分类结果，即K-近邻分类方法。原型可以由支持集各类样本的均值得到。原型网络简单而有效。在少样本分类标准数据集Mini-imagenet数据集上，支持集中每类图像只有1个标注样本的情况下(one-shot-learning)，查询图像识别准确率达到49.42±0.78％，支持集中每类图像有5个标注样本的情况下(five-shot-learning)，查询图像识别准确率达到68.20±0.66％。然而大部分解决少样本图像分类问题的方法都采取了使用一个公共的深层神经网络作为特征提取器。但是对于不同的少样本图像分类任务采用相同的特征提取器并不是最合适的方法。
技术实现思路
为了解决上述
技术介绍
中存在的不足，即对于不同的少样本分类任务采用了公有的特征提取器，无法考虑到不同少样本分类任务特有的信息。本专利技术提出了一种基于特征转换的少样本图像分类方法。在原型网络的基础上，考虑了少样本分类任务内部样本点之间的相似度信息，加入了特征转换操作，使得识别准确率得到了提高。为了实现上述目的，本专利技术所采用的技术方案为：一种基于特征转换的少样本图像分类方法，该方法包括如下步骤：步骤1，划分数据集，将数据集划分为训练集Dtrain，测试集Dtest，训练集与测试集应包含不同种类的图像，每类样本图像数目一般不少于600个；步骤2，从训练集Dtrain中取样少样本分类任务，并将所述少样本分类任务中包含的图像经过深度神经网络模型的前向传播计算，得到图像的高层特征表示，组成特征表示矩阵X；步骤3，使用所述图像的高层特征计算图像两两之间的相似度，构建相似度矩阵，并按行归一化；步骤4，对所述特征表示矩阵进行特征转换，即使用所述归一化后的相似度矩阵与所述特征表示矩阵使用矩阵乘法相乘，得到特征转换后的特征表示矩阵；步骤5，使用K-近邻算法，对所述少样本分类任务中的Dquery包含的图像进行分类，并计算交叉熵损失，反向传播更新网络参数；步骤6，重复进行步骤2-5训练深度神经网络模型，得到训练后深度神经网络模型，使用测试集对训练后深度神经网络模型进行分类测试；作为优选，所述步骤2从训练集中取样少样本分类任务，并将所述少样本分类任务中包含的图像经过深度神经网络模型的前向传播计算，得到图像的高层特征表示，组成特征表示矩阵具体包括：所述少样本分类任务包括支持集Dsupport和查询集Dquery；其中，Dsupport包括K×N张图像样本，K表示图像种类的数量，N表示每种图像样本的数量，在从训练集中取样时应先随机选取K种图像作为此次少样本分类任务的分类目标，然后从选取的K种图像中，每种随机抽取N个样本作为支持集Dsupport，并且每种样本随机抽取Nq张作为查询集Dquery；注意Dquery的图像种类与Dsupport的图像种类相同均为K，Dsupport每种图像均包含N张图像样本，Dquery每种图像均包含Nq张待分类图像样本，两个集合交集为空；可以将Dsupport看作少样本分类任务的训练集，而将Dquery看作少样本分类任务的测试集，通过从Dsupport中获取知识以对Dquery中的样本进行分类；构建深度神经网络模型，深度神经网络模型由四个卷积神经网络块构成，每一个卷积神经网络块包括：64个3×3维卷积核，批归一化层，ReLU激活函数，2×2最大池化层；堆叠四个卷积神经网络块构成特征提取网络网络参数可采用现有的参数初始化策略对参数进行初始化；图像经过特征提取网络f前向传播算法计算得到高层特征表示，并用高层特征表示构造特征表示矩阵X∈Rn×d：其中，n表示少样本分类任务中所有图像数量，即包括支持集Dsupport与查询集Dquery，d表示高层特征维数；作为优选，步骤3所述使用所述图像的高层特征计算图像两两之间的相似度，构建相似度矩阵，并按行归一化，具体包括：相似度矩阵W∈Rn×n第i个特征向量与第j个特征的相似度为：其中，xi表示特征表示矩阵中第i行，即第i张图像的特征表示，与前述定义保持一致定义xj，σ表示温度系数，对于不同数据集采用不同的温度系数；对所得相似度矩阵使用公式T＝D-1W进行按行归一化；其中,D为相似度矩阵W各行相似度之和为对角线元素的对角阵，即上述公式中di表示对角阵的第i个位置，T即为归一化后的结果；T中任意元素Tij可以表示在一个随机游走过程中，从第i个样本转移到第j个样本的概率；作为优选，所述步骤4对所述特征表示矩阵进行特征转换，即使用所述归一化后的相似度矩阵T与所述特征表示矩阵X使用矩阵乘法相乘，得到特征转换后的特征表示矩阵Xt，即Xt＝TX。作为优选，所述步骤5使用K-近邻算法，对所述少样本分类任务中的Dquery包含的图像进行分类，并计算交叉熵损失，反向传播更新网络参数具体包括：以特征表示矩阵中的支持集Dsupport作为K-近邻算法的训练集，计算支持集Dsupport的样本的各类原型：上述公式中，ck表示支持集Dsupport的第k类样本的原型，Sk表示Dsupport中第k类样本的集合，为特征提取器，xi表示第i张图像的原始数据，即为第i张图像的特征表示；使用上述各类样本原型的特征表示与查询集Dquery中样本的特征表示计算两者间的欧氏距离，以此对查询集Dquery中的样本进行分类，以待分类样本为x为例：其中，函数表示计算x的特征表示与第k类原型ck之间的欧氏距离，上述公式计算了样本x属于第k类的概率；步骤5中所述计算交叉熵损失为：使用反向传播算更新特征提取神经网络模型的参数作为优选，步骤6所述重复进行步骤2-5训练深度神经网络模型，得训练后深度神经网络模型；步骤6所述使用测试集对训练后深度神经网络模型进行分类测试具体包括：...

【技术保护点】
1.一种基于特征转换的少样本图像分类方法，其特征在于，该方法包括如下步骤：/n步骤1，划分数据集，将数据集划分为训练集D

【技术特征摘要】
1.一种基于特征转换的少样本图像分类方法，其特征在于，该方法包括如下步骤：
步骤1，划分数据集，将数据集划分为训练集Dtrain，测试集Dtest，训练集与测试集应包含不同种类的图像，每类样本图像数目一般不少于600个；
步骤2，从训练集Dtrain中取样少样本分类任务，并将所述少样本分类任务中包含的图像经过深度神经网络模型的前向传播计算，得到图像的高层特征表示，组成特征表示矩阵X；
步骤3，使用所述图像的高层特征计算图像两两之间的相似度，构建相似度矩阵，并按行归一化；
步骤4，对所述特征表示矩阵进行特征转换，即使用所述归一化后的相似度矩阵与所述特征表示矩阵使用矩阵乘法相乘，得到特征转换后的特征表示矩阵；
步骤5，使用K-近邻算法，对所述少样本分类任务中的Dquery包含的图像进行分类，并计算交叉熵损失，反向传播更新网络参数；
步骤6，重复进行步骤2-5训练深度神经网络模型，得到训练后深度神经网络模型，使用测试集对训练后深度神经网络模型进行分类测试。


2.根据权利1所述的基于特征转换的少样本图像分类方法，其特征在于，
所述步骤2从训练集中取样少样本分类任务，并将所述少样本分类任务中包含的图像经过深度神经网络模型的前向传播计算，得到图像的高层特征表示，组成特征表示矩阵具体包括：
所述少样本分类任务包括支持集Dsupport和查询集Dquery；
其中，Dsupport包括K×N张图像样本，K表示图像种类的数量，N表示每种图像样本的数量，在从训练集中取样时应先随机选取K种图像作为此次少样本分类任务的分类目标，然后从选取的K种图像中，每种随机抽取N个样本作为支持集Dsupport，并且每种样本随机抽取Nq张作为查询集Dquery；
注意Dquery的图像种类与Dsupport的图像种类相同均为K，Dsupport每种图像均包含N张图像样本，Dquery每种图像均包含Nq张待分类图像样本，两个集合交集为空；
可以将Dsupport看作少样本分类任务的训练集，而将Dquery看作少样本分类任务的测试集，通过从Dsupport中获取知识以对Dquery中的样本进行分类；
构建深度神经网络模型，深度神经网络模型由四个卷积神经网络块构成，每一个卷积神经网络块包括：
64个3×3维卷积核，批归一化层，ReLU激活函数，2×2最大池化层；
堆叠四个卷积神经网络块构成特征提取网络网络参数可采用现有的参数初始化策略对参数进行初始化；
图像经过特征提取网络f前向传播算法计算得到高层特征表示，并用高层特征表示构造特征表示矩阵X∈Rn×d：
其中，n表示少样本分类任务中所有图像数量，即包括支持集Dsupport与查询集Dquery，d表示高层特征维数。<...

【专利技术属性】
技术研发人员：熊盛武，王豪杰，荣毅，连洁雅，刁月月，
申请(专利权)人：武汉理工大学，武汉水象电子科技有限公司，
类型：发明
国别省市：湖北;42