一种基于置信度分布外检测的广义零样本学习分类方法技术

本发明专利技术公开了一种基于置信度分布外检测的广义零样本学习分类方法，步骤为：构造映射器，将样本视觉特征映射到属性特征，产生置信度值；通过置信度值将映射得到的属性特征和样本真实的类别属性组合起来；使用组合而成的新属性，和所有类别属性做相似度计算，对训练样本做分类预测，训练映射器；测试样本用训练好的映射网络将样本映射至属性空间，同时产生置信度；置信度不小于预设值，则样本属于可见类，将样本映射出的属性和可见类属性做相似度运算进行分类；置信度值小于预设值则样本属于不可见类，将样本映射出的属性和不可见类属性做相似度运算进行分类。本发明专利技术增加了对可见类、不可见类分类的准确率，整体上提升了零样本分类的预测准确率。类的预测准确率。类的预测准确率。

【技术实现步骤摘要】
一种基于置信度分布外检测的广义零样本学习分类方法


[0001]本专利技术涉及计算机视觉
，特别是一种基于置信度分布外检测的广义零样本学习分类方法。

技术介绍

[0002]最近几年，基于深度学习的模式识别飞速发展，但是其高速发展需要大量实验样本的收集和人工对于样本的信息标注，并且局限于对训练过的样本类别分类。随着模式识别涉及的领域不断扩大以及互联网的不断发展，传统人工标注越来越难，并且成本巨大。在各种挑战的影响下，零样本学习应运而生，零样本学习通过样本类别属性的辅助信息，可以对不属于训练集样本的类别进行分类。
[0003]当前解决零样本学习问题的方法大多分为两类，一种是寻找样本属性空间和样本视觉空间之间的相互映射规则，训练时，通过将样本属性映射到视觉空间，或者视觉空间映射到属性空间，或者将二者映射到公共空间中，计算映射后的相似度；预测时，通过训练获得的映射关系，计算测试样本与每一个类别的相似度。另一种方法是生成方法，即通过可见类样本和类别属性训练样本生成器，用训练好的生成器和不可见类样本的类别属性生成不可见类别的生成样本，再和可见类样本一起训练出分类器。
[0004]上述这两种主流方法在测试时大多不对测试样本进行预先的类别划分，可见类和不可见类使用同一分类器进行分类，这严重影响了分类的效果。因为训练好的分类器对可见样本存在很严重的偏置，这样会加大不可见类被错误的分类成可见类的概率从而导致不可见类预测准确率的下降。

技术实现思路

[0005]本专利技术的目的在于提供一种基于置信度分布外检测的广义零样本学习分类方法，在映射过程中生成置信度，并将置信度用于损失计算，在预测时根据置信度的大小和阈值对样本先进行二分类，从而提高分类准确率。
[0006]实现本专利技术目的的技术解决方案为：一种基于置信度分布外检测的广义零样本学习分类方法，将样本视觉特征投影到属性空间的过程中，计算样本投影得到的属性的置信度，通过置信度判断该样本属于可见类还是不可见类，具体包括以下步骤：
[0007]步骤1，构建一个映射器，将训练样本视觉特征作为输入，将视觉样本映射到属性空间，同时生成该映射属性的置信度；
[0008]步骤2，将训练样本映射的属性特征通过置信度与样本真实的属性组合在一起，组成重构属性；
[0009]步骤3，使用组合而成的重构属性，和所有类别属性做余弦相似度计算，根据相似度的值经过softmax函数计算属于相应类别的概率，从而对训练样本做分类预测，计算损失，依据梯度下降算法训练映射器；
[0010]步骤4，将测试样本输入映射器中，映射出属性和对应的置信度：若测试样本置信
度大于等于设定值，则认为样本属于可见类，进入步骤5；若测试样本置信度小于设定值，则认为样本属于不可见类，进入步骤6；
[0011]步骤5，用映射出的属性和可见类属性做余弦相似度运算，根据得到的相似度，经过softmax函数计算属于每个可见类的概率，从而预测结果；
[0012]步骤6，用映射出的属性和不可见类属性做余弦相似度运算，根据得到的相似度，经过softmax函数计算属于每个不可见类的概率，从而预测结果。
[0013]进一步地，步骤1中将视觉样本映射到属性空间，同时生成该映射属性的置信度，具体如下：
[0014]假设训练数据集和测试数据集共有C个类，其中可见类别Cs个，不可见类别Cu个，C＝Cs+Cu；类别属性空间A＝{A
s
,A
u
},其中A
s
＝{a1,a2,...,a
Cs
}∈R
Cs*q
表示可见类别真实属性，A
u
＝{a
Cs+1
,a
Cs+2
,...,a
Cs+Cu
}∈R
Cu*q
表示不可见类别真实属性，q为属性维度；训练数据集包含N个可见类样本，属于S个可见类；测试数据集既有属于Cs个类别的可见类，又包含属于Cu个类别的不可见类。
[0015]进一步地，步骤2中将训练样本映射的属性特征通过置信度与样本真实的属性组合在一起，组成重构属性，具体如下：
[0016]训练数据集的n个可见类样本通过预训练图像特征提取卷积网络提取图像特征，得到X
t
＝{x1,x2,...,x
i
,...,x
n
}∈R
n*d
，其中x
i
表示第i个样本提取的图像特征，d表示特征维度；
[0017]属性映射网络fc为一个全连接层，将输入样本x
i
的d维图像特征映射到q+1维，其中前q维为样本x
i
映射出的属性特征a
′
i
∈R
q
，剩下一维为该样本此次映射的置信度值，记为c
i
∈R1；
[0018]根据第i个样本所属于的类别y
i
的真实属性按照如下公式计算获得重构语义属性向量
[0019][0020]进一步地，步骤3中使用组合而成的重构属性，和所有类别属性做余弦相似度计算，根据相似度的值经过softmax函数计算属于相应类别的概率，从而对训练样本做分类预测，计算损失，依据梯度下降算法训练映射器，具体如下：
[0021]根据下式计算第i个样本属于可见类别k的概率
[0022][0023]其中Cs表示可见类类别个数，a
k
’
表示第k
’
个可见类的真实属性值；
[0024]根据下式计算分类损失losS
cls
：
[0025][0026]其中y
i
表示第i个样本所属的类别标签，n表示样本个数；
[0027]为了防止模型偏向于生成的置信度都为0，使得重构从而达到最小化loss
cls
的目的，引入损失loss
c
：
[0028][0029]则总体损失loss为：
[0030]loss＝loss
cls
+λloss
c
[0031]其中λ是超参数；
[0032]从而依据梯度下降算法更新属性映射网络参数，假设属性映射网络fc的网络参数用θ表示，表示总体损失loss相对于θ的偏导数既梯度方向，则θ的更新过程如下：
[0033][0034]更新完成后，用θ
new
取代原始的θ；
[0035]在训练过程中预设loss
c
损失的最小值β，当loss
c
＞β时，减小λ，当loss
c
≤β时，增加λ。
[0036]进一步地，步骤4中将测试样本输入映射器中，映射出属性和对应的置信度，具体如下：
[0037]测试样本经过预训练图像特征提取卷积网络提取图像特征x
te
，经过映射网络得到映射至属性空本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于置信度分布外检测的广义零样本学习分类方法，其特征在于，将样本视觉特征投影到属性空间的过程中，计算样本投影得到的属性的置信度，通过置信度判断该样本属于可见类还是不可见类，具体包括以下步骤：步骤1，构建一个映射器，将训练样本视觉特征作为输入，将视觉样本映射到属性空间，同时生成该映射属性的置信度；步骤2，将训练样本映射的属性特征通过置信度与样本真实的属性组合在一起，组成重构属性；步骤3，使用组合而成的重构属性，和所有类别属性做余弦相似度计算，根据相似度的值经过softmax函数计算属于相应类别的概率，从而对训练样本做分类预测，计算损失，依据梯度下降算法训练映射器；步骤4，将测试样本输入映射器中，映射出属性和对应的置信度：若测试样本置信度大于等于设定值，则认为样本属于可见类，进入步骤5；若测试样本置信度小于设定值，则认为样本属于不可见类，进入步骤6；步骤5，用映射出的属性和可见类属性做余弦相似度运算，根据得到的相似度，经过softmax函数计算属于每个可见类的概率，从而预测结果；步骤6，用映射出的属性和不可见类属性做余弦相似度运算，根据得到的相似度，经过softmax函数计算属于每个不可见类的概率，从而预测结果。2.根据权利要求1所述的基于置信度分布外检测的广义零样本学习分类方法，其特征在于，步骤1中将视觉样本映射到属性空间，同时生成该映射属性的置信度，具体如下：假设训练数据集和测试数据集共有C个类，其中可见类别Cs个，不可见类别Cu个，C＝Cs+Cu；类别属性空间A＝{A
s
,A
u
},其中A
s
＝{a1,a2,...,a
Cs
}∈R
Cs*q
表示可见类别真实属性，A
u
＝{a
Cs+1
,a
Cs+2
,...,a
Cs+Cu
}∈R
Cu*q
表示不可见类别真实属性，q为属性维度；训练数据集包含N个可见类样本，属于S个可见类；测试数据集既有属于Cs个类别的可见类，又包含属于Cu个类别的不可见类。3.根据权利要求2所述的基于置信度分布外检测的广义零样本学习分类方法，其特征在于，步骤2中将训练样本映射的属性特征通过置信度与样本真实的属性组合在一起，组成重构属性，具体如下：训练数据集的n个可见类样本通过预训练图像特征提取卷积网络提取图像特征，得到X
t
＝{x1,x2,...,x
i
,...,x
n
}∈R
n*d
，其中x
i
表示第i个样本提取的图像特征，d表示特征维度；属性映射网络fc为一个全连接层，将输入样本x
i
的...

【专利技术属性】
技术研发人员：张浩峰，赵晓杰，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：