一种基于属性约束的零样本图像识别新方法技术

本发明专利技术公开了一种基于属性约束的零样本图像识别新方法，本方法利用正太分布虚拟出已知类别训练样本的真实属性来减少其属性噪声问题带来的影响，其次基于编码器‑解码器模型在已知类别训练样本和待测试未知类别样本上共同学习一个属性预测器达到有效减少语义迁移影响的目的，最后通过最近邻分类器获得待测试未知类别样本的标签。与现有的其他零样本图像识别方法相比，我们的方法在识别率上取得显著提高。

【技术实现步骤摘要】
一种基于属性约束的零样本图像识别新方法
本专利技术涉及到模式识别中的图像识别领域，尤其涉及一种基于属性约束的零样本图像识别新方法。
技术介绍
在模式识别领域中，图像识别是其一个重要的组成部分，其目的是让经过训练的计算机在大量图像中提取相关信息并加以判别。目前图像识别技术日渐成熟，并且广泛应用于人脸，动物及其他物体等方面。传统的图像识别是基于监督学习进行的，即要获得待测试未知类别的标签需要训练大量同类样本。然而提供大量带有标签的同类训练样本的成本花费巨大的，而且极有可能会出现收集不到某一类图像的同类带标签训练样本的情况，所以我们考虑学习无同类训练样本情形下的图像识别即零样本图像识别。解决零样本图像识别问题的方法大多数是建立在属性学习基础上的。属性是人为定义来描述类别特性信息的标量。基于属性学习的零样本图像识别是利用支持向量机SVM从已知类别训练样本上学习一个属性预测器，然后将此属性预测器直接应用到待测试未知类别样本得到其属性，最后通过最近邻分类器与未知类别的所有原型属性进行对比从而获得其标签。这些零样本图像识别方法在进行识别过程中都会遇到语义迁移问题。具体而言，从已知类别训练样本上学习得到的属性预测器可运用到已知类别训练样本中，然而由于已知类别训练样本和未知类别测试样本在零样本图像识别中是不存在任何交集，直接将训练获得的属性预测器应用到待测试未知类别时必然无法适合所有未知类别，这样就无法获得所有待测试未知类别样本的真实属性，也就是产生了语义迁移，进而会导致最终识别率降低。如何学习一个高效属性预测器来有效减少语义迁移问题带来的影响一直是零样本图像识别研究中的一个重要课题。然而在考虑学习一个高效属性预测器的同时人们往往都容易忽视属性这一关键要素，因为属性都是人为定义来描述类别特性信息的，与其真实属性值之间必然存在一定的误差，即存在噪声，给定已知类别训练样本的属性肯定会偏离其真实属性，这样也会导致最终训练出来的属性分类器判别效率降低，如何有效减少已知类别训练样本属性噪声问题的影响也值得我们研究的。
技术实现思路
专利技术目的：本专利技术所要解决的技术问题是针对
技术介绍
中所涉及到的属性噪声等缺陷，提供一种基于属性约束的零样本图像识别新方法以有效减轻语义迁移和已知类别训练样本属性噪声问题的影响。技术方案：一种基于属性约束的零样本图像识别新方法，包括如下步骤：步骤1)针对给定的已知类别训练样本中含有属性噪声问题，利用正太分布虚拟出训练样本的真实属性，减少属性噪声问题带来的影响；步骤2)针对零样本图像识别中存在语义迁移问题，根据步骤1)计算出的给定的已知类别训练样本真实属性，学习一个从已知类别训练样本的特征到已知类别训练样本真实属性的编码器，再学习一个将已知类别训练样本真实属性映射到特征空间的解码器，基于语义编码器解码器模型在已知类别训练样本和待测试未知类别样本上共同学习一个属性预测器；步骤3)用步骤2)得到的属性预测器预测待测试未知类别样本的属性，并将预测到的待测试未知类别样本的属性通过最近邻分类器与待测试未知类别样本的原型属性比对，以得到待测试未知类别样本的标签。本专利技术采用以上技术方案与现有技术相比，具有以下技术效果：1.我们利用正太分布虚拟出已知类别训练样本的真实属性有效减轻训练集属性噪声问题带来的影响；2.我们利用语义编码器解码器模型在已知类别训练样本和未知类别待测试训练样本上共同学习一个属性预测器达到有效减轻零样本图像识别中语义迁移问题影响的目的；3.和现有的方法相比，我们所提出的方法在识别率上有显著提高。附图说明图1即为本专利技术一种基于属性约束的零样本图像识别方法的工作流程图。具体实施方式下面结合附图对本专利技术的技术方案做进一步的详细说明：本专利技术公开了一种基于属性约束的零样本图像识别新方法，本方法能有效减少零样本图像识别过程中存在的语义迁移和已知类别训练样本属性噪声问题带来的影响。首先我们利用正太分布虚拟出已知类别训练样本的真实属性来减少其属性噪声问题带来的影响，其次基于语义编码器-解码器模型在已知类别训练样本和待测试未知类别样本上共同学习一个属性预测器达到有效减少语义迁移影响的目的，最后通过最近邻分类器获得待测试未知类别样本的标签。与现有的其他零样本图像识别方法相比，我们的方法在识别率上取得显著提高。一种基于属性约束的零样本图像识别新方法，包含以下步骤：步骤1)针对给定的已知类别训练样本中含有属性噪声问题，利用正太分布虚拟出训练样本的真实属性，具体步骤如下：步骤1.1)其中给定的已知类别训练样本包含cs类共计Ns幅图像，其训练集表示如下：上述训练集中表示第1至Ns幅图像的特征，表示第1至Ns幅图像的属性；其中已知类别训练样本的特征表示如下：d为样本特征维度；其中已知类别训练样本的属性表示如下：k是属性维度；步骤2.2)已知类别训练样本的真实属性表示如下：其中是第1至Ns幅图像的真实属性；cs类每一类都对应着一个原型属性，已知类别训练样本的训练集原型属性表示如下：其中表示已知类别训练样本的训练集的1至Cs类图像的原型属性；步骤2.3)利用同一类别样本在属性空间中呈正太分布的原理虚拟出已知类别训练样本的真实属性：其中是第j类已知类别的原型属性，是第i幅已知类别训练样本的真实属性||.||F是F-范数，则mi，j＝1，否则mi，j＝0。步骤2)针对零样本图像识别中存在语义迁移问题，根据步骤1)计算出的给定的已知类别训练样本真实属性，学习一个从已知类别训练样本的特征到已知类别训练样本真实属性的编码器，再学习一个将已知类别训练样本真实属性映射到特征空间的解码器，基于语义编码器-解码器模型在已知类别训练样本和待测试未知类别样本上共同学习一个属性预测器；具体步骤如下：步骤2.1)首先学习一个从已知类别训练样本特征Xs到其真实属性Ys的语义编码器W∈Rk×d即WXs＝Ys，然后又学习一个将Ys投影到特征空间的语义解码器W*，得到一个新的关于已知类别训练样本的特征表示X′即X′＝W*Ys＝W*WXs，我们希望Xs和X′之间存在的误差尽可能最小从而获得最优语义编码器，因此写出如下的目标函数：||·||F是F-范数，式(1)中包含两个变量，为化简方便，我们假设W*W＝WT其中WT是W的转置矩阵，式(1)因此写成：其中λ为已知训练集过拟合控制系数，在零样本图像识别中，假设已知类别训练样本和未知类别训练样本共同使用同一个属性分类器也即最优的语义编码器W，因此在未知类别训练样本中我们也可得到一个关于最优的语义编码器W的的目标函数：其中λ1为待测试样本的过拟合控制系数，Xt是待测试未知类别样本的特征，Yt是待测试未知类别样本的真实属性，结合步骤1)，我们写出最终的目标函数：其中λ2为平衡过拟合控制系数，式(4)和λ、λ1、λ2三个变量有关，考虑将其分解成三个最优化问题来进行求解：针对式(5)，(6)和(7)我们均利用求导置零的方法获得三个变量的表达式：其中是Ns阶的单位矩阵，是Rs的转置矩阵。其中是Nt阶单位矩阵，Nt是待测试未知类别样本的数量。W＝sylvester(A，B，C)(10)其中W＝Sylvester()是数学里面和矩阵相关的著名的sylvester方程，我们采用分别最优化的方法求出W的表达式，接下来我们利用如下迭代公式求出本文档来自技高网...

【技术保护点】
1.一种基于属性约束的零样本图像识别新方法，包含以下步骤：步骤1)针对给定的已知类别训练样本中含有属性噪声问题，利用正太分布虚拟出训练样本的真实属性；步骤2)针对零样本图像识别中存在语义迁移问题，根据步骤1)计算出的给定的已知类别训练样本真实属性，学习一个从已知类别训练样本的特征到已知类别训练样本真实属性的编码器，再学习一个将已知类别训练样本真实属性映射到特征空间的解码器，基于语义编码器‑解码器模型在已知类别训练样本和待测试未知类别样本上共同学习一个属性预测器；步骤3)用步骤2)得到的属性预测器预测待测试未知类别样本的属性，并将预测到的待测试未知类别样本的属性通过最近邻分类器与待测试未知类别样本的原型属性比对，以得到待测试未知类别样本的标签，将得到的待测试未知类别样本的标签与待测试未知类别样本的实际标签进行比对，得出属性预测器的识别率。

【技术特征摘要】
1.一种基于属性约束的零样本图像识别新方法，包含以下步骤：步骤1)针对给定的已知类别训练样本中含有属性噪声问题，利用正太分布虚拟出训练样本的真实属性；步骤2)针对零样本图像识别中存在语义迁移问题，根据步骤1)计算出的给定的已知类别训练样本真实属性，学习一个从已知类别训练样本的特征到已知类别训练样本真实属性的编码器，再学习一个将已知类别训练样本真实属性映射到特征空间的解码器，基于语义编码器-解码器模型在已知类别训练样本和待测试未知类别样本上共同学习一个属性预测器；步骤3)用步骤2)得到的属性预测器预测待测试未知类别样本的属性，并将预测到的待测试未知类别样本的属性通过最近邻分类器与待测试未知类别样本的原型属性比对，以得到待测试未知类别样本的标签，将得到的待测试未知类别样本的标签与待测试未知类别样本的实际标签进行比对，得出属性预测器的识别率。2.根据权利要求1所述的一种基于属性约束的零样本图像识别新方法，其特征在于：所述步骤1)具体步骤如下：步骤1.1)其中给定的已知类别训练样本包含cs类共计Ns幅图像，其训练集表示如下：上述训练集中表示第1至Ns幅图像的特征，表示第1至NS幅图像的属性；其中已知类别训练样本的特征表示如下：d为样本特征维度；其中已知类别训练样本的属性表示如下：k是属性维度；步骤2.2)已知类别训练样本的真实属性表示如下：其中是第1至NS幅图像的真实属性；cs类每一类都对应着一个原型属性，已知类别训练样本的训练集原型属性表示如下：其中表示已知类别训练样本的训练集的1至Cs类图像的原型属性；步骤2.3)利用同一类别样本在属性空间中呈正太分布的原理虚拟出已知类别训练样本的真实属性：其中是第j类已知类别的原型属性，j∈1......CS，是第i幅已知类别训练样本的真实属性i∈1......NS，||.||F是F-范数，则mi，j＝1，否则mi，j＝0。3.根据权利要求1或2所述的一种基于属性约束的零样本图像识别新方法，其特征在于：所述步骤2)的详细步骤如下：根据步骤1)中给定的已知类别训练样本的特征表示以及虚拟得出的真实属性进行如下步骤：步骤2.1)首先学习一个从已知类别训练样本特征Xs到其真实属性Ys的语义编码器W∈Rk×d即...

【专利技术属性】
技术研发人员：吴松松，王堃，卢志强，荆晓远，岳东，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32