一种细粒度识别中判别性图块学习的改进方法技术

一种细粒度识别中判别性图块学习的改进方法：提取原始图像中具有判别性质的图块，包括：原始图像通过卷积神经网络中的卷积池化层获得一张特征图，将特征图中每一个空间固定位置的向量视为对应于始图像中相应位置图块的检测器；假设已经学习到在原始图像中一个判别性区域具有最高响应的检测器，将检测器与特征图进行卷积运算，得到新的响应图；在新的响应图中挑选具有最大值的位置，得到具有判别性质的图块；学习具有判别性质的图块的特征并用于分类，包括：根据具有判别性质的图块获取局部显著图；使用空间加权费舍尔向量对局部显著图进行编码。本发明专利技术学习到更适合细粒度识别任务的判别性特征，减少判别性图块中背景信息的干扰以提高分类精度。

An improved method for discriminative block learning in fine-grained recognition

A discriminative learning block an improved method of fine-grained recognition: to extract the original image with block, including the discriminant properties: the original image to obtain a feature map by convolution pool layer convolution neural network in the vector space of each fixed position of the feature map as corresponding to the beginning of the corresponding location map of block image detector; the assumption has been learning to detector in the original image of a region with the highest discriminative response, the detector and feature map convolution, get new response; select the location of the maximum response in the new map, with block discriminant properties; study with block discriminant properties and used for classification, including: according to the block to get local discriminant saliency map properties; the local saliency map using the weighted vector space into Fisher Line code. The invention is more suitable for the discriminative feature of the fine-grained recognition task, and reduces the interference of the background information in the discriminant block to improve the classification accuracy.

【技术实现步骤摘要】
一种细粒度识别中判别性图块学习的改进方法
本专利技术涉及一种细粒度识别中判别性图块学习。特别是涉及一种根据响应图对图像描述器进行空间加权得到空间加权费舍尔向量的细粒度识别中判别性图块学习的改进方法。
技术介绍
近年来，细粒度识别在目标识别领域吸引了越来越多的关注，它是对某一大类目标的子类进行识别，如花类、鸟类、狗类、汽车等等，通常它们都具有相同的结构，因此如何学到图像中具有判别性质的特征成为细粒度识别的主要任务。在过去的研究中，细粒度识别领域主要包括两个任务：局部定位和特征表示。细粒度数据集除了图像类别标签外，通常也提供额外的目标边界框和局部部位的标注，之前的许多工作或多或少都依赖于这些额外的标注，但是细粒度的分类通常需要专家级别的知识，而普通人很难完成这一任务，这就使得人工标注的代价十分昂贵。近年来，更多的研究集中在不需要任何额外标注信息的方法，本专利技术涉及的方法就只需要图像类别标签，而不需要局部的标注，以一种弱监督的方法学习到具有判别性的局部特征。对于图像的特征描述，CNN特征在许多基准上取得了突破。传统方法是将局部信息编码，然后融合成整体特征表示，CNN特征与之不同，它可以直接学习全局，并且不需要人工设计特征提取器，目前的细粒度识别方法都是在CNN的基础之上，通过其他算法来学习图像细微的独特的特征。
技术实现思路
本专利技术所要解决的技术问题是，提供一种更准确的学习细节特征，舍弃小图块中杂乱的背景信息，从而提高分类精度，并且不再需要全局特征辅助的细粒度识别中判别性图块学习的改进方法。本专利技术所采用的技术方案是：一种细粒度识别中判别性图块学习的改进方法，包括如下步骤：1)提取原始图像中具有判别性质的图块，包括：(1)原始图像通过卷积神经网络中的卷积池化层获得一张C×H×W大小的特征图，其中，C为管道数，H为高度，W为宽度，将特征图中每一个空间固定位置的C×1×1向量视为对应于始图像中相应位置图块的检测器；(2)假设已经学习到在原始图像中一个判别性区域具有最高响应的检测器，将C×1×1大小的检测器与C×H×W大小的特征图进行卷积运算，得到新的H×W大小的响应图；(3)在新的H×W大小的响应图中挑选具有最大值的位置，得到1×1大小的具有判别性质的图块；2)学习具有判别性质的图块的特征并用于分类，包括：(1)根据具有判别性质的图块获取局部显著图；(2)使用空间加权费舍尔向量对局部显著图进行编码。步骤1)第(2)步所述的学习到在原始图像中一个判别性区域具有最高响应的检测器的步骤是：(1)假设每类图像的判别性图块检测器个数设为n，图像共有M类，所需的检测器的数量就是nM个；(2)将nM个C×1×1检测器与C×H×W大小的特征图分别进行卷积运算，得到新的特征图，对新的特征图进行全局最大值池化，得到一个nM维的特征向量；(3)对nM维的特征向量中每一类特征向量求平均值，得到一个M维的向量；(4)将M维的向量传入Softmax损失函数，运用反向传播算法对C×1×1检测器进行训练，训练完成后，得到在原始图像中一个判别性区域具有最高响应的检测器；步骤2)第(1)步所述的获取局部显著图是：根据从原始图像中得到的显著图S计算局部显著图Q，表示如下：其中，p是判别性图块的像素，i是检测部位，当第i个检测部位包含像素p，那么Di(p)＝1，否则Di(p)＝0，S(p)是整张图像的显著图，Q(p)是局部显著图，Z是一个归一化的常量使得maxQ(p)＝1。步骤2)第(2)步包括：假设向量I＝(z1,…,zN)是从图像提取的一系列D维特征向量，一张图片I的费舍尔向量编码φ(I)＝(u1,v1,…,uk,vk)是均方差uk和协方差vk的堆积，uk，vk被写为如下形式：其中，j＝1,...,D代表了向量维度，定义o＝(μk,σk,πk:k＝1,…,K)是高斯混合模型的参数，qik是混合模型中模式k的每一个向量zi的后验概率，其中，i＝1,…,N。为每一个向量zi引入了空间加权项Q(pi)，ujk和vjk加权后的结果表示为：其中，Q(pi)是局部显著图，uijk、vijk分别是公式(2)(3)，通过引入空间权重，就可以学习到重要的特征。本专利技术的一种细粒度识别中判别性图块学习的改进方法，将CNN特征和费舍尔向量相结合，学习到更适合细粒度识别任务的判别性特征，减少判别性图块中背景信息的干扰以提高分类精度。本专利技术主要是针对已有的判别性图块学习的改进，对于学习到的图块检测器所检测到的判别性区域，除了目标物的判别性特征，往往还存在多余的背景信息，因此本专利技术利用局部显著图和费舍尔向量编码改善这一限制，充分利用判别性区域特征，以有效用于分类任务。其优势主要体现在：1)新颖性：目前最有效最流行的特征表示方法是CNN，但本专利技术针对具体问题将费舍尔向量编码和CNN特征相结合。因为细粒度识别问题中最重要的是判别性特征的学习，并且通常数据集中的背景都很相似，所以本专利技术新颖性地引入费舍尔向量，可以有效地减少判别性图块中背景信息的干扰。2)有效性：与原始的方法相比较，本专利技术设计的基于局部显著图和费舍尔向量编码的方法能够有效地学习局部特征，传统的CNN通常需要固定大小的矩形作为输入，这就会包含背景的无效信息，而本专利技术可以有效地减少背景噪声的干扰，从而使学习到的局部特征更有判别性，进而提高分类精度。3)实用性：简单可行，是一个端对端的网络，能够有效用于细粒度识别。附图说明图1是本专利技术一种细粒度识别中判别性图块学习的改进方法的流程图。具体实施方式1.一种细粒度识别中判别性图块学习的改进方法，其特征在于，包括如下步骤：1)提取原始图像中具有判别性质的图块，包括：(1)原始图像通过卷积神经网络中的卷积池化层获得一张C×H×W大小的特征图，其中，C为管道数，H为高度，W为宽度，将特征图中每一个空间固定位置的C×1×1向量视为对应于始图像中相应位置图块的检测器；(2)假设已经学习到在原始图像中一个判别性区域具有最高响应的检测器，将C×1×1大小的检测器与C×H×W大小的特征图进行卷积运算，得到新的H×W大小的响应图；(3)在新的H×W大小的响应图中挑选具有最大值的位置，得到1×1大小的具有判别性质的图块；2)学习具有判别性质的图块的特征并用于分类，包括：(1)根据具有判别性质的图块获取局部显著图；(2)使用空间加权费舍尔向量对局部显著图进行编码；2.根据权利要求1所述的一种细粒度识别中判别性图块学习的改进方法，其特征在于，步骤1)第(2)步所述的学习在原始图像中一个判别性区域具有最高响应的检测器的步骤是：(1)假设每类图像的判别性图块检测器个数设为n，图像共有M类，所需的的检测器的数量就是nM个；(2)将nM个C×1×1检测器与C×H×W大小的特征图分别进行卷积运算，得到新的特征图，对新的特征图进行全局最大值池化，得到一个nM维的特征向量；(3)对nM维的特征向量中每一类特征向量求平均值，得到一个M维的向量；(4)将M维的向量传入Softmax损失函数，运用反向传播算法对C×1×1检测器进行训练，训练完成后，得到在原始图像中一个判别性区域具有最高响应的检测器；3.根据权利要求1所述的一种细粒度识别中判别性图块学习的改进方法，其特征在于，步骤2)第(1)步所述的获取局部显著图是：根本文档来自技高网...

【技术保护点】
一种细粒度识别中判别性图块学习的改进方法，其特征在于，包括如下步骤：1)提取原始图像中具有判别性质的图块，包括：(1)原始图像通过卷积神经网络中的卷积池化层获得一张C×H×W大小的特征图，其中，C为管道数，H为高度，W为宽度，将特征图中每一个空间固定位置的C×1×1向量视为对应于始图像中相应位置图块的检测器；(2)假设已经学习到在原始图像中一个判别性区域具有最高响应的检测器，将C×1×1大小的检测器与C×H×W大小的特征图进行卷积运算，得到新的H×W大小的响应图；(3)在新的H×W大小的响应图中挑选具有最大值的位置，得到1×1大小的具有判别性质的图块；2)学习具有判别性质的图块的特征并用于分类，包括：(1)根据具有判别性质的图块获取局部显著图；(2)使用空间加权费舍尔向量对局部显著图进行编码。

【技术特征摘要】
1.一种细粒度识别中判别性图块学习的改进方法，其特征在于，包括如下步骤：1)提取原始图像中具有判别性质的图块，包括：(1)原始图像通过卷积神经网络中的卷积池化层获得一张C×H×W大小的特征图，其中，C为管道数，H为高度，W为宽度，将特征图中每一个空间固定位置的C×1×1向量视为对应于始图像中相应位置图块的检测器；(2)假设已经学习到在原始图像中一个判别性区域具有最高响应的检测器，将C×1×1大小的检测器与C×H×W大小的特征图进行卷积运算，得到新的H×W大小的响应图；(3)在新的H×W大小的响应图中挑选具有最大值的位置，得到1×1大小的具有判别性质的图块；2)学习具有判别性质的图块的特征并用于分类，包括：(1)根据具有判别性质的图块获取局部显著图；(2)使用空间加权费舍尔向量对局部显著图进行编码。2.根据权利要求1所述的一种细粒度识别中判别性图块学习的改进方法，其特征在于，步骤1)第(2)步所述的学习到在原始图像中一个判别性区域具有最高响应的检测器的步骤是：(1)假设每类图像的判别性图块检测器个数设为n，图像共有M类，所需的检测器的数量就是nM个；(2)将nM个C×1×1检测器与C×H×W大小的特征图分别进行卷积运算，得到新的特征图，对新的特征图进行全局最大值池化，得到一个nM维的特征向量；(3)对nM维的特征向量中每一类特征向量求平均值，得到一个M维的向量；(4)将M...

【专利技术属性】
技术研发人员：冀中，赵可心，张锁平，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12