一种多分类器联合的弱标注图像对象检测方法技术

本发明专利技术是一种多分类器联合的弱标注图像对象检测方法，包括：输入M个不同标签的弱标注图像集，对其中的所有图片进行对象性分析，生成对象性区域集；对区域集生成图像特征，后对不同标签特征集分别进行聚类；根据聚类的结果，对每个聚类后区域集合训练中层区域分类器；每个分类器分别计算类别属性；输入测试图像，进行对象性分析得到区域块，生成区域特征。使用多分类器进行联合检测，判断出包含该类别对象的区域。本发明专利技术在多类别图像对象联合检测方面有良好的表现，可应用于图像对象自动标注，图像对象识别等领域。

【技术实现步骤摘要】

本专利技术属于图像处理、计算机视觉
，是一种多分类器联合的弱标注图像 对象检测方法。
技术介绍
1、基于弱标注的对象检测技术主要考虑如何利用简单标注信息和大量的未标注 样本进行训练和分类的问题，在低成本的基础上能够更好的利用大量的数据获得相对较好 的识别效果。在2010年，Alexe等人提出了图像对象性的概念，利用显著前景分析等方法 在没有任何标注的图像上提取可能包含对象的区域，该方法综合考虑了颜色对比度（Color Contrast)，边缘密度（EdgeDensity)以及超像素跨度（SuperpixelsStraddling)。 在2012年Thomas等人提出了一种基于属性知识的弱监督学习和定位方法，该 方法首先提供一些经过弱标注的图片，物体定位信息并没有给出，弱监督学习需要学习 一个物体类别模型，可以被用来决定一张测试图片是否包含一个类别甚至将其定位出来 (binding-box)。方法中的定位模型是一个稠密的CRF模型。其中每个训练图片都是一个 节点，节点空间大小足以包含图片内的窗口集。其中的单点势能（unarypotential)测量 的是一个窗口包含一个种类物体的可能性，而对于成对点势能（pairwisepotential)则是 表示两个窗口是否包含同一未知类别的物体。方法同时通过学习一种特殊显示模型对物体 进行定位，并且在不同的数据集上进行了测试，证明了对于许多类别具有通用性。基于弱标 注的对象检测技术在大规模图像数据处理方面有相当广泛的用途，但在对弱标注样本的进 行分析时，样本噪声信息会极大的影响最终的检测效果。 2、聚类假设是弱监督学习中使用的基本方法，聚类假设是指样本数据的特征距离 较近时，样本就越可能属于同一类别，处在相同聚类（cluster)中的示例有较大的可能拥 有相同的标记。1967年，JamesMacQuee提出了k-means算法，给定一组观测数据（xl,x2,… ，xn)，其中每个观测数据以d维的向量表示，k-means算法的目的是将n个观测值划分为k 个类别：s= {S,，S,，…，SJ。k-means算法的公式如下： 根据聚类假设，决策边界就应该尽量通过数据较为稀疏的地方，从而避免把稠密 的聚类中的数据点分到决策边界两侧。在这一假设下，大量未标记示例的作用就是帮助探 明示例空间中数据分布的稠密和稀疏区域，从而指导学习算法对利用有标记示例学习到的 决策边界进行调整，使其尽量通过数据分布的稀疏区域。 3、TF_IDF是一种统计方法，用以评估字词对于一个文件集或一个语料库中的其中 一份文件的重要程度。1983年，Salton等人在关于文本检索技术的著作中，提出了TF-IDF 的准则，表明字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语 料库中出现的频率成反比下降。TF-IDF的主要思想是：如果某个词或短语在一篇文章中出 现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能 力，适合用来分类。词频（termfrequency，TF)指的是某一个给定的词语在该文件中出现的 频率。逆向文件频率（inversedocumentfrequency，IDF)是一个词语普遍重要性的度量。 在多分类器联合的弱监督检测方法中，我们假设两两分类器具有相似性度量，依据TF-IDF 的概念，我们通过定义某一分类器和类内分类器之间的相似性度量，可计算任一分类器的 类别独一性和类别无关性。
技术实现思路
本专利技术的目的是提出了，这种方法 在标准测试数据集上有良好的表现。 为完成本专利技术的目的，本专利技术采用的技术方案是： ，其中，包括如下步骤： 步骤（1)，图片集预处理：输入包含M个类别标签的弱标注的图像数据集，进行对 象性分析得到对象性区域集（boxproposals):给定弱标注图片集，包含M个类别，每个类 别标签定义为L= {Li，L2,. ..，LJ(i= 1，2,. . .，M)，对其中的所有图片进行对象性分析，生 成图片数目百倍数量级的图片区域块集合。对于每个弱标注训练集，仅有图像集合类别的 标注标签，而缺乏对图像内部对象位置的标注信息。 步骤（2)，生成区域特征，依据不同类别标签进行特征聚类：对每个区域块，我们 使用ImageNet数据集训练的卷积神经网络模型，抽取神经网络模型的fc7层的特征（4096 维）作为代表特征。步骤（3)，根据聚类结果，对每个对象性区域集训练中层区域分类器，每个集合得 到数个聚类中心以及对所有区域特征的聚类结果，并根据聚类结果将所有的区域分为不 同的集合。根据之前的聚类结果，对上述每个类别集合分别训练线性SVM分类器，得到 f-1 个图像中层区域分类器。每个中层分类器的训练时使表这个区域特征集的全部特征作为正 样本，而使用其他特征集合内随即挑选的特征作为负样本，在具体训练过程中，我们利用10 次10折交叉验证（10_f〇ldcrossvalidation)建立较为可靠稳定的模型。步骤（4)，计算每个中层区域分类器类别属性：每个分类器分别计算与其他分类 器的相关性，由此得到分类器的类别独一性（category-specificattribute)以及类别无 关性（category-irrelevantattribute)。对于多分类器的相关性，根据多分类器分析结 果，需要计算分类器之间的相似性对输入图片进行联合分析与检测。在计算分类器的相似 性时，我们首先需要估计两个聚类集合之间的相似性：首先在验证集合validation集合上 生成对象性检测区域。然后利用每个中层分类器在validationset上进行检测，依据可 信度对测试结果进行由大到小排序，排序编号进行记为P(i，k)，取前Tr个可信度最高的区 域，比对其重合度，重合度的计算式如下所示： 其中P(i，k)表示第i个分类器在第k个类别上的测试结果，M表示类别的总 个数。在计算分类器的相似性后，分别可以由类内相似度和类内相似度的计算得到第 i个分类器的类别独一性T(i) (category-specificattribute)以及类别无关性D(i) (category-irrelevantattribute)。将第i个的分类器所在的类别集合记为gy贝lj有：N(i，gl)表示i个分类器在自身所在类别内的邻接分类器集合，T(i)是集合 N(i，gl)内的第i个分类器的类别独一性，Tc表示集合内分类器个数。N(i，k) (k辛gl)表 示j个分类器在除自身所在类别外，其余类别集合的邻接分类器集。D(i)是第i个分类器 的类别无关性。T(i)表示一个分类器在类内的共通性，拥有较大T(i)的分类器有较大的类 内相似度，可以被认为能更好的代表这个类别的特征。D(i)表示一个分类器在不同类别之 间的共通性，拥有较大D(i)的分类器有较大的类间相似度，可以被认为是更能表现不同类 别物体中的相同场景区域特征，例如一些常见的背景。 步骤（5)，根据多分类器联合分析结果，得到联合检测器，对测试图片集合（test set)进行联合分析与检测。对输入的测试图像同样进行对象性分析并得到区域块，并生成 对应的特征。然后我们利用多分类器属性分析结果进行相对应的联本文档来自技高网...

【技术保护点】
一种多分类器联合的弱标注图像对象检测方法，其特征在于包括如下步骤：(1)图片集预处理：输入包含M个类别标签的弱标注的图像数据集，进行对象性分析得到对象性区域集(box proposals)；(2)生成区域特征，依据不同类别标签进行特征聚类；(3)根据聚类结果，对每个对象性区域集训练中层区域分类器；(4)计算每个中层区域分类器类别属性；(5)根据多分类器联合分析结果，得到联合检测器，用于图像对象检测。

【技术特征摘要】

【专利技术属性】
技术研发人员：李甲，陈小武，张宇，赵沁平，王晨，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11