基于提升稀疏约束双线性模型的图像分类方法技术

本发明专利技术提出一种基于提升稀疏约束双线性模型的图像进行分类方法，该方法的图像分类步骤如下：步骤S1：在图像上提取图像的局部特征；步骤S2：从图像上密集的提取多个部件；步骤S3：将各个部件用视觉词的直方图作为部件的特征表示，并将每个部件的特征表示按顺序排列起来，用一个矩阵的形式来表示图像；步骤S4：使用提升稀疏约束双线性模型模拟视觉词到部件、部件到图像类别之间的关系，从而达到对图像分类的目的。为了提高方法的判别力，我们加入了稀疏性的约束，并采用提升的策略来提高方法的鲁棒性。在三个数据库上的实验结果，证实了我们的方法的有效性。

【技术实现步骤摘要】

本专利技术属于图像处理领域，涉及一种基于提升稀疏约束双线性模型的图像分类方 法。
技术介绍
随着多媒体数据的爆炸性增涨，人工对图像进行分类越来越困难，基于图像内容 的自动分类越来越受到重视。自动的图像分类技术能够通过对图像本身内容进行处理分 析，从而预测图像的类别，避免了大量人工处理。然而由于图像中各种物体形态各异，出现 位置也不固定，而且还有可能存在遮挡的现象，自动的学习一个鲁棒的图像特征表示和预 测模型仍然是一个很有挑战的问题。传统的图像分类方法大都是基于词袋模型。这种方法首先在图像上提取局部特 征，对局部特征进行量化，生成码本，然后通过寻找最近邻的方法将局部特征量化到每个视 觉词，并将图像表示成一个视觉词的直方图分布，最后通过训练分类器的方式来预测图像 的类别。这种方法在一定程度上克服了全局特征的缺陷，但是，这种方法忽略了图像局部特 征的空间位置信息和相互联系。为了在一定程度上考虑空间信息，一般采用空间金字塔的 方式对图像进行划分。但是，这种方法划分金字塔的方式是一种经验性的，事先无法取得最 有效地划分。另一方面，每个视觉词对于分类性能的影响是不同的，给予每个视觉词同样的 权重也不利于最终的分类。
技术实现思路
为了解决吸纳有技术的问题，本专利技术的目的是对快速有效的图像分类，提出一个 更有效的图像特征表示和分类模型，为此本专利技术提供一种基于提升稀疏约束双线性模型的 图像分类方法。为达成所述目的，本专利技术提供一种基于提升稀疏约束双线性模型的图像分类方 法，该方法的图像分类步骤如下步骤Sl 在图像上提取图像的局部特征；步骤S2 从图像上密集的提取多个部件；步骤S3 将各个部件用视觉词的直方图作为部件的特征表示，并将每个部件的特 征表示按顺序排列起来，用一个矩阵的形式来表示图像；步骤S4 使用提升稀疏约束双线性模型模拟视觉词到部件、部件到图像类别之间 的关系，从而达到对图像分类的目的。优选实施例，基于部件的图像表示，综合考虑局部特征的空间信息；考虑部件本身 的空间信息，用于增强部件表示方式的判别力。优选实施例，设每个部件都对图像的类别预测有贡献，采用线性模型去拟合每个 部件都对图像的类别预测的这种联系；同时，设每个部件中的每个视觉词对所述部件的类 别也有贡献，也采用线性模型来拟合每个部件中的每个视觉词对所述部件的类别的这种联系，从而将图像类别预测问题转化为学习一个双线性模型的问题。优选实施例，为了选择最有判别力的视觉词和部件，从而更好的进行图像分类，对 双线性模型的两个系数向量施加稀疏性的约束，并通过组合多个双线性模型来增强图像分 类的鲁棒性。优选实施例，在学习单个稀疏约束的双线性模型时，采用交替优化的策略，先固定 视觉词到部件的模型系数，去学习部件到图像类别的模型的系数；然后固定部件到图像类 别的模型的系数，去学习视觉词到部件的模型系数。优选实施例，所述优化的策略采用加权的系数符号搜索算法实现。本专利技术的有益效果本专利技术提出一种基于提升稀疏约束双线性模型对图像进行分 类。通过部件来融合图像的空间信息，并通过双线性模型来进行图像分类，利用稀疏约束进 行最有判别力的部件和视觉词的选择，并利用提升的方法来提高算法的性能和鲁棒性。本 专利技术在三个数据库上的实验，证明了本专利技术的方法有更高的分类性能。附图说明图1提升稀疏约束双线性模型进行图像分类框图；图2基于部件的图像表示示意图；图3基于提升稀疏约束双线性模型的混淆矩阵；图4提升稀疏约束双线性模型在Caltech-IOl数据库上的分类准确率；图5提升稀疏约束双线性模型在Caltech-256数据库上的分类准确率。具体实施例方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照 附图，对本专利技术进一步详细说明。本专利技术利用图像分块和稀疏约束，提出了一个行之有效的图像分类方法。图1示 出本专利技术的系统提升稀疏约束双线性模型进行图像分类框架，包括图像局部特征提取、基 于部件的图像表示、提升稀疏约束双线性模型，以及图像分类。本专利技术主要包括两个部分基于部件的图像表示和提升稀疏约束双线性模型。(一 )、基于部件的图像表示图像表示部分采用基于部件的表示方式，图2示出描述了基于部件的图像表示方 法，这种方法同时考虑了局部特征的空间信息和部件之间的空间信息，从而可以得到有判 别力的图像特征表示，为下一步的分类器训练提供便利。本专利技术中，采用视觉词直方图来表示每个部件。先用k均值聚类方法获得1000个 聚类中心，每个聚类中心对应一个视觉词；采用寻找最近邻的方法对图像局部特征的空间 信息进行视觉词的量化。我们密集地抽取部件，在每幅图上抽取20X 15个部件，每个部件 是一个64X64像素的正方形区域。用部件内的视觉词的直方图来表示部件，将每个部件直 方图的定义为hj = Di1, j，Ii2, ...Ct (1)其中，N代表视觉词的个数，、是一个NXl的向量，其中每一维的元素hM，i = 1， 2，…，N正比于第i个视觉词在第j个部件里面出现的次数，j = 1，2，…，M，M代表部件的个数。并满足Σ二 =1。在把每个部件用直方图表示以后，将各个部件hp j = 1，2，…，M按顺序排列起来， 将第k个图像表示成一个NXM的矩阵Hk Hk = (2)这样，我们就得到了最终的基于部件的图像表示，k = 1，2，…，K。K代表训练图 像的个数。( 二)、提升稀疏约束双线性模型在将图像用部件表示后，我们用提升稀疏约束双线性模型来进行图像类别的预 测。首先，我们认为图像的每个部件都对图像的类别预测有贡献，我们采用线性模型去模 拟；同时，对于每个部件，其中的每个视觉词对这个部件的类别也有贡献，本专利技术也采用线 性模型来模拟，从而将图像类别预测问题转化为学习一个双线性模型的问题，即学习α， β，使得f(Hk) =yk= α THk^(3)其中，yk代表对第k个图像的预测值。F(Hk) = Q1Hk^代表要学习的双线性模型。 α是一个NXl维的系数向量，β是一个MXl维的系数向量。为了选择最有判别力的视觉词和部件，从而更好的进行图像分类，对于双线性模 型的两个系数向量α，β施加稀疏性的约束。同时，通过组合多个双线性模型来增强本发 明方法的鲁棒性。这是通过优化以下的目标函数实现Ft (H) = arg min exp + C1 Σ: IKI1 +|Α I ( 4 )Ft(H)其中，巧(好)=I^1 (好),(好)= Γ孖A。T代表双线性模型的个数，K代表训练图像的个数。C1, C2是两个控制稀疏程度的系数。H代表训练图像ft (H)代表要学习 的第t个双线性模型，α t和β t是第t个双线性模型对应的参数，α J代表α t的转置。巧(//) = 2^/,(灼代表要学习的提升稀疏约束的双线性模型，它是由T个双线性模型组成。我们采用提升的思想，通过T次循环，每次学习一个稀疏约束的双线性模型。本发 明的算法如表1所示表(1)提升稀疏约束双线性模型算法1.设定图像初始权重Wk,。，k=l, 2，…，K，稀疏约束系数C1, c2。 2.重复t=l，2，…，T轮Ca)通过交替优化(Xt, I学习第t个双线性模型((XtJt)。 (b)令 ft(H)=atTH^t。(c )设置第t轮、第k个图像的权重w本文档来自技高网...

【技术保护点】
１．一种基于提升稀疏约束双线性模型的图像分类方法，其特征在于，该方法图像分类的步骤如下：步骤Ｓ１：在图像上提取图像的局部特征；步骤Ｓ２：从图像上密集的提取多个部件；步骤Ｓ３：将各个部件用视觉词的直方图作为部件的特征表示，并将每个部件的特征表示按顺序排列起来，用一个矩阵的形式来表示图像；步骤Ｓ４：使用提升稀疏约束双线性模型模拟视觉词到部件、部件到图像类别之间的关系，从而达到对图像分类的目的。

【技术特征摘要】

【专利技术属性】
技术研发人员：卢汉清，刘静，张淳杰，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：11