基于多特征融合的图像场景分类方法技术

本发明专利技术公开基于多特征融合的图像场景分类方法，首先提取出图像的GIST特征、SIFT特征和PHOG特征；然后对图像的SIFT特征进行局部约束线性编码，并将SIFT特征稀疏编码经池化处理后得到样本图像的SIFT特征稀疏向量；接着将样本图像的GIST特征、SIFT特征稀疏向量和PHOG特征进行级联后形成样本图像的最终特征表示，并将样本图像的最终特征表示输入线性分类器训练；之后对于待分类的图像也使用上述方法提取图像表示后输入已经训练好的线性SVM分类器完成分类。本发明专利技术能够在提高分类精度的同时，又增强了系统的鲁棒性。

Image scene classification method based on multi feature fusion

The invention discloses a scene classification method based on image feature fusion, extracted GIST features, image SIFT feature and PHOG feature and SIFT feature; the image of the local linear encoding and SIFT encoding, the sparse feature pool is obtained after the treatment of SIFT feature sparse vector images; then, GIST features the sample image SIFT feature and PHOG feature sparse vector are cascaded to form final sample feature representation of the image, and will eventually feature sample image input linear classifier training; after the image is to be classified using the method of extracting image representation after the input has been a linear SVM classifier trained to complete classification. The invention can improve the classification accuracy and enhance the robustness of the system.

【技术实现步骤摘要】
基于多特征融合的图像场景分类方法
本专利技术涉及计算机图像处理
，具体涉及一种基于多特征融合的图像场景分类方法。
技术介绍
图像理解(imageunderstanding，IU)就是对图像的语义理解。它是以图像为对象，知识为核心，研究图像中有什么目标、目标之间的相互关系、图像是什么场景以及如何应用场景的一门学科。其中，图像场景分类是图像理解的一个分支。所谓图像场景分类，就是自动判别一个语义类别集中的一幅图像属于哪个场景类(如海滩、森林和街道)。图像场景分类技术一直以来备受人们的研究关注。已经在很多方面得到应用。虽然人们在提取特征方面取得很大的进步，但是由于光照、角度、尺度以及空间位置的影响，图像场景分类仍然是一项具有挑战的任务。根据图像描述方式的不同，当前图像场景分类大体可分为基于全局特征和基于局部特征的分类。然而，由于图像中包含的各种物体信息非常丰富，但彼此之间的空间分布错综复杂，基于全局特征或者基于局部特征的描述方法都会造成不可避免的错分、误分等现象。
技术实现思路
本专利技术所要解决的技术问题是现有图像场景分类方法存在错分、误分的问题，提供一种基于多特征融合的图像场景分类方法，其能够在提升分类精度的同时，保证分类效率。为解决上述问题，本专利技术是通过以下技术方案实现的：基于多特征融合的图像场景分类方法，包括如下步骤：步骤1)样本图像的训练阶段；1.1)同时提取样本图像的GIST特征、SIFT特征和PHOG特征；1.2)对样本图像的SIFT特征进行局部约束线性编码，得到样本图像的SIFT特征稀疏编码；1.3)样本图像的SIFT特征稀疏编码经池化处理后得到样本图像的SIFT特征稀疏向量；1.4)将样本图像的GIST特征、SIFT特征稀疏向量和PHOG特征进行级联后形成样本图像的最终特征表示，并将样本图像的最终特征表示输入线性分类器训练；步骤2)待分类图像的分类阶段；2.1)同时提取待分类图像的GIST特征、SIFT特征和PHOG特征；2.2)对待分类图像的SIFT特征进行局部约束线性编码，得到待分类图像的SIFT特征稀疏编码；2.3)待分类图像的SIFT特征稀疏编码经池化处理后得到待分类图像的SIFT特征稀疏向量；2.4)将待分类图像的GIST特征、SIFT特征稀疏向量和PHOG特征进行级联后形成待分类图像的最终特征表示，将待分类图像的最终特征表示输入步骤1.4)训练好的线性分类器进行判别，确定该幅待分类图像属于哪一类。上述步骤1.3)和步骤2.3)中，所述池化处理是基于基于空间金字塔匹配框架的池化处理。上述步骤1.1)和步骤2.1)中，GIST特征提取的过程为：首先将图像和不同方向与不同尺度的Gabor滤波器组进行滤波，然后把滤波后的图像划分成网格，在每一个网格内部取平均值，最后按行组合把所有的网格均值级联起来。上述步骤1.1)和步骤2.1)中，SIFT特征提取的过程包括：构建尺度空间，极值点检测，特征点定位，计算特征点方向，以及生成SIFT特征描述符这5个步骤。上述步骤1.1)和步骤2.1)中，PHOG特征提取的过程为：首先得到图像的部分或全部轮廓；然后计算轮廓点处的梯度模和梯度方向，并再将梯度方向转换成以度为单位后分成K个区间，在各区间上累加梯度模的值作为该区间的权值，得到梯度方向直方图；接着将一幅图像逐级分割细化；最后计算每一级各块所含边缘点对应的梯度方向直方图，将所有这些梯度方向直方图连接起来；上述K为正整数。与现有技术相比，本专利技术具有如下特点：(1)利用GIST特征对图像产生一个综合的认知，综合描述了自然度、开放度、粗略度、展开度和崎岖度五种自然属性，相比较传统的场景分类方法可以避免了根据各种实际情况设置各种参数和门限。(2)在特征学习过程中融合了GIST、SIFT跟PHOG特征的各自的优点，能够起到特征之间的优势互补，因而能够在一种特征不能详细描述图像的情况下，取得更好的分类精度。(3)对于输入图像视觉特征的学习采用稀疏编码，对于图像的特征之间空间关系采用SPM框架进行池化，能够对高维向量起到有效的降维作用。(4)LLC的编码速度快，效率高，为线性分类提供了基础。分类时使用线性分类器能大大缩短训练时间。在提高分类精度的同时，又增强了系统的鲁棒性。附图说明图1为基于多特征融合的图像场景分类方法的原理框图。具体实施方式针对图像当中的不同对象，各种特征的优势各不相同，彼此之间存在互补现象，多特征融合能够解决单特征描述的不足。本专利技术提出一种基于多特征融合的图像场景分类方法，首先，提取出图像的GIST特征、SIFT特征和PHOG特征。由于GIST特征属于稀疏网格划分，所以一个网格中可能包含不同的场景特征，里面的具体细节目标可能会被忽略。SIFT特征是图像场景分类中被广泛使用的一种局部特征，实现对特征点的精确定位。PHOG特征是一种空间形状描述，它表征一副图像的局部形状以及其形状的空间关系。三者组合起来描述图像场景能够提供更丰富的信息，特征之间能够达到优势互补。然后，对SIFT特征进行局部约束线性编码(Locality-constrainedlinearcoding，LLC)，LLC在基于稀疏编码的空间金字塔匹配(spatialpyramidmatchingusingsparsecoding，ScSPM)的基础上引入了局部约束的概念，认为图像特征不仅要满足稀疏性，同时还要兼顾局部性，进一步提高了计算效率和准确性；紧接着，进行向量的最大池化。最后，采用线性SVM分类器对空间金字塔特征集进行分类。具体来说，基于多特征融合的图像场景分类方法，如图1所示，包括以下步骤：步骤1)样本图像的训练阶段。1.1)同时提取样本图像的GIST特征、SIFT特征和PHOG特征。1.2)对样本图像的SIFT特征进行局部约束线性编码，得到样本图像的SIFT特征稀疏编码。1.3)样本图像的SIFT特征稀疏编码经池化处理后得到样本图像的SIFT特征稀疏向量。所述池化处理是基于空间金字塔匹配框架的池化处理。1.4)将样本图像的GIST特征、SIFT特征稀疏向量和PHOG特征进行级联后形成样本图像的最终特征表示，并将样本图像的最终特征表示输入线性分类器训练。步骤2)待分类图像的分类阶段。2.1)同时提取待分类图像的GIST特征、SIFT特征和PHOG特征待。2.2)对待分类图像的SIFT特征进行局部约束线性编码，得到待分类图像的SIFT特征稀疏编码待。2.3)待分类图像的SIFT特征稀疏编码经池化处理后得到待分类图像的SIFT特征稀疏向量待。所述池化处理是基于基于空间金字塔匹配框架的池化处理。2.4)将待分类图像的GIST特征、SIFT特征稀疏向量和PHOG特征进行级联后形成待分类图像的最终特征表示，将待分类图像的最终特征表示输入步骤1.4)训练好的线性分类器进行判别，确定该幅待分类图像属于哪一类。稀疏表示是近几年来图像处理和计算机视觉领域的研究热点之一，它是一种无监督学习方法，用来寻找一组“超完备”基向量来更高效地表示样本数据。在图像处理领域中，图像的稀疏表示是在SPM框架内，将图像各个区域内池化后的向量A级联起来，从而表示一幅图像的过程。本专利技术中采用LLC对底层特征进行编码，LLC编码侧重于局部约束，而不是稀疏性，局部性可本文档来自技高网...

【技术保护点】
基于多特征融合的图像场景分类方法，其特征是，包括如下步骤：步骤1)样本图像的训练阶段；1.1)同时提取样本图像的GIST特征、SIFT特征和PHOG特征；1.2)对样本图像的SIFT特征进行局部约束线性编码，得到样本图像的SIFT特征稀疏编码；1.3)样本图像的SIFT特征稀疏编码经池化处理后得到样本图像的SIFT特征稀疏向量；1.4)将样本图像的GIST特征、SIFT特征稀疏向量和PHOG特征进行级联后形成样本图像的最终特征表示，并将样本图像的最终特征表示输入线性分类器训练；步骤2)待分类图像的分类阶段；2.1)同时提取待分类图像的GIST特征、SIFT特征和PHOG特征；2.2)对待分类图像的SIFT特征进行局部约束线性编码，得到待分类图像的SIFT特征稀疏编码；2.3)待分类图像的SIFT特征稀疏编码经池化处理后得到待分类图像的SIFT特征稀疏向量；2.4)将待分类图像的GIST特征、SIFT特征稀疏向量和PHOG特征进行级联后形成待分类图像的最终特征表示，将待分类图像的最终特征表示输入步骤1.4)训练好的线性分类器进行判别，确定该幅待分类图像属于哪一类。

【技术特征摘要】
1.基于多特征融合的图像场景分类方法，其特征是，包括如下步骤：步骤1)样本图像的训练阶段；1.1)同时提取样本图像的GIST特征、SIFT特征和PHOG特征；1.2)对样本图像的SIFT特征进行局部约束线性编码，得到样本图像的SIFT特征稀疏编码；1.3)样本图像的SIFT特征稀疏编码经池化处理后得到样本图像的SIFT特征稀疏向量；1.4)将样本图像的GIST特征、SIFT特征稀疏向量和PHOG特征进行级联后形成样本图像的最终特征表示，并将样本图像的最终特征表示输入线性分类器训练；步骤2)待分类图像的分类阶段；2.1)同时提取待分类图像的GIST特征、SIFT特征和PHOG特征；2.2)对待分类图像的SIFT特征进行局部约束线性编码，得到待分类图像的SIFT特征稀疏编码；2.3)待分类图像的SIFT特征稀疏编码经池化处理后得到待分类图像的SIFT特征稀疏向量；2.4)将待分类图像的GIST特征、SIFT特征稀疏向量和PHOG特征进行级联后形成待分类图像的最终特征表示，将待分类图像的最终特征表示输入步骤1.4)训练好的线性分类器进行判别，确定该幅待分类图像属于哪一类。2.根据权利要求1所述的一种基于多特征融合的图像场景分...

【专利技术属性】
技术研发人员：李志欣，李艳红，张灿龙，
申请(专利权)人：广西师范大学，
类型：发明
国别省市：广西,45