一种基于图结构和边界先验的显著性物体检测方法技术

本发明专利技术提供一种基于图结构和边界先验的显著性物体检测方法，该方法的主要思想是将图像的上、下、左、右四条边界上的超像素作为背景先验(边界先验)，通过建立图结构得到图像中每一个超像素到边界的测地线距离，利用其来衡量显著性大小。首先将输入图像过分割为超像素；其次将每一个超像素作为图结构的顶点，并且加入四个虚顶点，定义三种类型的边及其权值，以此建立起完整的图结构；紧接着计算每一个顶点分别到四个虚顶点的最短距离得到四张显著性图；最后通过一个融合策略输出最终的显著性图。本发明专利技术得到的显著性图能均匀的突出图像中的显著性物体，尤其是可以很好的抑制背景，有利于后续诸如图像检索、目标跟踪等处理。

【技术实现步骤摘要】
一种基于图结构和边界先验的显著性物体检测方法
本专利技术涉及计算机视觉与数字图像处理领域，具体涉及一种基于图结构和边界先验的显著性物体检测方法。
技术介绍
显著性的计算模型一直是计算机视觉领域中的热点问题，即在时空域大量信息中选择特定感兴趣区域的过程。视觉显著性是生物视觉系统的信息处理的重要环节，为进一步高层问题奠定基础。显著性检测就是要使得计算机拥有人的这一视觉选择注意机制。一方面，视觉显著性的计算模型，可以为生物视觉系统的工作机理提供佐证；另一方面，视觉显著性的计算模型，可以为计算机视觉领域中的场景理解问题提供帮助。显著性检测的结果被称为“显著性图”，图上亮度越大的区域意味着越容易吸引人的注意。显著性检测的主要方法大体可以分为三类。第一类方法，采用“自底而上”思想，即利用局部中心邻域结构，实现显著性的建模。第二类方法，采用“自顶向下”思想，即利用图像的统计特性的先验知识，实现显著性的建模。第三类方法，则同时运用“自底而上”与“自顶向下”的想法，结合机器学习方法，实现显著性的度量。本专利技术主要利用图像中的利用底层特征如颜色、分布等作为显著性检测的依据，因此本专利技术属于“自底向上”的显著性检测方法。近些年来，国内外很多知名学者在这方面做了大量的有益成果，其中的方法主要有：Itti等人于1998年提出使用特征的中心－周围差异原理来进行显著性检测，所用特征具体包括颜色、强度与方向，并且采用DOG来实现中心周围差异的计算。Hou等人于2007年提出光谱残差的方法，其在图像傅立叶变换后的幅度谱上计算光谱残差，然后再将该残差进行反变换得到显著性图。Cheng等人于2011年提出利用直方图来得到颜色的统计特性，从而利用基于颜色对比来估计图像块的显著性，其特点是对颜色进行了量化，提升了检测效率。Perazzi等人于2012年提出将显著性检测视为图像特征上的高维高斯滤波操作。专利方面，申请号为CN201110335538.4的中国专利技术专利申请通过对待检测图像进行多次小波变换，利用小波变换所得到的高频带数据初步确定显著性物体的大小和位置后，再采用中心—周边直方图算法获得精确的显著性值，从而准确地检测到显著性物体；申请号为CN201210425652.0的中国专利技术专利提出一种基于尺度选择的自顶向下的视觉显著性提取方法，包括两个阶段，训练阶段学习得到非线性模型，并找到多尺度合并中的最佳的尺度。它充分考虑了人的意图，而且利用多尺度的上下文关系，能有效地提取出与人的意图相关的视觉显著的区域；申请号为CN201310044869.1的中国专利技术专利申请利用颜色对比和颜色分布，综合这两种特征使得检测结果比较均匀，保持物体的边缘细节，并且能够较强的抑制背景干扰。本专利技术的方法不同于上述所有方法，因为本专利技术切入点如何定义背景，以往的大多数方法因为显著性物体检测而关注点都在何为显著性物体，而本专利技术从背景的角度出发，通过建立图结构，最终将显著性物体凸显出来，与以上的方法检测结果相比，不仅可以保证均匀完整的突出显著性物体，更突出的优势是可以更好地抑制背景。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种基于图结构和边界先验的显著性物体检测方法，该方法能有效突出图像中的显著性物体，同时抑制背景，有利于后续诸如图像检索、目标跟踪等处理。所谓边界先验是指在一幅图像中，靠近边界的部分一般来说都是背景，这是根据大量观察和摄影原则得到的，具有比较普遍的适用性，本专利技术的思想正是基于此，但是方法的设计也同时考虑到了少数边界不止有背景，也有显著性物体切到的情况，因此本专利技术利用边界先验但并不局限于该先验。本专利技术所述的基于图结构和边界先验的显著性物体检测方法，具体步骤如下：1、图像预处理将输入的彩色图像过分割为许多颜色相似，保边界的超像素，并且计算超像素内部的平均颜色和位置，将超像素作为处理的最小单位；具体地：将输入的彩色图像的颜色空间从RGB转到LAB，然后利用SLIC超分割算法将图像过分割为K个超像素，按照式(1)计算超像素内部的平均位置pi和平均颜色ci，将超像素作为处理的最小单位；其中Ip为像素I的位置向量(2维向量[x,y])，Ic为像素I的颜色向量(3维向量[L,a,b])，|SPi|表示超像素SPi中所含像素的个数，i表示超像素的下标号(i=1,2,…,K)。本专利技术通过图像预处理，进一步提升了图像处理的速度和检测结果的均匀。超像素和像素相比，是一个颜色相似的区域，将其作为处理单元，可以减少单元的个数，而且可以保证最终同一个单元中的像素的显著性一致，使得检测结果更加均匀。2、建立图结构把每一幅图像转化为一个图结构，将超像素作为图结构的顶点，并且加入四个虚顶点，每一个虚顶点对应图像的一条边界，同时再定义三种类型的边即邻接边、特征边、虚边及其权值；具体地：把每一幅图像转化为一个图结构，一个完整的图结构G包含顶点集合V、边集合E以及边的权值集合W。（1）顶点集合V图的顶点集包含两类顶点，第一类顶点是上一步分割得到的超像素，即图像中的每一个超像素作为图结构中的一个顶点；第二类顶点是额外加入的四个虚顶点，分别对应图像的上、下、左、右四条边界；（2）边集合E图的边集合包含三类边：第一类边称为“邻接边”：每一个超像素在位置空间上和与其相邻（共享边界的）的超像素顶点之间所连的边，权值定义为二者在颜色空间上的距离，因为相邻的超像素有很大可能处于同一显著性水平；第二类边称为“特征边”：每一个超像素在颜色空间上和与其最相似的k个超像素顶点之间所连的边，权值定义为二者在颜色空间上的距离的同时，还要考虑位置空间的距离；因为颜色相似的超像素直接相连可以减小最后所求距离的长度，这一点是专门考虑到路径所带来的积累效应而特别设计的，对抑制背景十分有效，但是如果所连的超像素中有可能存在显著的超像素，这样直接相连有可能削弱其显著性，所以在之后的权值设计时要再将位置空间考虑进去；第三类边称为“虚边”：每一个虚顶点和其对应的边界上的超像素顶点之间所连的边，权值采用基于颜色对比的方式。虚边的存在主要解决边界先验不满足，即边界上不止有背景还有部分显著性物体切到的情况。（3）边的权值集合W图的权值集合针对边集合对应三类权值：第一类为“邻接边”权值：该类边的权值定义为两个超像素在LAB空间上的Euclidean距离，如式(2)所示：w(i,j)=||ci-cj||2(2)其中ci,cj为超像素SPi和SPj的平均颜色，i,j表示超像素的下标号，从式子可以看出，越相似的邻接区域邻接边权值越小。第二类为“特征边”权值：该类边的权值定义综合考虑到两个超像素在颜色空间和位置空间的差别，如式(3)所示：其中ci,cj为超像素SPi和SPj的平均颜色，pi,pj为超像素SPi和SPj的平均位置，i,j表示超像素的下标号，β为控制这两种差别作用的一个参数，将与SPi在颜色空间相似的k个超像素都按照式(3)所定义的权值相连。从式子可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图结构和边界先验的显著性物体检测方法，其特征在于包括如下步骤：第一步，图像预处理：将输入的彩色图像过分割为许多颜色相似，保边界的超像素，并且计算超像素内部的平均颜色和位置，将超像素作为处理的最小单位；第二步，建立图结构：把每一幅图像转化为一个图结构，将超像素作为图结构的顶点，并且加入四个虚顶点，每一个虚顶点对应图像的一条边界，同时再定义三种类型的边即邻接边、特征边、虚边及其权值；所述的建立图结构，包含两类顶点和三类边：两类顶点：(1)图像中的每一个超像素作为图结构中的一个顶点；(2)加入四个虚顶点，分别对应图像的上、下、左、右四条边界；三类边：(1)邻接边：每一个超像素在位置空间上和与其相邻的超像素顶点之间所连的边，权值定义为二者在颜色空间上的距离；(2)特征边：每一个超像素在颜色空间上和与其最相似的k个超像素顶点之间所连的边，权值定义为二者在颜色空间上的距离的同时，还要考虑位置空间的距离；(3)虚边：每一个虚顶点和其对应的边界上的超像素顶点之间所连的边，权值采用基于颜色对比的方式；第三步，显著性图计算：利用图结构，采用Dijkstra算法计算每一个顶点分别到四个虚顶点的最短距离，得到四张分别基于上、下、左、右四条边界的显著性图；第四步，显著性图融合：通过一个融合策略输出最终的显著图，该融合策略侧重于凸显显著性物体的同时，能有效的抑制背景。2.根据权利要求1所述的基于图结构和边界先验的显著性物体检测方法，其特征在于所述第一步，具体为：将输入的彩色图像的颜色空间从RGB转到LAB，然后利用SLIC超分割算法将图像过分割为K个超像素，按照式(1)计算超像素内部的平均位置pi和平均颜色ci，将超像素作为处理的最小单位；

【专利技术属性】
技术研发人员：李一君，杨杰，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：