一种基于单目深度图的视觉显著性区域的提取方法技术

本发明专利技术公开了一种基于单目深度图的视觉显著性区域的提取方法，包含以下顺序的步骤：对原图像进行分割得到各个超像素；建立每个超像素的特征向量，即估算图像中场景的绝对深度的绝对深度特征；利用高斯-马尔可夫随机场模型建立概率模型，通过概率模型计算超像素特征向量与相邻超像素特征向量之间的距离关系，在所述的绝对深度特征的基础上得到了相对深度特征，同时得到超像素的深度值及深度图；计算超像素的显著值；由所述深度值计算出增益系数，利用增益系数修正所述显著值。本发明专利技术的提取方法，在无任何先验知识的前提下，能快速准确地自动识别图像中的显著性物体，且普适性好，显著性区域检测准确。

【技术实现步骤摘要】
一种基于单目深度图的视觉显著性区域的提取方法
本专利技术涉及图像处理领域，特别涉及一种基于单目深度图的视觉显著性区域的提取方法。
技术介绍
随着科技的发展与计算机计算性能的提高，人类越来越期望计算机能够更为智能更为自主地完成计算工作。欲达到这一期望，需要计算机获得理解周围环境的能力。视觉是人类感知外界信息的最主要方式。显著性区域检测在计算机视觉、图像处理等领域起着关键的作用，一直是人们研究的热门课题。人类的视觉感知能力经过长期的自然选择进化到了较高的水平。人类的视觉系统能够快速有效地从复杂的外界环境中提取出其感兴趣的物体，并对该物体做出相应的反应。关于人类的视觉感知能力的研究早已开展，但是到目前为止，仍然没有获得突破性的成果。通常认为，人类的视觉感知系统对外界环境的反应分为两个阶段：一个快速的、自下而上的、显著性主导的、目标无关的阶段和一个慢速的、自上而下的、意识主导的、目标有关的阶段。人类的视觉显著性检测行为就是前者，其在保障人类的基本生存能力方面有重要的作用。与人类的视觉显著性检测相对应的，在计算机领域实现图像的显著性信息提取可以通过图像的显著性区域检测。通过图像的显著性区域检测可以获得显著图，较优的显著图可以清晰地显示显著性区域与非显著性区域，从而为计算机的相应的下一步工作提供了便利。目前显著性区域识别技术目前有着广泛的应用，在动态图像融合、图像增强、图像检索、图像分割、图像压缩、图像自动化修剪等领域都起着重要的作用。然而常规的显著性算法仅能识别出简单图像的显著性区域，这些常规算法对复杂图像的计算难以达到令人满意的质量，因为缺乏对物体距离信息的考虑，会引起计算量大以及边缘模糊等问题。
技术实现思路
本专利技术的目的在于克服现有技术的缺点与不足，提供一种基于单目深度图的视觉显著性区域的提取方法。本专利技术的目的通过以下的技术方案实现：一种基于单目深度图的视觉显著性区域的提取方法，包含以下顺序的步骤：S1.对原图像进行分割，把图像中空间上距离近的且颜色、亮度、纹理特征相似的归为一个像素块，即为一个超像素；S2.建立每个超像素的特征向量，即估算图像中场景的绝对深度的绝对深度特征；S3.利用高斯-马尔可夫随机场模型建立概率模型，通过概率模型计算超像素特征向量与相邻超像素特征向量之间的距离关系，在所述的绝对深度特征的基础上得到了相对深度特征，同时得到超像素的深度值及深度图；S4.计算超像素的显著值：首先计算超像素同其他所有超像素的对比度，若超像素与其他超像素的对比度越大，则其显著性程度越高；其次考虑空间距离，距该超像素较远的像素块会对其产生更大的影响；S5.由所述深度值计算出增益系数，利用增益系数修正所述显著值：若一个超像素的深度值较低，即其深度较浅，距离观测者更近，那么在初步显著值上对该像素的抑制越弱，反之越强；S6.在原图像中标示出最终显示值最大的区域，该区域即是该图像的显著性区域。步骤S1中，所述的超像素，不同的超像素所包含的像素数相同，且不同超像素之间的邻接区域在较大的概率下会有显著的差异。步骤S2、S3中所述的绝对深度特征、步骤S3所述的相对深度特征在计算时选取了色彩、亮度、纹理三种视觉特征。所述的色彩特征通过把图像分为R、G、B三个通道进行一定的计算得到；所述的亮度特征通过其灰度值计算得到；所述的图像的纹理特征在亮度通道中计算获取，把图像的亮度通道与罗斯掩膜做卷积，卷积的结果用于检测纹理变化和纹理梯度，从而计算出纹理特征。步骤S3中，所述的深度值及深度图具体通过下面的方式得到：考虑不同尺度空间下的深度，使得较高尺度的空间中的超像素的深度为较低尺度的空间中该超像素与其相邻超像素深度值的平均；而最低尺度空间的深度值是通过将原图的颜色和亮度空间分别与罗斯掩膜卷积，将得到的卷积值相加而得到的；深度值相近的化为一个深度区域，得到深度图。所述的考虑不同尺度空间下的深度具体为：计算每一尺度空间下的深度，最后得到的深度值是每一尺度空间下的深度值的和，并作归一化处理。步骤S5中，所述的深度值记为α，所述的增益系数记为K，则所述的增益系数K＝eα。步骤S5中，所述的修正所述显著值具体是指将显著值乘以增益系数得到修正后的显著值。本专利技术与现有技术相比，具有如下优点和有益效果：1、本专利技术所提出的方法在A阶段利用了深度图信息，符合人眼视觉以距离自身近的物体为显著物体的规律，减小了噪声干扰，使得测试结果明显优于没有融合深度图信息的方法。此外，将本方法提取出的与目标物体相关的显著图用于物体检测，在能够有效地检测到目标物体的同时，降低了时间复杂度。2、现有的大部分方法是自底向上的，只与图像的底层特征有关。本专利技术提出的方法考虑深度特征，并可以应用于物体检测等领域。3、该方法对图像进行基于深度信息的计算后执行视觉显著性提取，特别的，有别于常规的基于双目图像提取深度特征，本方法仅通过单目图像快速有效地计算深度信息，同时避免了大量重复性的扫描，从而减小了时间复杂度。4、本专利技术的提取方法，在无任何先验知识的前提下，能快速准确地自动识别图像中的显著性物体，且普适性好，显著性区域检测准确。5、因为绝对深度特征并不能准确的被描述出来，所以本方法联合考虑了相对深度特征，结果更准确。附图说明图1为本专利技术所述的一种基于单目深度图的视觉显著性区域的提取方法的流程图。具体实施方式下面结合实施例及附图对本专利技术作进一步详细的描述，但本专利技术的实施方式不限于此。如图1，一种基于单目深度图的视觉显著性区域的提取方法，包含以下顺序的步骤：A.深度图计算阶段1.对图像进行分割，把图像中空间上距离近的且颜色、亮度、纹理特征相似的归为一个像素块，并且这些像素块中所包含的像素数相同。称这些像素块为超像素。不同超像素之间的邻接区域在较大的概率下会有显著的差异。2.为每一个超像素建立特征向量，并计算其与相邻超像素特征向量之间的关系。本方法考虑了两类特征向量，一类为估算相邻超像素的相对深度的相对深度特征；另一类为估算图像中场景的绝对深度的绝对深度特征。3.本方法计算深度特征向量时选取了三种视觉特征，分别为色彩、亮度、纹理。图像的色彩特征可以通过把图像分为R、G、B三个通道进行一定的计算得到。图像的亮度特征可以通过其灰度值计算得到。图像的纹理特征可以在亮度通道中计算获取，把图像的亮度通道与罗斯掩膜做卷积，卷积的结果可以用于检测纹理变化和纹理梯度，以达到计算纹理特征的目的。4.利用高斯-马尔可夫随机场模型建立概率模型。绝对深度特征并不能准确的被描述出来，本方法联合考虑了相对深度特征。然而相距较远的像素块在很大的概率下相关度较低，所以本方法选用马尔可夫模型。计算A深度图计算阶段第2步中的到的超像素的特征向量和与其相邻的超像素的特征向量的关系。并考虑不同尺度空间下的深度，使得较高尺度的空间中的超像素的深度为较低尺度的空间中该超像素与其相邻超像素深度的平均。B.显著值初步计算阶段1.对图像进行分割，把图像中空间上距离近的且颜色、亮度、纹理特征相似的归为一个像素块，并且这些像素块中所包含的像素数相同。称这些像素块为超像素。不同超像素之间的邻接区域在较大的概率下会有显著的差异。与A深度图计算阶段的第1步方法相同，得到的结果也必然相同，可以直接用A深度图计算阶段的第1步后得到的结果图。2.计算超本文档来自技高网...

【技术保护点】
一种基于单目深度图的视觉显著性区域的提取方法，其特征在于，包含以下顺序的步骤：S1.对原图像进行分割，把图像中空间上距离近的且颜色、亮度、纹理特征相似的归为一个像素块，即为一个超像素；S2.建立每个超像素的特征向量，即估算图像中场景的绝对深度的绝对深度特征；S3.利用高斯‑马尔可夫随机场模型建立概率模型，通过概率模型计算超像素特征向量与相邻超像素特征向量之间的距离关系，在所述的绝对深度特征的基础上得到了相对深度特征，同时得到超像素的深度值及深度图；S4.计算超像素的显著值：首先计算超像素同其他所有超像素的对比度，若超像素与其他超像素的对比度越大，则其显著性程度越高；其次考虑空间距离，距该超像素较远的像素块会对其产生更大的影响；S5.由所述深度值计算出增益系数，利用增益系数修正所述显著值：若一个超像素的深度值较低，即其深度较浅，距离观测者更近，那么在初步显著值上对该像素的抑制越弱，反之越强；S6.在原图像中标示出最终显示值最大的区域，该区域即是该图像的显著性区域。

【技术特征摘要】
1.一种基于单目深度图的视觉显著性区域的提取方法，其特征在于，包含以下顺序的步骤：S1.对原图像进行分割，把图像中空间上距离近的且颜色、亮度、纹理特征相似的归为一个像素块，即为一个超像素；S2.建立每个超像素的特征向量，即估算图像中场景的绝对深度的绝对深度特征；S3.利用高斯-马尔可夫随机场模型建立概率模型，通过概率模型计算超像素特征向量与相邻超像素特征向量之间的距离关系，在所述的绝对深度特征的基础上得到了相对深度特征，同时得到超像素的深度值及深度图；S4.计算超像素的显著值：首先计算超像素同其他所有超像素的对比度，若超像素与其他超像素的对比度越大，则其显著性程度越高；其次考虑空间距离，距该超像素较远的像素块会对其产生更大的影响；S5.由所述深度值计算出增益系数，利用增益系数修正所述显著值：若一个超像素的深度值较低，即其深度较浅，距离观测者更近，那么在初步显著值上对该像素的抑制越弱，反之越强；S6.在原图像中标示出最终显示值最大的区域，该区域即是该图像的显著性区域。2.根据权利要求1所述的基于单目深度图的视觉显著性区域的提取方法，其特征在于，步骤S1中，所述的超像素，不同的超像素所包含的像素数相同，且不同超像素之间的邻接区域在较大的概率下会有显著的差异。3.根据权利要求1所述的基于单目深度图的视觉显著性区域的提取方法，其特征在于，步骤S2、S3中所述的绝对深度特征、步骤S3所述的相对深度特征在计算时选取了色彩、亮度、纹...

【专利技术属性】
技术研发人员：余卫宇，孙宇飞，钱少惠，汤瑞东，于传若，石育金，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44