一种RGB‑D图显著性的检测方法技术

本发明专利技术公开了一种RGB‑D图显著性的检测方法，属于计算机视觉技术领域，包括：采用显著检测算法对RGB‑D图中的Depth深度图进行显著检测，得到深度显著图Sd；将深度显著图Sd作为特征来加强RGB‑D图中的RGB彩色图的流形排序，得到RGB彩色图的显著图Sc；利用RGB彩色图的显著图Sc指导Depth深度图的流形排序，得到Depth深度图的显著图Sd′；将RGB彩色图的显著图Sc和Depth深度图的显著图Sd′进行融合，得到RGB‑D图的显著图S，以检测RGB‑D图的显著性。通过利用预处理得到的深度显著图代替原始粗糙的深度图作为深度特征，并与其他特征融合，来实施RGB‑D图的显著性计算，提高了RGB‑D图显著性检测的准确率。

A detection method of RGB D significant

The invention discloses a detection method of RGB D significantly, which belongs to the technical field of computer vision, including: the detection algorithm for Depth detection was significantly D depth map on RGB map, get the depth saliency map Sd; depth saliency map Sd as features to enhance the RGB RGB color map D map in the manifold ranking significantly, figure Sc RGB color graph; using the saliency map Sc guide Depth RGB depth map color map of the manifold ranking, Depth depth map saliency map Sd 'Sd' will; saliency map saliency map Sc and Depth depth map RGB color map in fusion, significantly figure RGB D map S, with significant detection of RGB D diagram. Get through the use of preprocessing depth saliency map instead of the original coarse depth map as the depth of features, and integration with other characteristics, to implement the calculation of significant RGB D diagram, improve the accuracy of RGB D saliency detection.

【技术实现步骤摘要】
一种RGB-D图显著性的检测方法
本专利技术涉及计算机视觉
，特别涉及一种RGB-D图显著性的计算方法。
技术介绍
目前，计算机视觉中的显著性检测越来越受到人们的关注，显著性检测可以应用在很多视觉任务中，如图像分类、目标识别、图像分割以及目标重定位等。而从二维的RGB彩色图像到三维的RGB-D图的过程中，增加了深度信息，因此深度信息在图像的显著性计算过程中具有重要的作用。2014年，Cheng等人在论文《Depthenhancedsaliencydetectionmethod》中分别利用颜色空间和深度空间的视觉线索进行对比，并将二维的中心偏移扩展到三维空间，将三种特征进行融合得到最终显著值。近年来，以深度对比为基础，融合先验知识和优化的显著检测方法取得了卓越的效果。2015年Ren等人在论文《ExploitingglobalpriorsforRGB-Dsaliencydetection》中利用曲面方向先验和背景先验检测显著目标，并以PageRank算法和MRF算法优化显著图。2015年Xue等人在《RGB-Dsaliencydetectionviamutualguidedmanifoldranking》中假设RGB彩色图像的四个角为背景，以颜色和深度的共同特征实施RGB彩色图像的显著性检测，再以其结果作为前景种子节点对Depth深度图实施流形排序，最后融合二者完成RGB-D图显著性检测。2016年Guo等人在论文《SalientobjectdetectionforRGB-Dimageviasaliencyevolution》中融合颜色对比和深度对比的基础上，利用迭代传播的方法得到最终的显著图。但是，上述现有方法是直接将原始深度图作为特征应用到RGB-D图的显著性检测中，鉴于原始深度图的粗糙性，难以准确表达超像素之间的深度差异程度，导致最终RGB-D图显著性计算结果的准确率收到影响。
技术实现思路
本专利技术的目的在于提供一种RGB-D图显著性的检测方法，以提高RGB-D图显著性计算结果的准确率。为实现以上目的，本专利技术采用的技术方案为：提供一种RGB-D图显著性的检测方法，包括：采用显著检测算法对RGB-D图中的Depth深度图进行显著检测，得到深度显著图Sd；将深度显著图Sd作为特征来加强RGB-D图中的RGB彩色图的流形排序，得到RGB彩色图的显著图Sc；利用RGB彩色图的显著图Sc指导Depth深度图的流形排序，得到Depth深度图的显著图Sd′；将RGB彩色图的显著图Sc和Depth深度图的显著图Sd′进行融合，得到RGB-D图的显著图S，以检测RGB-D图的显著性。进一步地，将深度显著图Sd作为特征来加强RGB-D图中的RGB彩色图的流形排序，得到RGB彩色图的显著图Sc，具体包括：构造RGB彩色图的无向图Gc＝(Vc,Ec)，其中Vc是顶点集，包含RGB彩色图经过分割算法分割后获得的超像素的集合，Ec为关联矩阵加权的边集，表示两顶点i、j之间的边的连接权重；定义特征向量fc＝[c,D,n]T，其中c表示RGB彩色图经过分割后获得的超像素在CIELAB颜色空间内的均值，D表示RGB彩色图分割后获得超像素直接映射到RGB-D图像中的Depth深度图所形成的超像素在深度显著图Sd中的均值，n表示RGB彩色图经过分割后获得的超像素法线均值，其中，的定义为：scc，scD和scn分别是控制权重的参数常量；利用RGB彩色图的四个拐角区域作为背景种子，对所述RGB彩色图经过分割后获得的超像素节点之间的相关性实施流形排序算法，得到RGB彩色图的显著图Sc。进一步地，利用RGB彩色图的显著图Sc指导Depth深度图的流形排序，得到Depth深度图的显著图Sd′，具体包括：构造Depth深度图的无向图Gd＝(Vd,Ed)，其中Vd为RGB彩色图经分割算法分割后获得超像素直接映射到RGB-D图像中的Depth深度图所形成对应的超像素顶点集合，Ed为关联矩阵加权的边集，表示两顶点i、j之间的边的连接权重；定义特征向量fd＝[D,n]T，其中D表示RGB彩色图分割后获得超像素直接映射到RGB-D图像中的Depth深度图所形成的超像素在深度显著图Sd中的均值，n表示RGB彩色图分割后获得的超像素法线均值，其中，的定义为：sdD和sdn分别是控制权重的参数常量；采用自适应阈值分割算法，对所述RGB彩色图的显著图Sc进行二值化处理，得到RGB彩色图的显著区域；将RGB彩色图的显著区域任意分成t等份，分别采用流形排序算法计算所述RGB彩色图分割后获得超像素映射到Depth深度图中的超像素节点之间的相关性，得到Depth深度图的显著图Sd′，其中t为常数。进一步地，将RGB彩色图的显著图Sc和Depth深度图的显著图Sd′进行融合，得到RGB-D图的显著图S，具体包括：对显著图Sc和显著图Sd′进行融合，融合公式具体为：S＝αSc+Sd′，其中，α为控制参数常量。进一步地，RGB彩色图的显著图Sc的计算公式，具体为：其中，为RGB彩色图的每一拐角区域超像素作为背景种子所产生的显著图，jc为归一化参数，表示相乘融合。进一步地，Depth深度图的显著图Sd′的计算公式，具体为：其中，为每一等份RGB彩色图的显著区域的超像素作为前景种子所产生的显著图，jd为归一化参数，表示相加融合。与现有技术相比，本专利技术存在以下技术效果：需要说明的是，RGB-D图包括了RGB彩色图和Depth深度图，本实施例通过对RGB-D图中的Depth深度图进行显著性检测，得到Depth深度图的深度显著图Sd，利用Depth深度图的深度显著图Sd指导RGB彩色图的流形排序，得到RGB彩色图的显著图Sc。反过来，再用RGB彩色图的显著图Sc指导Depth深度图的流形排序，得到Depth深度图的显著图Sd′。利用Depth深度图的深度显著图Sd′和RGB彩色图的显著图Sc进行融合，通过将Depth深度图的深度显著图Sd代替原始Depth深度图作为深度特征来度量深度差异，更加精确的利用了深度信息，提高了RGB-D图显著性检测的准确率。附图说明下面结合附图，对本专利技术的具体实施方式进行详细描述：图1是本专利技术一种RGB-D图显著性的检测方法的流程示意图；图2是本专利技术提供的RGB-D图显著性的检测方法与使用原始Depth深度图的MGMR方法在数据集RGBD1000上的显著性检测结果PR曲线比对图；图3是本专利技术提供的RGB-D图显著性的检测方法与使用原始Depth深度图的MGMR方法在数据集RGBD1000上的显著性检测结果准确率-召回率-F值柱状比对图；图4是本专利技术提供的RGB-D图显著性的检测方法与使用原始Depth深度图的MGMR方法在数据集NJU2000DS上的显著性检测结果PR曲线比对图；图5是本专利技术提供的RGB-D图显著性的检测方法与使用原始Depth深度图的MGMR方法在数据集NJU2000DS上的显著性检测结果准确率-召回率-F值柱状比对图。具体实施方式为了更进一步说明本专利技术的特征，请参阅以下有关本专利技术的详细说明与附图。所附图仅供参考与说明之用，并非用来对本专利技术的保护范围加以限制。如图1所示，本实施例公开了一种RGB-D图显著性的检测方法，该方法包括如本文档来自技高网...

【技术保护点】
一种RGB‑D图显著性的检测方法，其特征在于，包括：采用显著检测算法对RGB‑D图中的Depth深度图进行显著检测，得到深度显著图Sd；将深度显著图Sd作为特征来加强RGB‑D图中的RGB彩色图的流形排序，得到RGB彩色图的显著图Sc；利用RGB彩色图的显著图Sc指导Depth深度图的流形排序，得到Depth深度图的显著图Sd′；将RGB彩色图的显著图Sc和Depth深度图的显著图Sd′进行融合，得到RGB‑D图的显著图S，以检测RGB‑D图的显著性。

【技术特征摘要】
1.一种RGB-D图显著性的检测方法，其特征在于，包括：采用显著检测算法对RGB-D图中的Depth深度图进行显著检测，得到深度显著图Sd；将深度显著图Sd作为特征来加强RGB-D图中的RGB彩色图的流形排序，得到RGB彩色图的显著图Sc；利用RGB彩色图的显著图Sc指导Depth深度图的流形排序，得到Depth深度图的显著图Sd′；将RGB彩色图的显著图Sc和Depth深度图的显著图Sd′进行融合，得到RGB-D图的显著图S，以检测RGB-D图的显著性。2.如权利要求1所述的方法，其特征在于，所述的将深度显著图Sd作为特征来加强RGB-D图中的RGB彩色图的流形排序，得到RGB彩色图的显著图Sc，具体包括：构造RGB彩色图的无向图Gc＝(Vc,Ec)，其中Vc是顶点集，包含RGB彩色图经过分割算法分割后获得的超像素的集合，Ec为关联矩阵加权的边集，表示两顶点i、j之间的边的连接权重；定义特征向量fc＝[c,D,n]T，其中c表示RGB彩色图经过分割后获得的超像素在CIELAB颜色空间内的均值，D表示RGB彩色图分割后获得超像素直接映射到RGB-D图像中的Depth深度图所形成的超像素在深度显著图Sd中的均值，n表示RGB彩色图经过分割后获得的超像素法线均值，其中，的定义为：scc，scD和scn分别是控制权重的参数常量；利用RGB彩色图的四个拐角区域作为背景种子，对所述RGB彩色图经过分割后获得的超像素节点之间的相关性实施流形排序算法，得到RGB彩色图的显著图Sc。3.如权利要求1所述的方法，其特征在于，所述的利用RGB彩色图的显著图Sc指导Depth深度图的流形排序，得到Depth深度图的显著图Sd′，...

【专利技术属性】
技术研发人员：邵婷，刘政怡，郭星，李炜，吴建国，
申请(专利权)人：安徽大学，
类型：发明
国别省市：安徽,34