一种基于RGB-D传感器的深度信息优化方法技术

本发明专利技术公开了一种基于RGB‑D传感器的深度信息优化方法，所述方法包括以下四点：一是将利用RGB‑D传感器获得的RGB图和视差或深度图，分别作为引导图和目标图；二是用一定大小的滤波窗口对目标图进行像素局域方差计算并对目标图进行无效像素提取后得到置信度图；三是采用利用遮挡关系改进的基于置信度引导的双边滤波方法，设定目标函数；在置信度引导双边滤波方法的基础上，基于近景物体和远景物体相互遮挡的关系对目标函数公式引入遮挡修整项；遮挡修整项由目标图中的像素值计算得到；四是将引导图、目标图、置信度图作为输入，采用利用遮挡关系改进的基于置信度引导的双边滤波方法进行处理，输出优化后的目标图。

【技术实现步骤摘要】
一种基于RGB-D传感器的深度信息优化方法
本专利技术涉及计算机视觉
，特别涉及一种基于RGB-D传感器的深度信息优化方法。
技术介绍
目前RGB-D传感器已经有成熟的应用，从原理上可分为双目测量、结构光、TOF、激光雷达等，不同型号其成像质量和效果差异很大。因为场景中物体间的遮挡、物体表面的弱纹理、反光、透明材料等，RGB-D传感器在这些区域不能获得准确的距离信息，导致深度信息不完整或有很多错误数据，不能直接用于距离测量或表面重建。近年来兴起了用深度学习来进行深度预测或补全深度信息的方法，但是需要匹配硬件或大量的计算资源，且对不同场景的泛化能力较弱。由此，本申请提出一个简便易行的方法来补全RGB-D传感器的深度信息，对计算资源消耗较小，且无需根据场景修改算法。
技术实现思路
针对现有技术存在的不足，本专利技术的目的在于提供一种基于RGB-D传感器的深度信息优化方法。本申请采用的方法其输入包括目标图和引导图，输出为补全后的目标图。方法中以RGB-D传感器获得的视差图或深度图作为目标图，以其对应的RGB图作为引导图。置信度图是计算过程的中间产物，根据目标图中的信息来生成。在置信度图的生成中，利用了一个经验性的事实：视差或深度数据中数值准确的区域往往数值相对平滑，而数值不准确的区域往往数值剧烈变化，所以置信度图可以按照像素周围区域的平滑度来构造。针对上述想法，被申请内容对目标图计算像素局域方差，计算公式如下：Var(x)＝E[x2]-(E[x])2(1)<br>其中E为均值滤波操作。首先设定尺寸与目标图宽度成正比的滤波窗口，进行局域方差计算，然后截取局域方差较大的像素，与数值缺失的像素一起，作为置信度图中值为X的点，其余点的值设为Y。另一可选方案是，进行局域方差计算后，把归一化后的方差直接作为置信度图中的值，数值缺失的像素在置信度图中值为X，其余点的值设为Y。基于上述的像素局域方差计算，可由目标图得到置信度图。现根据引导图、目标图、置信度图，被申请内容采用利用遮挡关系改进的基于置信度引导的双边滤波方法来补全RGB-D传感器数据中深度数据缺失的部分。利用遮挡关系改进的基于置信度引导的双边滤波方法以引导图为参考来对目标图中的像素进行保边去噪。其输入包括三张图，第一张图提供像素值(目标图)，第二张图提供像素的分布(引导图)，第三张图提供像素值的保真程度(置信度图)。本申请内容涉及的利用遮挡关系改进的基于置信度引导的双边滤波方法描述具体如下。首先，引入基于置信度引导的双边滤波方法方程，如下两个表达式：基于上述(2)与(3)所示表达式，通过最小化目标函数，即可确定输出图像中每一点的像素值表达式(2)中第一项是平滑项，第二项是保真项。保真项使置信度大的点在输出图像中的值和在目标图中的值接近。设目标图中点的像素坐标为(a,b),为点的像素值，ci为置信度图中像素坐标同样为(a,b)的点的置信度值，为输出图像中像素坐标同样为(a,b)的点的像素值。数据平滑项的作用是根据引导图中某像素pi和邻域像素(欧氏距离在固定范围内的像素)之间距离、亮度和色度的接近程度，来对目标图中同样位置的像素的邻域像素进行加权平均，从而决定输出图中同样位置的像素的值在数据平滑项中，为输出图像中点的像素值，像素坐标为(a,b)，为目标图像中点的像素值，为目标图中点的邻域像素，在目标图中的像素坐标也为(a,b)。输出图中像素坐标位为(a,b)的点的像素值是由目标图中像素坐标为(a,b0的点的邻域点的值加权得到，每个邻域点的权重Wi,j是由引导图中像素坐标为(a,b)的点pi和其邻域点pj的距离、亮度、色度的接近程度来决定，由公式(3)计算。公式(3)描述根据引导图中每一像素点pi与其邻域点pj计算权重Wi,j的方式，其计算过程依次遍历引导图中每一个点，并对每一个点依次遍历它的邻域点。即如果总点数为M，邻域大小为N个点，那么计算完成的Wi,j共有M*N项。对于引导图中每一点pi，e指数中的三项分别代表点pi和邻域点pj之间的距离、亮度和色度差异。中为pi点坐标，为它的邻域点pj坐标，σxy用来控制pi与不同距离的pj对Wi,j贡献的弥散程度，σxy较小时，只有pi近距离的pj对应的Wi,j较大，随着距离的增加，pj对应的Wi,j消减迅速；σxy较大时，随着距离的增加pj对应的Wi,j消减缓慢。中为pi点的亮度，为它的邻域点pj的亮度，σi用来控制pi与不同亮度差异的pj对Wi,j的贡献，σι较小时，只有与pi亮度差异小的pj对应的Wi,j较大，随着亮度差异的增加，pj对应的Wi,j消减迅速；σι较大时，随着亮度差异的增加pj对应的Wi,j消减缓慢。中为pi点的色度，即在色度图中的色度坐标，为它的邻域点pj的色度，σuv用来控制pi与不同色度差异的pj对Wi,j的贡献，σuv较小时，只有与pi色度差异小的pj对应的Wi,j较大，随着亮度差异的增加，pj对应的Wi,j消减迅速，σuv较大时，随着色度差异的增加pj对应的Wi,j消减缓慢。考虑目标图中因为近景物体和远景物体相互遮挡而缺失的区域，其像素值往往和远景物体的像素值接近。因此，在通用的基于置信度引导的双边滤波方法基础上，本申请内容在目标函数第二个求和项中增加了遮挡修整项具体见以下公式(4)和公式(5)。其作用是增加引导图中像素坐标为(a,b)的点pi邻域内远景像素的权重，使输出图中同样像素坐标(a,b)的点的像素值与其邻域内远景部分的像素值更接近。其中q是系数，幂指数n为任意有理数，Tj为目标图中点的视差值。目标图中点的像素坐标与引导图中点pj的像素坐标相同。当目标图是视差图时，当目标图是深度图时，要把深度值转换为视差值再进行计算，例如当目标图是8位深度图时，当目标图是16位深度图时，其中为目标图中点的像素值，为的邻域点，为引导图中像素坐标为(a,b)的点。注意到Wi,j的第一项根据引导图计算，第二项根据目标图计算，而涉及到的引导图中的点pi和目标图中点的像素坐标相同，引导图中的点pj和目标图中点的像素坐标相同。最终的计算公式变为上面两个公式(4)和公式(5)。下文将此方法称为基于遮挡关系改进的置信度引导双边滤波方法。将目标图、引导图和置信度图作为输入，即可用基于遮挡关系改进的置信度引导双边滤波方法进行处理，生成优化后的目标图。本专利技术的是通过以下技术方案得以实现的：一种基于RGB-D传感器的深度信息优化方法，所述方法包括：将利用RGB-D传感器获得的RGB图和视差或深度图，分别作为引导图和目标图；基于作为目标图的视差或深度图，设定尺寸与目标图宽度成正比的滤波窗口，以滤波窗口为单位，依次对目标图中每个像素点进行局域方差计算；设定局域方差阈值，截取像素局域方差大于局域方差阈值的像素点与数值缺失的无效像素点，作为置信度图中值为X的点，置信度图中其余点的值设为Y，以获得置信度图；或者把归一化后的像素局域方差直接作为置信度图中每点的值，数值缺失本文档来自技高网...

【技术保护点】
1.一种基于RGB-D传感器的深度信息优化方法，其特征在于，所述方法包括：/n将利用RGB-D传感器获得的RGB图和视差或深度图，分别作为引导图和目标图；/n基于作为目标图的视差或深度图，设定与目标图宽度成正比的滤波窗口，以滤波窗口为单位，对目标图中所有像素点进行局域方差计算；/n设定局域方差阈值，截取像素局域方差大于局域方差阈值的像素点与数值缺失的无效像素点，作为置信度图中值为X的点，置信度图中其余点的值设为Y，以获得置信度图；或者把归一化后的像素局域方差直接作为置信度图中每点的值，数值缺失的无效像素点在置信度图中的值设为X，其余点设为Y，以获得置信度图；/n采用利用遮挡关系改进的基于置信度引导的双边滤波方法，设定目标函数，所述目标函数的计算公式在基于置信度引导的双边滤波方法基础上，利用近景物体和远景物体相互遮挡的关系引入遮挡修整项，所基于目标图为视差或深度图，遮挡修整项由目标图中的像素值计算而得，并赋予权重；/n将引导图、目标图、置信度图作为输入，采用利用遮挡关系改进的基于置信度引导的双边滤波方法进行处理，生成优化后的目标图。/n

【技术特征摘要】
1.一种基于RGB-D传感器的深度信息优化方法，其特征在于，所述方法包括：
将利用RGB-D传感器获得的RGB图和视差或深度图，分别作为引导图和目标图；
基于作为目标图的视差或深度图，设定与目标图宽度成正比的滤波窗口，以滤波窗口为单位，对目标图中所有像素点进行局域方差计算；
设定局域方差阈值，截取像素局域方差大于局域方差阈值的像素点与数值缺失的无效像素点，作为置信度图中值为X的点，置信度图中其余点的值设为Y，以获得置信度图；或者把归一化后的像素局域方差直接作为置信度图中每点的值，数值缺失的无效像素点在置信度图中的值设为X，其余点设为Y，以获得置信度图；
采用利用遮挡关系改进的基于置信度引导的双边滤波方法，设定目标函数，所述目标函数的计算公式在基于置信度引导的双边滤波方法基础上，利用近景物体和远景物体相互遮挡的关系引入遮挡修整项，所基于目标图为视差或深度图，遮挡修整项由目标图中的像素值计算而得，...

【专利技术属性】
技术研发人员：李稚雪，程丹丹，邹泽晖，郑钦洪，
申请(专利权)人：杭州先奥科技有限公司，
类型：发明
国别省市：浙江;33