一种基于相对高度深度线索的深度估计方法技术

本发明专利技术公开了一种基于相对高度深度线索的深度估计方法，首先通过边缘检测获得边缘图，然后通过霍夫变换判断出图像场景，根据图像场景选择相应的模板进行深度估计，获得初始深度图，从而实现多种图像场景的深度估计。此外，通过获取图像的显著图，使图像中同一深度的目标得到的深度值会不一致的情况得以改善，提高深度图准确度。同时采用联合双边滤波对初始深度图以及显著图进行滤波，使其平滑强度更好，进一步改善深度图的质量。

【技术实现步骤摘要】
一种基于相对高度深度线索的深度估计方法
本专利技术属于视频图像处理
，更为具体地讲，涉及一种基于相对高度深度线索的深度估计方法。
技术介绍
深度估计是2D转3D中的关键技术，而2D转3D技术从二十世纪九十年代开始起步，到现在经过约二十年的发展，已取得了丰硕的成果。根据2D转3D是否实时转换，所采用的方法也不近相同。现阶段，非实时转换可以应用于数字电视及电影的后期制作，其典型的技术提供商包括In-Three、PassmoreLab、DDD、CRC和LeonisCinema等。实时转换适用于电视以及其他移动手持设备，作为真实3D内容的一个有益补充。其典型的技术提供商包括JVC、DDD、HDlogix和CRC等。由于实时处理对于速度要求很高，所以它的深度估计模块一般不采用复杂的图像分割技术。而根据2D转3D的自动化程度，它可分为四种：全手工、半自动、自动非实时和自动实时转换。它们分为适用于不同场合或者不同的转换阶段。例如终端放映阶段转换的唯一方式为自动实时转换。其中全手工的转换方式能提供最佳的深度品质，但也是四种转换方式中最耗成本的方式，因为影响转换方式的关键因素为深度估计模块，因此许多学者开始探讨全自动深度估计算法。Hoiem在假设图像场景内的所有景物对象都是垂直直立于地面的前提下，提出了一套完整的基于相对高度深度线索的深度估计方法。该方法以像素块为单位提取颜色、纹理等特征，然后使用adboost分类方法将整个图像分解为地面、天空、直立景物等，最后对图像中的地面区域建立3维模型，并依据图像中景物对象和地面的相交位置重构出整个三维场景。李乐等人通过分析理解街景图像内景物之间的构图关系，依据其中蕴含的深度认知线索估计街景图像的深度信息，对Hoiem的上述方法进行了改进。当现有的基于相对高度深度线索的深度估计方法都是假设图像场景内的所有景物对象都是垂直直立于地面即图像都为下近上远，但实际的图像场景还有可能是左近右远或右近左远。另外，对图像中同一深度的目标得到的深度值会出现不一致的情况，估计得到的深度图准确度有待提高。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于相对高度深度线索的深度估计方法，以实现对多种图像场景的深度估计，同时提高深度图准确度。为实现上述目的，本专利技术基于相对高度深度线索的深度估计方法，其特征在于，包括以下步骤：(1)、获取初始深度图对输入的彩色图像，首先将彩色图像转换为灰度图像，然后通过边缘检测得到边缘图；对边缘图进行霍夫变换，检测直线的交叉点位置，判断出图像场景：左近右远，右近左远或下近上远；对于霍夫变换未判断出的场景，认为为下近上远场景；然后根据判断出的图像场景，选择相应的模块进行深度估计：若是下近上远模板，线轨迹追踪是在给定约束的条件下得到水平的不交叉的线轨迹图，深度赋值子模块根据线轨迹图及下近上远的顺序进行赋值；若是左近右远模板，线轨迹追踪是在给定约束的条件下得到垂直的不交叉的线轨迹图，深度赋值子模块根据线轨迹图及左近右远的顺序进行赋值；同理，若是右近左远模板，线轨迹追踪是在给定约束的条件下得到垂直的不交叉的线轨迹图，深度赋值子模块根据线轨迹图及右近左远的顺序进行赋值；赋值后获得初始深度图；对初始深度图进行联合双边滤波得到改善的初始深度图；(2)、获取显著图对输入的彩色图像通过视觉注意计算获得显著图，然后采用联合双边滤波对其进行滤波；(3)、将视觉注意计算并滤波获得的显著图叠加到改善的初始深度图上，获得最终的深度图。本专利技术的专利技术目的是这样实现的：本专利技术基于相对高度深度线索的深度估计方法，首先通过边缘检测获得边缘图，然后通过霍夫变换判断出图像场景，根据图像场景选择相应的模板进行深度估计，获得初始深度图，从而实现多种图像场景的深度估计。此外，通过获取图像的显著图，使图像中同一深度的目标得到的深度值会不一致的情况得以改善，提高深度图准确度。同时采用联合双边滤波对初始深度图以及显著图进行滤波，使其平滑强度更好，进一步改善深度图的质量。附图说明图1是本专利技术基于相对高度深度线索的深度估计方法一种具体实施方式流程图；图2是基于线轨迹追踪的深度估计的流程图；图3是像素点(i,j)周围的灰度值；图4是Sobel算子的水平模板及垂直模板；图5是下近上远模板时的初始线轨迹图的参数图；图6是n＝52时初始的线轨迹图及初始的深度图；图7是边缘图中线轨迹追踪器从左到右追踪的状态示意图；图8是从左到右追踪及从右到左追踪得到的深度图；图9是左近右远模板时的初始线轨迹图的参数图；图10是边缘图中线轨迹追踪器从下到上追踪的状态示意图；图11是深度图联合双边滤波的实例；图12是联合双边滤波后的改善深度图；图13是视觉注意计算模型的原理流程图；图14是用于计算当前块对比度的4相邻块的示意图；图15是显著图联合双边滤波实例图；图16是叠加显著图后的深度图；图17是深度估计实例图；图18是联合双边滤波效果图；图19是综合从左到右追踪及从右到左追踪的实验结果；图20是三个不用图像场景的线轨迹追踪实验结果；图21是四帧彩色图像改进前及改进后的深度图和用其生成的合成视图比较实例。具体实施方式下面结合附图对本专利技术的具体实施方式进行描述，以便本领域的技术人员更好地理解本专利技术。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本专利技术的主要内容时，这些描述在这里将被忽略。图1是本专利技术基于相对高度深度线索的深度估计方法一种具体实施方式流程图。在本实施例中，如图1所示，本专利技术基于相对高度深度线索的深度估计方法包括：基于线轨迹追踪的深度估计1、视觉注意计算2、联合双边滤波3、深度图的叠加4。整个方法是输入为视频序列的彩色图像，输出为最终的深度图。在基于线轨迹追踪的深度估计1中，对输入的视频序列的彩色图像首先进行彩色图像转灰度图像的变换，然后，通过sobel边缘检测得到边缘图；对边缘图进行霍夫变换，检测直线的交叉点位置，判断出图像场景，再根据判断出的图像场景，选用选择相应的模板即3个模板：左近右远，右近左远和下近上远模板选择一个。对于霍夫变换未判断出的场景，使用下近上远模块进行深度估计，然后，进行基于线轨迹追踪的深度估计，获得初始深度图。对初始的深度图进行联合双边滤波3得到改善的深度图。另一方面，对输入的视频序列的彩色图像，首先进行颜色空间转换，将其他颜色空间的图片如RGB转换为YCbCr颜色空间图片，然后通过视觉注意计算2获得显著图。为改善显著图的质量，采用联合双边滤波3对其进行滤波。最后，通过深度图叠加4，将视觉注意计算并滤波获得的显著图叠加到改善的初始深度图上，获得最终的深度图。由于通过相对高度深度线索得到的深度图的物体内部深度值不连续，并存在一些比较尖锐的毛刺，本专利技术中，使用联合双边滤波(jointbilateralfilter)对深度图进行改善；同时将视觉注意机制的显著图(salientmap)叠加到滤波后的深度图上，使物体的内部深度值基本一致。下面对各个步骤进行详细的描述1、基于线轨迹追踪的深度估计在本实施例中，基于相对高度深度线索的深度估计采用基于线轨迹追踪的方式进行，包括5个步骤，如图2所示。视频序列的彩色图像转灰度图像101完成将RGB的彩色图像转换为8-bit的灰度图像；边缘检本文档来自技高网...

【技术保护点】
一种基于相对高度深度线索的深度估计方法，其特征在于，包括以下步骤：（1）、获取初始深度图对输入的彩色图像，首先将彩色图像转换为灰度图像，然后通过边缘检测得到边缘图；对边缘图进行霍夫变换，检测直线的交叉点位置，判断出图像场景：左近右远，右近左远和下近上远；对于霍夫变换未判断出的场景，认为为下近上远场景；然后根据判断出的图像场景，选择相应的模块进行深度估计：若是下近上远模板，线轨迹追踪是在给定约束的条件下得到水平的不交叉的线轨迹图，深度赋值子模块根据线轨迹图及下近上远的顺序进行赋值；若是左近右远模板，线轨迹追踪是在给定约束的条件下得到垂直的不交叉的线轨迹图，深度赋值子模块根据线轨迹图及左近右远的顺序进行赋值；同理，若是右近左远模，线轨迹追踪是在给定约束的条件下得到垂直的不交叉的线轨迹图，深度赋值子模块根据线轨迹图及右近左远的顺序进行赋值；赋值后获得初始深度图；对初始深度图进行联合双边滤波得到改善的初始深度图；（2）、获取显著图对输入的彩色图像通过视觉注意计算获得显著图，然后采用联合双边滤波对其进行滤波；（3）、将视觉注意计算并滤波获得的显著图叠加到改善的初始深度图上，获得最终的深度图。

【技术特征摘要】
1.一种基于相对高度深度线索的深度估计方法，其特征在于，包括以下步骤：(1)、获取初始深度图对输入的彩色图像，首先将彩色图像转换为灰度图像，然后通过边缘检测得到边缘图；对边缘图进行霍夫变换，检测直线的交叉点位置，判断出图像场景：左近右远，右近左远或下近上远；对于霍夫变换未判断出的场景，认为为下近上远场景；然后根据判断出的图像场景，选择相应的模块进行深度估计：若是下近上远模板，线轨迹追踪是在给定约束的条件下得到水平的不交叉的线轨迹图，深度赋值子模块根据线轨迹图及下近上远的顺序进行赋值；若是左近右远模板，线轨迹追踪是在给定约束的条件下得到垂直的不交叉的线轨迹图，深度赋值子模块根据线轨迹图及左近右远的顺序进行赋值；同理，若是右近左远模板，线轨迹追踪是在给定约束...

【专利技术属性】
技术研发人员：刘然，谭迎春，曹东华，田逢春，黄振伟，李博乐，谭伟敏，
申请(专利权)人：四川虹微技术有限公司，重庆大学，
类型：发明
国别省市：四川;51