一种基于虚拟视点绘制质量的深度图上采样方法技术

本发明专利技术涉及一种基于虚拟视点绘制质量的深度图上采样方法，包括：对当前视点i低分辨率深度图采用双线性插值算法，得到其对应的初始高分辨率深度图；获取初始深度图的位置坐标信息和对应的颜色信息，再用相应的彩色值对虚拟视图中匹配像素点进行填充；检测出深度图的边缘区域；对深度边缘图和彩色边缘图进行分割，获得当前像素窗口的深度边缘分割图和彩色边缘分割图；根据上述计算的深度边缘分割图和彩色边缘分割图，计算匹配比率；根据匹配比率和深度值的控制参数计算平滑因子，计算初始高分辨率深度图中每个像素点的权重；计算当前视点最终的深度值。本发明专利技术可以提高深度图超分辨率重建及绘制虚拟视图的质量。

【技术实现步骤摘要】

本专利技术属于图像处理和计算机视觉领域，涉及一种基于虚拟视点绘制质量的深度图上采样方法。
技术介绍
近年来，深度信息已经广泛地应用于3DTV、3D重建和姿态识别等多个领域。目前主流的深度获取方式可以分成以下三类：立体匹配法、激光扫描法和距离感知法。立体匹配法是一种被动获取深度信息的方式，该方法通过对应点匹配和三角网格变换计算两个或多个视点间的深度信息。激光扫描法通过对目标场景的片扫面方式来获取精确的深度线索。相比与上述两种方式，主动深度获取方式获得了研究人员更多的关注，已经成为主流的深度获取方法。但是该方法的缺点是获取深度图分辨率低。在基于深度图像的虚拟视点绘制技术(DIBR)中，要求深度图的分辨率与彩色纹理图像的分辨率匹配。因此，研究深度图超分辨率重建算法是十分必要的。虚拟视点绘制技术是自由立体显示技术中的关键技术之一，在给定稀疏视点图像的基础上，可以生成多个虚拟视点的彩色图像，满足自由立体显示的需求。该技术可以分成两大类：基于模型的绘制(MBR)和基于图像的绘制(IBR)。MBR技术主要是利用计算机图形学技术，对真实的立体场景进行三维建模，再对模型进行绘制、着色和投影等处理，最终生成特定视点的图像。DIBR是IBR技术中关注度最高的方法，该方法将深度信息融入到IBR技术中，结合了图像及其对应的深度线索绘制生成其他视点的纹理图像，该方法的核心是3D图像变换思想。深度图超分辨率重建是一种恢复低分辨率深度图细节、锐化边缘和增加空间分辨率的技术。深度图的重建也是一个病态的问题，算法需通过引入正则先验项将问题转换为常态问题。“Depth-Plus-Color”的超分辨率重建算法利用彩色图像信息引导深度图实现上采样。联合双边上采样算法，权重模式滤波和边缘引导滤波算法都是利用相关的彩色信息直接进行上采样滤波。深度加彩色这类算法中最典型的是基于单个深度图的超分辨率重建算法，该算法又可以分成两类：基于优化的方法和预滤波的方法。基于优化的超分辨率重建算法通常是将深度图上采样视为一个马尔科夫随机场(MRF)或是最小二乘法的问题。Diebel等人提出采用连续的MRF将高分辨率彩色图和低分辨率深度图结合来实现超分辨率重建。MRF算法中连续项用于惩罚相邻像素之间的差异，使得具有相似纹理的像素有相似的深度值。Zhu等人通过考虑时域连续性将传统的空间MRF算法拓展到动态的MRF算法，提高了动态场景的高分辨率深度图质量。基于滤波的算法通常根据相关纹理信息设计上采样滤波器。Kopf等人提出一种同时考虑深度平滑和彩色相似性的联合双边滤波算法。为了解决深度图存在的伪影现象问题，Kim等人在JBU算法的基础上提出了自适应联合双边滤波算法。该方法将一个控制参数和平滑参数引入到上采样过程中，进一步改善了超分辨率深度图的质量。然而上述这些方法都忽略了深度图在虚拟视点绘制技术中的重要作用。目前，在深度编码领域已经引入虚拟视点绘制质量作为编码深度图质量的评价指标。因此，在深度图超分辨率技术中考虑虚拟视点绘制质量是十分必要且有应用价值的。
技术实现思路
本专利技术的目的是提供一种提高深度图超分辨率重建的质量的基于虚拟视点绘制质量的深度图上采样方法。本专利技术的技术方案如下：一种基于虚拟视点绘制质量的深度图上采样方法,步骤如下：1)对当前视点i低分辨率深度图采用双线性插值算法，得到其对应的初始高分辨率深度图2)确定当前视点的初始深度图中各个像素点在虚拟视图中的对应匹配位置坐标信息，并获取初始深度图的位置坐标信息(xi，yi)和对应的颜色信息Ii(xi，yi)，再用相应的彩色值对虚拟视图中匹配像素点(xk，yk)进行填充,所采取的插值公式为：Vik(xk，yk)＝Vik(xi-dik，yi)＝Ii(xi，yi)其中，Vik(xk，yk)表示以当前视点i为基准向虚拟视点视图中坐标为(xk，yk)的对应像素点填充的彩色值，dik是当前视点深度图的深度值；3)计算惩罚因子λc，其公式如下：λc=Vik(q)-Vik′(q)σλ]]>其中，Vik(q)表示由当前视点i的中心像素点对应于虚拟视点中的匹配邻域像素点q的像素值，Vik′(q)表示由邻域像素点q引起的空洞的填补值，σλ表示惩罚因子控制参数；4)对初始高分辨率深度图用sobel算子进行梯度计算，检测出深度图的边缘区域；根据检测的边缘图像，对深度边缘图和彩色边缘图进行分割，获得当前像素窗口的深度边缘分割图和彩色边缘分割图，根据下面的公式将深度图和彩色纹理图分成两个区域：Sc=1ifIq≥μc,p0otherwise]]>Sd=1ifIq≥μd,p0otherwise]]>其中，Sc和Sd分别表示彩色和深度边缘分割图，μc，p和μd，p分别表示深度边缘图和彩色边缘图的当前像素窗口内均值，Iq表示当前像素点的邻域像素集合；5)根据上述计算的深度边缘分割图和彩色边缘分割图，计算匹配比率，其公式如下：Γp=SAD(Sc,Sd)N2]]>SAD(Sc,Sd)＝|Sc-Sd|其中，SAD表示Sc和Sd之间的绝对平均值，N表示窗口区域像素的个数；6)根据匹配比率和深度值的控制参数计算平滑因子，其公式如下：δc,p2=0.6·(1+Γp)·δD2]]>7)计算初始高分辨率深度图中每个像素点的权重Wp，q，其公式如下所示：Wp,q=exp(-||D^iH0(p)-D^iH0(q)||2σD2)*exp(-||Ii(p)-Ii(q)-sp||2σc,p2)*exp(-||Vik(p)-Vik(q)-λc||2σs2)]]>其中，p表示当前像素点，q表示p的Ω邻域像素点集合，表示初始高分辨率深度图在像素点p深度值，表示初始高分辨率深度图中像素点p的邻域像素q的深度值，σD表示深度相似性因子，σs是彩色相似性参数，Ii(p)表示当前视点i在像素点p的彩色像素值，Ii(q)表示当前视点i在像素点q的彩色像素值，Vik(p)表示当前视点i的像素点p匹配到虚拟视图中匹配像素点的彩色值，Vik(q)表示当前视i的像素点q匹配到虚拟视图中匹配像素点的彩色值；8)根据上述权重计算出当前视点最终的深度值，其公式如下所示：D^iH(p)=1ksΣq∈ΩWp,qD^iH0(q)]]>其中，表示由基于多视点深度图融合的超分辨率重建方法得到的高分辨率深度图在像素点p的深度值，ks是归一化参数。本专利技术考虑了虚拟视点绘制质量对于深度图上采样的影响，将虚拟视点绘制质量作为滤波权重的重要核，对初始高分辨率图像的深度值进行改善，同时针对虚拟视图中由前后景交替引起的空洞现象，在虚拟视点绘制质量核中引入惩罚因子，以降低此情况下邻域像素点对当前像素点的深度值的影响。本专利技术提高了深度图超分辨率重建及绘制虚拟视图的质量，对于降低深度图伪影有良好的效果。附图说明图1为用于测试的低分辨率深度图和对应的彩色纹理图。图2为技术方案的流程图。图3为本专利技术上采样得到的高分辨率深度图。图4为本专利技术本文档来自技高网...

【技术保护点】
一种基于虚拟视点绘制质量的深度图上采样方法,步骤如下：1)对当前视点i低分辨率深度图采用双线性插值算法，得到其对应的初始高分辨率深度图2)确定当前视点的初始深度图中各个像素点在虚拟视图中的对应匹配位置坐标信息，并获取初始深度图的位置坐标信息(xi，yi)和对应的颜色信息Ii(xi，yi)，再用相应的彩色值对虚拟视图中匹配像素点(xk，yk)进行填充,所采取的插值公式为： Vik(xk，yk)＝Vik(xi‑dik，yi)＝Ii(xi，yi)其中，Vik(xk，yk)表示以当前视点i为基准向虚拟视点视图中坐标为(xk，yk)的对应像素点填充的彩色值，dik是当前视点深度图的深度值；3)计算惩罚因子λc，其公式如下：λc=Vik(q)-Vik′(q)σλ]]>其中，Vik(q)表示由当前视点i的中心像素点对应于虚拟视点中的匹配邻域像素点q的像素值，Vik′(q)表示由邻域像素点q引起的空洞的填补值，σλ表示惩罚因子控制参数；4)对初始高分辨率深度图用sobel算子进行梯度计算，检测出深度图的边缘区域；根据检测的边缘图像，对深度边缘图和彩色边缘图进行分割，获得当前像素窗口的深度边缘分割图和彩色边缘分割图，根据下面的公式将深度图和彩色纹理图分成两个区域：Sc=1if Iq≥μc,p0otherwise]]>Sd=1if Iq≥μd,p0otherwise]]>其中，Sc和Sd分别表示彩色和深度边缘分割图，μc，p和μd，p分别表示深度边缘图和彩色边缘图的当前像素窗口内均值，Iq表示当前像素点的邻域像素集合；5)根据上述计算的深度边缘分割图和彩色边缘分割图，计算匹配比率，其公式如下：Γp=SAD(Sc,Sd)N2]]> SAD(Sc，Sd)＝|Sc‑Sd|其中，SAD表示Sc和Sd之间的绝对平均值，N表示窗口区域像素的个数；6)根据匹配比率和深度值的控制参数计算平滑因子，其公式如下：δc,p2=0.6·(1+Γp)·δD2]]>7)计算初始高分辨率深度图中每个像素点的权重Wp，q，其公式如下所示：Wp,q=exp(-||D^iH0(p)-D^iH0(q)||2σD2)*exp(-||Ii(p)-Ii(q)-ϵp||2σc,p2)*exp(-||Vik(p)-Vik(q)-λc||2σs2)]]>其中，p表示当前像素点，q表示p的Ω邻域像素点集合，表示初始高分辨率深度图在像素点p深度值，表示初始高分辨率深度图中像素点p的邻域像素q的深度值，σD表示深度相似性因子，σs是彩色相似性参数，Ii(p)表示当前视点i在像素点p的彩色像素值，Ii(q)表示当前视点i在像素点q的彩色像素值，Vik(p)表示当前视点i的像素点p匹配到虚拟视图中匹配像素点的彩色值，Vik(q)表示当前视i的像素点q匹配到虚拟视图中匹配像素点的彩色值；8)根据上述权重计算出当前视点最终的深度值，其公式如下所示：D^iH(p)=1ksΣq∈ΩWp,qD^iH0(q)]]>其中，表示由基于多视点深度图融合的超分辨率重建方法得到的高分辨率深度图在像素点p的深度值，ks是归一化参数。...

【技术特征摘要】
1.一种基于虚拟视点绘制质量的深度图上采样方法,步骤如下：1)对当前视点i低分辨率深度图采用双线性插值算法，得到其对应的初始高分辨率深度图2)确定当前视点的初始深度图中各个像素点在虚拟视图中的对应匹配位置坐标信息，并获取初始深度图的位置坐标信息(xi，yi)和对应的颜色信息Ii(xi，yi)，再用相应的彩色值对虚拟视图中匹配像素点(xk，yk)进行填充,所采取的插值公式为：Vik(xk，yk)＝Vik(xi-dik，yi)＝Ii(xi，yi)其中，Vik(xk，yk)表示以当前视点i为基准向虚拟视点视图中坐标为(xk，yk)的对应像素点填充的彩色值，dik是当前视点深度图的深度值；3)计算惩罚因子λc，其公式如下：λc=Vik(q)-Vik′(q)σλ]]>其中，Vik(q)表示由当前视点i的中心像素点对应于虚拟视点中的匹配邻域像素点q的像素值，Vik′(q)表示由邻域像素点q引起的空洞的填补值，σλ表示惩罚因子控制参数；4)对初始高分辨率深度图用sobel算子进行梯度计算，检测出深度图的边缘区域；根据检测的边缘图像，对深度边缘图和彩色边缘图进行分割，获得当前像素窗口的深度边缘分割图和彩色边缘分割图，根据下面的公式将深度图和彩色纹理图分成两个区域：Sc=1ifIq≥μc,p0otherwise]]>Sd=1ifIq≥μd,p0otherwise]]>其中，Sc和Sd分别表示彩色和深度边缘分割图，μc，p和μd，p分别表示深度边缘图和彩色边缘图的当前像素窗口内均值，Iq表示当前像素点的邻域像素集合；5)...

【专利技术属性】
技术研发人员：雷建军，李乐乐，侯春萍，丛润民，张凝，吴敏，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12