一种基于光场的深度估计方法技术

本发明专利技术公开了一种基于光场的深度估计方法，其能够解决初始深度可靠性问题、能量优化过平滑问题。包括步骤：(1)初始深度估计；(2)检测可计算像素；(3)基于水平和垂直方向光场的深度计算；(4)深度信息融合；(5)深度信息传播；(6)重复步骤(3)-(5)，直到当前分辨率的EPI上所有Me值为1的置信像素都得到计算或在传播中得到深度值；(7)将低分辨率下计算得到的深度值逐层复制到高分辨率图像，直到最高分辨率图像中所有像素都有深度值。

【技术实现步骤摘要】
一种基于光场的深度估计方法
本专利技术属于多媒体技术与计算机图形学的
，具体地涉及一种基于光场的深度估计方法。
技术介绍
光场的概念最早出现在计算机图形学中，Gershun在其经典文章“三维空间光的无线电特性”里正式使用“光场”这个术语，用以描述光在三维空间中的辐射传输特性。光场描述空间中任意点在给定方向上的辐射度，是一个五维函数I(x,y,z,θ,φ)，其中(x,y,z)描述点的位置，(θ,φ)描述当前光辐射度值对应的光线方向。光场的优势在于其绘制时间独立于场景复杂度，可以表现任意光照效果，并且可以针对场景独立获取。如果只考虑光线在空间中的自由传输，它的颜色(波长)一般不会发生改变，所以在某一时刻的自由空间光线可由五维函数I(x,y,z,θ,φ)来描述。Levoy和Hanraham忽略光线在传输过程中的衰减将五维的全光函数(光场)降至四维，提出了四维光场的概念。四维光场利用两个相互平行的平面进行参数化表示，即穿过像面(u,v,)和视点面(s,t)的一条直线描述三维场景中某个物理点发出的光线的方向，相应地光辐射度是这条直线的函数。普通相机所拍摄的二维图像可以认为是光场的一个二维切片，它包含了投影到当前像素位置的物理点发射光线的强度及方向信息，因此物理点的位置信息可以基于光场估计得到。已有的基于光场估计深度信息的方法主要基于能量优化函数估计，通常将深度分为多个等级，将对应最小能量值的深度等级作为估计深度值，这种基于深度等级估计深度值的方法往往会造成深度过平滑问题。
技术实现思路
本专利技术的技术解决问题是：克服现有技术的不足，提供一种基于光场的深度估计方法，其能够解决初始深度可靠性问题、能量优化过平滑问题。本专利技术的技术解决方案是：这种基于光场的深度估计方法，包括以下步骤：(1)初始深度估计：通过公式(3)、(4)计算得到视差的初值d0：d0＝Jxx-Jyy(3)其中Gσ是尺度为σ的高斯平滑算子，Sx、Sy为是尺度为ρ的梯度算子；(2)检测可计算像素：边缘置信系数Ce通过公式(5)获得：其中N(x,s)是像素(x,s)的一维邻域像素集合，E(u,s)表示像素(x,s)的光线辐射值，所有系数Ce大构成一个二值模板Me，Ce于阈值大于0.02则模板对应位置取值1，否则取值0，其中值为1表示对应像素进行深度估计运算；(3)基于水平和垂直方向光场的深度计算：通过公式(11)获得EPI面上像素和(y,t*)其中(x′,y′)为视点下像素7*7邻域窗口上的像素，D(x′,y′)为其对应的深度值，E(x′,y′)是它的光线辐射值，Me(x′,y′)是其对应二值模版值；(4)深度信息融合：通过公式(14)获得最终深度值其中是水平3D光场下深度dt对应的可信评分系数，是垂直3D光场下深度ds对应的可信评分系数；(5)深度信息传播：将最终深度值d(x,y)保存在线段元组其中m＝1/d,表示公式(9)所求的(x,y)辐射均值，对经过像素点(x,y)且斜率为m的线段上的点(x′,s′)，判断是否成立，ε为指定的相似程度，对使得上式成立的像素(x′,s′)赋以深度值d其中R(x″,d)如公式(6)所示为像素(x″,s)的光线颜色值集合，通过改进的mean-shift算法求得作为像素(x″,s)的光线辐射值；(6)重复步骤(3)-(5)，直到当前分辨率的EPI上所有Me值为1的置信像素都得到计算或在传播中得到深度值；(7)将低分辨率下计算得到的深度值逐层复制到高分辨率图像，直到最高分辨率图像中所有像素都有深度值。本专利技术通过初始深度估计、检测可计算像素、计算水平和垂直方向光场的深度、深度信息融合、深度信息传播、深度信息逐层复制，最终得到深度信息，从而能够解决初始深度可靠性问题、能量优化过平滑问题。附图说明图1是4D光场的示意图。图2a示出了光场图像集；图2b示出了水平3D光场；图2c示出了水平EPI。图3是根据本专利技术的基于光场的深度估计方法的流程图。具体实施方式如图3所示，这种基于光场的深度估计方法，包括以下步骤：(1)初始深度估计：通过公式(3)、(4)计算得到视差的初值d0：d0＝Jxx-Jyy(3)其中Gσ是尺度为σ的高斯平滑算子，Sx、Sy为是尺度为ρ的梯度算子；(2)检测可计算像素：边缘置信系数Ce通过公式(5)获得：其中N(x,s)是像素(x,s)的一维邻域像素集合，E(u,s)表示像素(x,s)的光线辐射值，所有系数Ce大构成一个二值模板Me，Ce于阈值大于0.02则模板对应位置取值1，否则取值0，其中值为1表示对应像素进行深度估计运算；(3)基于水平和垂直方向光场的深度计算：通过公式(11)获得EPI面上像素和(y，t*)其中(x′,y′)为视点下像素7*7邻域窗口上的像素，D(x′,y′)为其对应的深度值，E(x′,y′)是它的光线辐射值，Me(x′,y′)是其对应二值模版值；(4)深度信息融合：通过公式(14)获得最终深度值其中是水平3D光场下深度dt对应的可信评分系数，是垂直3D光场下深度ds对应的可信评分系数；(5)深度信息传播：将最终深度值d(x,y)保存在线段元组其中m＝1/d,表示公式(9)所求的(x,y)辐射均值，对经过像素点(x,y)且斜率为m的线段上的点(x′,s′)，判断是否成立，ε为指定的相似程度，对使得上式成立的像素(x′,s′)赋以深度值d其中R(x″,d)如公式(6)所示为像素(x″,s)的光线颜色值集合，通过改进的mean-shift算法求得作为像素(x″,s)的光线辐射值；(6)重复步骤(3)-(5)，直到当前分辨率的EPI上所有Me值为1的置信像素都得到计算或在传播中得到深度值；(7)将低分辨率下计算得到的深度值逐层复制到高分辨率图像，直到最高分辨率图像中所有像素都有深度值。本专利技术通过初始深度估计、检测可计算像素、计算水平和垂直方向光场的深度、深度信息融合、深度信息传播、深度信息逐层复制，最终得到深度信息，从而能够解决初始深度可靠性问题、能量优化过平滑问题。优选地，所述步骤(7)中对于未获得最终深度值的像素，搜索其所在扫描线上与该像素相邻最近的可靠深度值作为上下限，然后下采样原图像，并用5x5的高斯滤波做平滑处理避免失真。优选地，所述步骤(7)中高斯滤波σ2＝0.5。优选地，针对新的空间分辨率图像，重复步骤(2)-(6)，直到图像小于10x10时赋予其公式(14)计算的深度值。以下具体说明本专利技术：本专利技术所提出的光场深度估计方法利用结构张量预置初始深度,避免了基于能量优化方法的深度计算中的过平滑现象。本专利技术主要分为以下步骤：光场记录空间中一个点在各个方向上的光线辐射度，是一个五维函数I(x,y,z,θ,φ)，其中(x,y,z)描述点的位置，(θ,φ)描述当前光辐射度值对应的光线方向。在假定光线传播区域无遮挡的前提下，Leovy和Hanrahan等人给出了光场的四维表示模型L(u,v,s,t),即三维场景中某个物理点发出的光线可以用穿过空间两个平行面即视点面Π(s,t)和像面Ω(x,y)的一条直线描述，如图1所示。其中，视点面Π包含视点信息，像面Ω包含辐射度信息，一个4D光场可以描述为：L:Π(s,t)*Ω(x,y)(x,y,s,t)→L(x,y,s,t)(1)普通相机拍摄的二维本文档来自技高网...

【技术保护点】
一种基于光场的深度估计方法，其特征在于，包括以下步骤：(1)初始深度估计：通过公式(3)、(4)计算得到视差的初值d0：d0＝Jxx‑Jyy   (3)其中Gσ是尺度为σ的高斯平滑算子，Sx、Sy为是尺度为ρ的梯度算子；(2)检测可计算像素：边缘置信系数Ce通过公式(5)获得：其中N(x,s)是像素(x,s)的一维邻域像素集合，E(u,s)表示像素(x,s)的光线辐射值，所有系数Ce大构成一个二值模板Me，Ce于阈值大于0.02则模板对应位置取值1，否则取值0，其中值为1表示对应像素进行深度估计运算；(3)基于水平和垂直方向光场的深度计算：通过公式(11)获得EPI面上像素和(y,t*)的最终深度值其中(x′,y′)为视点下像素7*7邻域窗口上的像素，D(x′,y′)为其对应的深度值，E(x′,y′)是它的光线辐射值，Me(x′,y′)是其对应二值模版值；(4)深度信息融合：通过公式(14)获得最终深度值其中是水平3D光场下深度dt对应的可信评分系数，是垂直3D光场下深度ds对应的可信评分系数；(5)深度信息传播：将最终深度值d(x,y)保存在线段元组其中m＝1/d,表示公式(9)所求的(x,y)辐射均值，对经过像素点(x,y)且斜率为m的线段上的点(x′,s′)，判断是否成立，ε为指定的相似程度，对使得上式成立的像素(x′,s′)赋以深度值d其中R(x″,d)如公式(6)所示为像素(x″,s)的光线颜色值集合，通过改进的mean‑shift算法求得作为像素(x″,s)的光线辐射值；(6)重复步骤(3)‑(5)，直到当前分辨率的EPI上所有Me值为1的置信像素都得到计算或在传播中得到深度值；(7)将低分辨率下计算得到的深度值逐层复制到高分辨率图像，直到最高分辨率图像中所有像素都有深度值。...

【技术特征摘要】
1.一种基于光场的深度估计方法，其特征在于，包括以下步骤：(1)初始深度估计：通过公式(3)、(4)计算得到视差的初值d0：d0＝Jxx-Jyy(3)其中Gσ是尺度为σ的高斯平滑算子，Sx、Sy为是尺度为ρ的梯度算子；(2)检测可计算像素：边缘置信系数Ce通过公式(5)获得：其中N(x,s)是像素(x,s)的一维邻域像素集合，E(x,s)表示像素(x,s)的光线辐射值，所有系数Ce构成一个二值模板Me，Ce阈值大于0.02则模板对应位置取值1，否则取值0，其中值为1表示对应像素进行深度估计运算；(3)基于水平和垂直方向光场的深度计算，对EPI中参数为的扫描线逐点计算Ce值得到模板选择中值为1的像素进行深度计算：通过公式(11)获得EPI面上像素和(y，t*)的最终深度值其中(x′,y′)为视点下像素7*7邻域窗口上的像素，D(x′,y′)为其对应的深度值，E(x′,y′)是它的光线辐射值，Me(x′,y′)是其对应二值模版值；(4)深度信息融合：通过公式(14)获得最终深度值其中是水平3D光场下深度dt对应的可信评分系数，)是垂直3D光场下深度ds对应的可信评分系数；(5)深度信息传播：将最终深度值d(x,y)...

【专利技术属性】
技术研发人员：王立春，樊东灵，孔德慧，尹宝才，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11