一种基于自回归模型的深度图增强方法技术

本发明专利技术公开了一种基于自回归模型的深度图增强方法。给定用户输入的图像以及参数，该方法首先根据深度图像得出对应的置信度，之后对深度图做纠正和上采样操作。针对深度图纠正，给予不可信的边缘区域较低的置信度，给予可信的平坦区域较高的置信度。针对深度图上采样，首先将低分辨率的深度图插值得到高分辨率的深度图，给予不可信的插值深度值较低的置信度，给予可信的原始深度值较高的置信度；最后将要处理的图像以及得到的置信度和相应的参考图像输入到我们的模型中并对模型进行求解就达到了深度图增强的目标。实验结果表明，本文方法在保证了处理速度的同时，能够克服伪影、保边平滑，取得了较好的深度图增强效果。取得了较好的深度图增强效果。取得了较好的深度图增强效果。

【技术实现步骤摘要】
一种基于自回归模型的深度图增强方法


[0001]本专利技术属于计算摄影
，具体是一种基于自回归模型的深度图增强方法。

技术介绍

[0002]在计算机视觉领域，深度信息一直发挥着不可替代的作用。现有的获取深度信息的方法包括激光测距扫描仪，Kinect相机，TOF相机等。但是这些方法都存在着各种各样的问题，激光测距扫描仪虽然精度高，但是实时性差并且存在数据缺失，Kinect相机速度快，但是测距短，并且获取的深度信息“空洞现象”，TOF相机实时性强，但获取的深度图像分辨率低且存在大量的随机噪声。除使用仪器获取深度数据外，通过深度学习的方式获取深度图也是现在计算机视觉领域的趋势，但这种方式获取到的深度图像往往存在较多的差值。为了对由成像设备获取的深度图像及深度学习获取得到的深度图像进行处理，提高分辨率并纠正错误深度值，使其能够达到相关应用的要求，就需要深度图增强技术。
[0003]现有的深度图增强方法可分为传统方法以及求解器两类。比较经典的传统方法包括双边滤波，引导图滤波和加权中值滤波，这些方法比较灵活，速度快且效率高，但是在进行深度图纠正任务时，这些方法表现不好，无法达到较好的纠正效果。快速双边求解器是求解器深度图增强方法的代表方法，该方法速度快且能应用于多种计算机视觉任务，但是由该求解器得到的深度图会产生伪影现象。
[0004]本专利技术提出了一种新的基于自回归模型的深度图增强方法，该方法既能较好地纠正深度图像，实现深度图上采样，又能较好地克服快速双边求解器会产生的伪影现象，并且具有较高的计算效率。

技术实现思路

[0005]本专利技术针对现有技术中存在的问题，提出了一种基于自回归模型的深度图增强方法，能够在保证效率的同时，实现深度图的上采样和深度值的纠正，并能有效克服伪影现象。
[0006]一种基于自回归模型的深度图增强方法，包括以下步骤：
[0007]步骤1，设置矩阵网格参数σ
l
(亮度带宽)、σ
u,v
(彩色带宽)、σ
x,y
(空间带宽)以及平滑参数λ，选择待增强的深度图像。
[0008]步骤2，求解深度图像的目标函数，对深度图像进行增强，得到处理后的深度图；
[0009]进一步，对深度图像进行增强使用的目标函数如下：
[0010][0011]其中O是需要增强的深度值；C是该处深度值的可信度，置信度的计算分为深度图纠正和深度图上采样两种情况。
[0012]进一步，简化的双边仿射矩阵解法为：
[0013]根据双边仿射矩阵的定义式：
[0014][0015]其中表示像素i的空间位置，分别代表像素i的l、u、v通道的值，从双边仿射矩阵的定义式可以看出像素i和像素j之间距离越近，颜色越接近，对应的双边仿射矩阵的值A
i,j
就越大。
[0016]但是基于双边仿射矩阵的定义式求解权利要求2中所提出的目标函数是不现实的，这是因为一张深度图的深度值通常是成千上万的，直接由双边仿射矩阵的定义求解目标函数所花费的时间是无法想象的，因此这就需要对双边仿射矩阵进行简化处理，这也是求解目标函数的关键所在。
[0017]根据前人的研究，双边仿射矩阵可由以下式子近似得出：
[0018]A≈S
T
BS
[0019]S
T
、B、S分别代表Splat、Blur、Slice过程。现假设有一个像素值X需要处理，某一像素点由位置(x,y)、颜色值(l,u,v)共同决定，从而可以将X看做是 P＝(p
x
,p
y
,p
l
,p
u
,p
v
)的点集。根据前面的分析，得出直接求解X的双边仿射矩阵因时间花费过于昂贵而不可取，双边仿射矩阵的近似结果由下面三个步骤完成：
[0020]Splat：将每个像素值x
i
投射到最接近p
i
的顶点上。
[0021]Blur：对双边空间的顶点值执行平滑操作。
[0022]Slice：从最接近p
i
的顶点的模糊值来插值新的像素值。
[0023]在目标函数中使用的由下式定义：
[0024][0025]其中D
m
、D
n
是对角矩阵。
[0026]若为深度图纠正，则该处为边缘区域时，可信度较低，该处为平滑区域时，可信度较高，具体来说，其置信度求解公式为
[0027][0028]其中，I为需要纠正的深度图像，G为彩色引导图像，σ
c
为平滑参数，在本专利技术的方法中将其设置为0.125。
[0029]若为深度图上采样，首先将低分辨率的深度图插值到相应的分辨率，那么插值处的置信度自然低，而与真实深度值相差越大，其置信度也就越低。针对这种情况下置信度的求解，本专利技术主要采用了高斯函数包络的方法。具体来说，其局部置信度求解公式为：
[0030][0031]其中，f为上采样的倍数，F为f行f列的矩阵。随后，将C
f
纵向复制m份，横向复制n份得到相应分辨率下的置信度C，a为待增强深度图的长，b为待增强深度图的宽，具体来说，其置信度为
[0032][0033]I是输入要处理的深度图某处的实际深度值；λ是一个可调节的平滑参数；是双边仿射矩阵，目标函数中使用的是双边仿射矩阵的一种近似形式。
[0034]进一步，根据简化的双边仿射矩阵化简目标函数并求解相应区域深度值的方法为：
[0035]将双边仿射矩阵的近似形式替换目标公式中的然后对O
i
求偏导，并设其为0，进一步化简目标函数的公式为：
[0036][0037]将上式写作矩阵形式得出：
[0038][0039]整理上式为：
[0040][0041]然后令O＝S
T
Y，得出：
[0042][0043]在上式两边同乘S,得到下式：
[0044][0045]其中，SS
T
＝D
m
,Sdiag(C)S
T
＝diag(SC),diag(C)I＝C
⊙
I，因此上式等价于：
[0046][0047]最后只需要对求解出来的Y进行一步slice操作，就可以得到所要求解的深度值。
[0048]进一步，上述过程对求解出的Y进行一步slice操作也就是将求解出的Y矩阵乘以 S矩阵的转置，通过下式计算：
[0049]O＝S
T
Y
[0050]本专利技术的有益效果为：
[0051]经过现有技术直接获取的深度图像，存在着分辨率低、深度值错误等问题，因此，在将这些深度图像应用于计算机视觉任务之前，需要通过深度图增强技术进行修复，以便使其达到相关应用的要求。本专利技术在能够对深度图实现一个较好的增强效果，即纠正错误深度值，在深度图上采样中也较好的克服了伪影现本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自回归模型的深度图增强方法，其特征在于，包括：S1，设置矩阵网格参数σ
l
(亮度带宽)、σ
u,v
(彩色带宽)、σ
x,y
(空间带宽)以及平滑参数λ，选择待增强的深度图像，并建立深度图像的目标函数；S2，求解深度图像的目标函数，对深度图像进行增强，得到处理后的深度图。2.根据权利要求1所述的一种基于自回归模型的深度图增强方法，其特征在于，所述S1中，建立待增强深度图像的目标函数如下：其中，I是输入要处理的深度图某处的实际深度值，λ是一个可调节的平滑参数，是双边仿射矩阵，O是需要增强的深度值，i,j代表像素在图像中的位置，C是该处深度值的置信度，分为深度图纠正和深度图上采样两种情况。3.根据权利要求2所述的一种基于自回归模型的深度图增强方法，其特征在于，若为深度图纠正，该处为边缘区域时，可信度较低，该处为平滑区域时，可信度较高，其置信度求解公式为其中，I为需要纠正的深度图像，G为彩色引导图像，σ
c
为平滑参数其设置为0.125。4.根据权利要求2所述的一种基于自回归模型的深度图增强方法，其特征在于，若为深度图上采样，首先将低分辨率的深度图插值到相应的分辨率，那么插值处的置信度为低，并且与真实深度值相差越大，其置信度也就越低，此时采用高斯函数包络的方法计算局部置信度：其中，f为上采样的倍数，F为f行f列的矩阵。随后，将C
f
纵向复制m份，横向复制n份得到相应分辨率下的置信度C，a为待增强深度图的长，b为待增强深度图的宽，具体来说，其置信度为5.根据权利要2所述的一种基于自回归模型的深度图增强方法，其特征在于，所述S2中使用简化的双边仿射矩阵求解目标函数。6.根据权利要求2所述的一种基于自回归模型的深度图增强方法，其特征在于，简化的双边仿射矩阵的解法如下：定义双边仿射矩阵：
其中表示像素j的空间位置，分别...

【专利技术属性】
技术研发人员：杨洋，于红蓓，赵岩，曾兰玲，王新宇，
申请(专利权)人：江苏大学，
类型：发明
国别省市：