一种基于单目深度相机的深度图彩色化方法技术

本发明专利技术公开了一种基于单目深度相机的深度图彩色化方法，使用一个红外相机、一个彩色相机和一个红外散斑点阵投影仪组成一个小型化单目深度相机，红外散斑点阵投影仪向被测场景投影随机散斑图案，红外相机和彩色相机同步采集图像，通过深度图计算出红外相机拍到的散斑图像和彩色相机拍到的彩色图像之间的对应关系，从而实现深度图彩色化，赋予深度图以被测场景的彩色纹理信息。本发明专利技术与现有的深度图彩色化方法相比，具有全自动化、算法准确、时间复杂度低的优点。复杂度低的优点。复杂度低的优点。

【技术实现步骤摘要】
一种基于单目深度相机的深度图彩色化方法


[0001]本专利技术涉及计算机图形学
，具体涉及一种基于单目深度相机的深度图彩色化方法。

技术介绍

[0002]在计算机视觉系统中，三维场景信息为图像分割、目标检测、物体跟踪等各类计算机视觉应用提供了更多的可能性，而深度图像(Depth map)作为一种普遍的三维场景信息表达方式得到了广泛的应用。深度图像的每个像素点的灰度值可用于表征场景中某一点距离摄像机的远近。
[0003]深度图像(depth image)也被称为距离影像(range image)，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。
[0004]RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是运用最广的颜色系统之一。RGB图像由格式为M
×
N
×
3的三维数组组成，其中的“3”可以理解为三幅M
×
N的二维图像(灰度值图像)。这三幅图像分别代表R、G、B分量，每个分量的像素点取值范围是[0,255]。
[0005]由于我们得到的深度图，人眼很难识别出其中的物体，感知深度的变化，所以在做展示的时候，往往需要可视化，这个时候就需要将深度图转为彩色图来展示。现有的深度图彩色化方法大都存在不是全自动化，算法不是很准确，时间复杂度高等问题。

技术实现思路

[0006]为了简化现有深度图彩色化方法，提高其自动化程度及准确性，本专利技术提高了一种一种基于单目深度相机的深度图彩色化方法。
[0007]本专利技术的技术方案如下：一种基于单目深度相机的深度图彩色化方法，步骤如下：步骤一.使用一个红外相机、一个彩色相机和一个红外散斑点阵投影仪组成一个小型化单目深度相机，红外散斑点阵投影仪向被测场景投影随机散斑图案，红外相机和彩色相机同步采集图像；步骤二.使用立体匹配算法计算红外相机拍到的散斑图像与位于已知距离的参考平面的散斑图像之间的视差图，根据三角测距原理得到深度图；步骤三.根据红外相机和彩色相机之间的标定参数，通过深度图计算出红外相机拍到的散斑图像和彩色相机拍到的彩色图像之间的对应关系，从而实现深度图彩色化，赋予深度图以被测场景的彩色纹理信息。
[0008]优选的，步骤一中，红外相机、彩色相机和红外散斑点阵投影仪均被水平放置，三者处于同一水平线上，红外相机与红外散斑点阵投影仪之间的距离最远，彩色相机位于红外相机与红外散斑点阵投影仪之间、靠近红外相机。
[0009]优选的，步骤二具体为：
首先，使用红外相机拍摄一张位于已知距离的参考平面的散斑图像，即在已知距离Z
Ref
所获取的散斑图像称为参考图像，通过三角测量关系，可以按以下公式计算参考图的参考视差值d
Ref
，其中，B为红外相机与红外散斑点阵投影仪之间的距离，f为红外相机的焦距；其次，红外相机捕获的被测场景的散斑图像称为目标图像，对于目标图像中每一个有效的匹配点p(x,y)，通过立体匹配算法可以在参考图像中找到正确的对应参考点p
Ref
(x
Ref
,y
Ref
)，p(x,y)与p
Ref
(x
Ref
,y
Ref
)之间的关系为，(x,y)＝(x
Ref
+d
Rel
,y
Ref
)，其中，d
Rel
为目标图像相对于参考图像的相对视差值；再次，获得每个有效目标点的实际视差值d，d＝d
Ref
+d
Rel
；最后，在获取到具有亚像素精度的视差图后，通过三角测量关系，可获得深度值Z，
[0010]优选的，步骤三中，根据红外相机和彩色相机之间的标定参数，通过深度图计算出红外相机拍到的散斑图像和彩色相机拍到的彩色图像之间的对应关系，红外相机拍到的散斑图像和彩色相机拍到的彩色图像之间的对应关系，其中，C
x
、C
y
、M
x
、M
y
、N
x
和N
y
分别为红外相机和彩色相机之间的标定参数，(x
c
,y
c
)为彩色图像上的对应点坐标。
[0011]本专利技术具有如下优点：本专利技术使用一个红外相机、一个彩色相机和一个红外散斑点阵投影仪组成一个小型化单目深度相机，红外散斑点阵投影仪向被测场景投影随机散斑图案，红外相机和彩色相机同步采集图像；通过深度图计算出红外相机拍到的散斑图像和彩色相机拍到的彩色图像之间的对应关系，从而实现深度图彩色化，赋予深度图以被测场景的彩色纹理信息。本专利技术与现有的深度图彩色化方法相比，具有全自动化、算法准确、时间复杂度低的优点。
附图说明
[0012]图1为本专利技术实施例中基于单目深度相机的深度图彩色化方法的流程图。
具体实施方式
[0013]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
[0014]本专利技术提出了一种基于单目深度相机的深度图彩色化方法，本方法包括以下三个步骤。
[0015]步骤一.使用一个红外相机、一个彩色相机和一个红外散斑点阵投影仪组成一个小型化单目深度相机，红外散斑点阵投影仪向被测场景投影随机散斑图案，红外相机和彩色相机同步采集图像。红外相机、彩色相机和红外散斑点阵投影仪均被水平放置，三者处于同一水平线上。其中，红外相机与红外散斑点阵投影仪之间的距离最远，其距离为35mm。彩色相机位于红外相机与红外散斑点阵投影仪之间，其靠近红外相机。
[0016]步骤二.使用立体匹配算法计算红外相机拍到的散斑图像与位于已知距离的参考平面的散斑图像之间的视差图，根据三角测距原理得到深度图。
[0017]首先，使用红外相机拍摄一张位于已知距离的参考平面的散斑图像，即在已知距离Z
Ref
所获取的散斑图像称为参考图像，通过三角测量关系，可以按以下公式计算参考图的参考视差值d
Ref
，其中，B为红外相机与红外散斑点阵投影仪之间的距离，f为红外相机的焦距。
[0018]其次，红外相机捕获的被测场景的散斑图像称为目标图像，对于目标图像中每一个有效的匹配点p(x,y)，通过立体匹配算法可以在参考图像中找到正确的对应参考点p
Ref
(x
Ref
,y
Ref
)，p(x,y)与p
Ref
(x
Ref
,y
Ref
)之间的关系为，(x,y)＝(x
Ref...

【技术保护点】

【技术特征摘要】
1.一种基于单目深度相机的深度图彩色化方法，其特征在于，步骤如下：步骤一.使用一个红外相机、一个彩色相机和一个红外散斑点阵投影仪组成一个小型化单目深度相机，红外散斑点阵投影仪向被测场景投影随机散斑图案，红外相机和彩色相机同步采集图像；步骤二.使用立体匹配算法计算红外相机拍到的散斑图像与位于已知距离的参考平面的散斑图像之间的视差图，根据三角测距原理得到深度图；步骤三.根据红外相机和彩色相机之间的标定参数，通过深度图计算出红外相机拍到的散斑图像和彩色相机拍到的彩色图像之间的对应关系，从而实现深度图彩色化，赋予深度图以被测场景的彩色纹理信息。2.根据权利要求1所述的基于单目深度相机的深度图彩色化方法，其特征在于，步骤一中，红外相机、彩色相机和红外散斑点阵投影仪均被水平放置，三者处于同一水平线上，红外相机与红外散斑点阵投影仪之间的距离最远，彩色相机位于红外相机与红外散斑点阵投影仪之间、靠近红外相机。3.根据权利要求1所述的基于单目深度相机的深度图彩色化方法，其特征在于，步骤二具体为：首先，使用红外相机拍摄一张位于已知距离的参考平面的散斑图像，即在已知距离Z
Ref
所获取的散斑图像称为参考图像，通过三角测量关系，可以按以下公式计算参考图的参考视差值d
Ref
，其中，B为红外相机与红外散斑点阵投影仪之间的距离，f为红外相机的焦距；其次，红外相机捕获的被测场景的散斑图像称为目标图像，对于目标图像中每一个有效的匹配点p(x,y)，通过立体匹配算法可以...

【专利技术属性】
技术研发人员：张晓磊，陈钱，左超，沈德同，胡岩，尹维，
申请(专利权)人：南京理工大学智能计算成像研究院有限公司，
类型：发明
国别省市：