提升ToF深度图像处理方法、3D图像成像方法及电子设备技术

本发明专利技术公开了一种提升ToF深度图像处理方法，包括：（1）获取TOF相机采集的深度图像和RGB相机采集的两彩色图像；（2）获取深度图像中每个像素的深度误差，依据双目视觉技术计算彩色图像中像素的深度数值；（3）将每个像素的深度误差和彩色图像中对应像素的深度数值之和作为每个像素的最大距离值；（4）依据最大距离值对深度图像进行相位展开以生成与彩色图像分辨率相同的重建深度图像。本发明专利技术依据对应像素的误差以及深度数值校正深度图像中每个像素的最大距离值，并以此对深度图像展开生成与彩色图像分辨率一致的重建深度图像，有效解决分辨率采集上的不足，保证深度图像的准确性。本发明专利技术还公开了对应的3D图像成像方法以及电子设备、可读存储介质。

Lifting ToF Depth Image Processing Method, 3D Image Imaging Method and Electronic Equipment

【技术实现步骤摘要】
提升ToF深度图像处理方法、3D图像成像方法及电子设备
本专利技术涉及一种图像处理方法，尤其涉及一种提升ToF深度图像处理方法、3D图像成像方法及电子设备。
技术介绍
ToF技术是通过分析从光源到物体的飞行和返回时间的已知飞行时间的相机系统用于提供关于到物体的距离（深度）的信息。ToF技术的基本操作原理是用调制光（例如脉冲）照射场景。诸如这些光脉冲的调制光从场景中的物体反射回来，并且反射光透镜在图像传感器上，特别是在传感器的传感器表面上聚焦在场景中的物体上以形成图像。ToF技术的一个基本应用是三维（3D）图像的拍摄场景，即能够捕获二维信息并同时获取场景深度或距离信息的相机模组。理论上来讲，如果利用ToF相机系统获取一系列的特定场景的不同角度的图像序列，并配合空间点云的匹配技术，既能够还原整个拍摄场景的3D空间信息，进而实现3D重建的效果。ToF相机系统的另一个关键部件是成像传感器。成像传感器通常包括形成场景图像的像素阵列。另外，像素的输出是从照射单元到场景中的物体的光，并且从物体反射回到成像传感器的光可以用于确定飞行时间。但是由于硬件发展的限制，现有的成像传感器普遍单位面积上的像素数量较低，进而限制了ToF相机的尺寸，所以现在多数移动设备上的ToF相机普遍分辨率较低（目前能作为移动设备相机的ToF分辨率最高的也不过320*240）为此，长春理工大学提出一种ToF相机的深度图像增强方法（CN106780383A，ToF相机的深度图像增强方法），属于深度图像处理方法。将深度图像首先进行噪声抑制处理，然后利用图像中的像素间距离和边缘方向信息，对滴分辨率的ToF深度图像进行插值放大。然而，CN106780383A提到的技术虽然提高了深度图像的分辨率，但是仅从ToF获取的深度图像本身来进行插值计算，不能解决ToF深度图像根本的辨析度低的问题，原本ToF相机硬件精度导致的深度图像不能体现的细节，依然不能得到改善。天津大学提出了一种基于主被动融合的高分辨率深度图获取方法(CN105869167A，基于主被动融合的高分辨率深度图获取方法)，首先对ToF低分辨率深度图进行稀疏式上采样和视差图计算，将ToF相机产生的低分辨率深度图映射到3D场景的世界坐标系，再将三维点投影到与左彩色相机或右彩色相机坐标系形成ToF视差点阵；进行立体匹配和ToF深度融合，计算得到弱纹理区域的视差图、纹理区域的视差图和其他区域的视图差。CN105869167A虽然能够提升深度图的质量，并且在细节上，尤其是边界区域会有很好的保留和增强，但由于其方法限制，未通过双目差异计算视觉差，不能在深度细节上提升质量；而且，此专利技术中，未有对色彩与深度点云的融合做计算，所以在模型重建中，对模型的细节表达不足够。故，急需一种可解决上述问题的深度图像处理方法。
技术实现思路
本专利技术的目的是提供一种提升ToF深度图像处理方法以及3D图像成像方法，可有效提升TOF相机在分辨率采集上的不足，获取分辨率高的像素深度图像。为了实现上有目的，本专利技术公开了一种提升ToF深度图像处理方法，包括：（1）获取ToF相机采集目标对象生成的一深度图像，获取RGB相机依据双目视觉方式采集所述目标对象生成的两彩色图像；（2）获取所述深度图像中每个像素的深度误差，依据双目视觉技术计算所述彩色图像中像素的深度数值；（3）将所述深度图像中每个像素的深度误差和彩色图像中对应像素的深度数值之和作为深度图像中每个像素的最大距离值；（4）依据所述最大距离值对深度图像进行相位展开以生成与所述彩色图像分辨率相同的重建深度图像。与现有技术相比，本专利技术采用双目视觉三角关系计算彩色图像的像素深度数据，依据对应像素的误差以及深度数值校正深度图像中每个像素的最大距离值，并以此对深度图像展开生成与彩色图像分辨率一致的重建深度图像，不但解决了分辨率采集上的不足，还保证了深度图像的准确性。较佳地，所述步骤（2）中，使用深度图像中预设尺寸的每个窗口中的像素深度计算标准偏差，并将每一窗口中的最小标准偏差作为该窗口中每个像素的深度误差。较佳地，所述步骤（4）具体为：比较每一像素的最大距离值与相邻像素的最大距离值的相似关系，获得每一像素的最大距离倍数，依据每一像素的最大距离倍数对所述深度图像进行相位展开生成重建深度图像。较佳地，所述深度图像处理方法还包括步骤：（5）依据所述ToF相机、RGB相机的位置关系对所述重建深度图像和两彩色图像进行立体匹配，从而生成分别与两所述彩色图像对应且以所述重建深度图像为基准的第一视差图像和第二视差图像；（6）两所述彩色图像中的一致区域的视差值校正所述重建深度图像中相应区域的像素深度。该方案使得两彩色图像对应的视差图像的视差值对重建深度图像进行校正，使得处理后的像素深度图像深度精度高，利用RGB相机获取空间差异，弥补ToF相机在深度精度上的不足。更佳地，所述步骤（5）具体包括：分析识别两所述彩色图像的区别区域、一致区域和不一致区域，对两所述彩色图像、重建深度图像进行空间立体匹配从而生成第一视差图像和第二视差图像，若目标区域为区别区域和一致区域，则依据第一视差图像和第二视差图像在目标区域的视差值来获得目标区域的估计视差值，若目标区域为区别区域和不一致区域，则使用重建深度图像计算目标区域的视差值以获得目标区域的估计视差值，使用目标区域的估计视差值校正所述第一视差图像和第二视差图像，所述区别区域包括两所述彩色图像中的平坦非纹理区域和密集纹理区域。本方案先对第一视差图像和第二视差图像进行校正，然后通过校正厚度第一视差图像和第二视差图像的视差值对重建深度图像进行校正，通过两次校正提高深度图像的像素深度精度。较佳地，所述RGB相机为双目RGB相机，所述双目RGB相机的两RGB摄像头以预设位置关系设置，所述ToF相机与所述双目RGB相机以预设位置关系设置，步骤（1）中依据双目视觉方式采集目标对象具体为：使用双目RGB相机采集所述目标对象以生成两彩色图像。较佳地，将所述RGB相机和ToF相机按照预设位置设置，步骤（1）中依据双目视觉方式采集目标对象具体为：将RGB相机连续采集的2帧彩色图作为依据双目视觉方式采集的两所述彩色图像，并通过陀螺仪记录采集两所述彩色图像时的RGB相机的空间位置信息。较佳地，所述步骤（1）之前还包括步骤：设置校准RGB相机和ToF相机的参数，所述参数包括ToF相机和RGB相机的内参数，以及ToF相机和RGB相机间的相对位置关系。本专利技术还公开了一种3D图像成像方法，包括步骤：依据深度图像处理方法获得处理后的像素深度图像和两彩色图像，所述深度图像处理方法如上所述；将所述深度图像和两所述彩色图像分别进行深度和彩色像素的匹配以生成对应的两彩色点云图。本专利技术还公开了一种电子设备，包括：ToF相机和RGB相机；一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由一个或多个处理器执行，所述程序包括用于执行如上所述的像素深度图像处理方法的指令。本专利技术还公开了一种计算机可读存储介质，包括与ToF相机和RGB相机结合使用的计算机程序，所述计算机程序可被处理器执行以实现如上所述的像素深度图像处理方法。附图说明图1是本专利技术第一实施例中深度图像处理方法的流程图。图本文档来自技高网...

【技术保护点】
1.提升ToF深度图像处理方法，其特征在于：包括：（1）获取TOF相机采集目标对象生成的一深度图像，获取RGB相机依据双目视觉方式采集所述目标对象生成的两彩色图像；（2）计算所述深度图像中每个像素的深度误差，依据双目视觉技术计算所述彩色图像中像素的深度数值；（3）将所述深度图像中每个像素的深度误差和彩色图像中对应像素的深度数值之和作为深度图像中每个像素的最大距离值；（4）依据所述最大距离值对深度图像进行相位展开以生成与所述彩色图像分辨率相同的重建深度图像。

【技术特征摘要】
1.提升ToF深度图像处理方法，其特征在于：包括：（1）获取TOF相机采集目标对象生成的一深度图像，获取RGB相机依据双目视觉方式采集所述目标对象生成的两彩色图像；（2）计算所述深度图像中每个像素的深度误差，依据双目视觉技术计算所述彩色图像中像素的深度数值；（3）将所述深度图像中每个像素的深度误差和彩色图像中对应像素的深度数值之和作为深度图像中每个像素的最大距离值；（4）依据所述最大距离值对深度图像进行相位展开以生成与所述彩色图像分辨率相同的重建深度图像。2.如权利要求1所述的提升ToF深度图像处理方法，其特征在于：所述步骤（2）中，使用深度图像中预设尺寸的每个窗口中的像素深度计算像素深度的标准偏差，并将每一窗口中的最小标准偏差作为该窗口中像素的深度误差。3.如权利要求1所述的提升ToF深度图像处理方法，其特征在于：所述步骤（4）具体为：比较每一像素的最大距离值与相邻像素的最大距离值的相似关系，获得每一像素的最大距离倍数，依据每一像素的最大距离倍数对所述深度图像进行相位展开生成重建深度图像。4.如权利要求1所述的提升ToF深度图像处理方法，其特征在于：还包括步骤：（5）对所述重建深度图像和两彩色图像进行立体匹配，并生成两所述彩色图像的第一视差图像和第二视差图像；（6）依据一致区域中所述第一视差图像和第二视差图像的视差值校正所述重建深度图像中相应区域的像素深度，所述一致区域是指存在于对的两个所述彩色图像中的区域。5.如权利要求4所述的提升ToF深度图像处理方法，其特征在于：所述步骤（5）具体包括：分析识别两所述彩色图像的区别区域、一致区域和不一致区域，对两所述彩色图像、重建深度图像进行空间立体匹配从而生成第一视差图像和第二视差图像，若目标区域为区别区域和一致区域，则依据第一视差图像和第二视差图像在目标区域的视差值来获得目标区域的估计视差值，若目标区域为区别区域和不一致区域，则使用重建深度图像计算目标区域的视差...

【专利技术属性】
技术研发人员：谢永明，
申请(专利权)人：香港光云科技有限公司，
类型：发明
国别省市：中国香港,81