一种生成深度图的方法及设备技术

本申请提供一种生成深度图的方法及设备，该方法包括：通过RGB传感器获取RGB图像；通过近红外NIR传感器获得NIR图像；基于第一图像对第二图像进行配准，第一图像RGB图像和NIR图像中的一帧图像，所述第二图像为RGB图像和NIR图像中除第一图像之外的另一帧图像；基于第一图像和配准后的第二图像，生成深度图。在本申请中，由于NIR传感器具备广阔的波长范围，不仅在夜晚或者较差的光线环境下可以得到较高质量的图像，并且在正常光线下也可以获得高对比度的图像，那么，通过RGB图像和NIR图像所生成的深度图，既可以保证亮场景下深度图的效果，还可以提升暗场景下深度图的效果。可以提升暗场景下深度图的效果。可以提升暗场景下深度图的效果。

【技术实现步骤摘要】
一种生成深度图的方法及设备


[0001]本申请涉及图像处理领域，特别涉及一种生成深度图的方法及设备。

技术介绍

[0002]在机器视觉中，获取视场中各点相对于摄像机的距离是重要任务之一。场景中各点相对于摄像机的距离可以用深度图(depth map)来表示，depth map类似于灰度图像，只是它的每个像素值是传感器距离物体的实际距离。
[0003]目前，生成深度图时，通常基于双目系统进行，主要的双目系统基本都是普通的RGB+RGB组合。在白天正常光照射下(即亮场景)可以获得比较好的深度估计，而在夜景下(即暗场景)，RGB图像在低照度下如果采用短曝光，会有较大噪声，且亮度较低，图片细节丢失；如果要得到亮度较好的图片，必须要采用高增益或者长曝光，但这样容易产生运动模糊；而使用闪光灯又会产生阴影和镜面反射。
[0004]所以，在保证亮场景下深度图的效果的前提下，如何提升暗场景下深度图的效果成为一个亟待解决的问题。

技术实现思路

[0005]本申请提供了一种生成深度图的方法及设备，以在保证亮场景下深度图的效果的前提下，提升暗场景下深度图的效果。
[0006]第一方面，本申请提供一种生成深度图的方法，该方法可以应用于具有图像采集模组的终端设备，如智能手机、平板电脑、笔记本电脑等。上述图像采集模组可以包括：RGB传感器和NIR传感器。RGB传感器获取RGB图像，NIR传感器获取NIR图像，RGB传感器和NIR传感器分别将RGB图像和NIR图像输出给终端设备中的图像处理器，图像处理器基于RGB图像和NIR图像中的第一图像对RGB图像和NIR图像中除第一图像外的第二图像进行配准，并基于第一图像和配准后的第二图像，生成深度图。
[0007]在本申请中，RGB图像的出帧时间戳和NIR图像的出帧时间戳一致。
[0008]在本申请中，由于NIR传感器具备广阔的波长范围，不仅在夜晚或者较差的光线环境下可以得到较高质量的图像，并且在正常光线下也可以获得高对比度的图像，那么，通过RGB图像和NIR图像所生成的深度图，既可以保证亮场景下深度图的效果，还可以提升暗场景下深度图的效果。
[0009]基于第一方面，在一些可能的实施方式中，上述方法还可以包括：对RGB图像和/或NIR图像进行预处理，其中，预处理包括以下一种或多种处理方式：去噪、下采样、边缘增强。
[0010]在本申请中，对RBG图像和/或NIR图像进行预处理，以提升RGB图像和/或NIR图像的质量，使得RGB图像和/或NIR图像中的特征点更容易被检测到。
[0011]基于第一方面，在一些可能的实施方式中，对RGB图像和/或NIR图像进行预处理，包括：当通过光照传感器检测到的环境光照度小于或等于预设阈值时，增大去噪后的RGB和/或去噪后的NIR图像的亮度。
[0012]基于第一方面，在一些可能的实施方式中，基于第一图像对第二图像进行配准，包括：对第一图像和第二图像进行特征点匹配，获得特征匹配对；将特征匹配对输入对极约束方程，输出基础矩阵，基础矩阵为第一图像和第二图像之间的映射矩阵；使用基础矩阵对第二图像进行变换，获得配准后的第二图像。
[0013]基于第一方面，在一些可能的实施方式中，对第一图像和第二图像进行特征点匹配，获得特征匹配对，包括：提取第一图像中的第一特征点和第二图像中的第二特征点；将第一特征点和第二特征点进行匹配；将第一特征点和第二特征点中匹配成功的特征点确定为特征匹配对。
[0014]在本申请中，对匹配后的特征点进行筛选，保留匹配成功的特征点，从而保证后面深度图计算的准确性。
[0015]基于第一方面，在一些可能的实施方式中，第一图像与配准后的第二图像行对齐，如此，经过配准后的RGB图像和NIR图像只存在一个方向上的视差，以便于准确的计算出深度图。
[0016]第二方面，本申请提供一种终端设备，可以执行上述第一方面及其可能的实施方式。该终端设备可以包括：RGB传感器，被配置为获取RGB图像；近红外NIR传感器，被配置为获取NIR图像；处理器，被配置为获取RGB图像和NIR图像；基于第一图像对第二图像进行配准，第一图像为RGB图像和NIR图像中的一帧图像，第二图像为RGB图像和NIR图像中除第一图像之外的另一帧图像；基于第一图像和配准后的第二图像，生成深度图。
[0017]基于第二方面，在一些可能的实施方式中，处理器，还被配置为对RGB图像和/或NIR图像进行预处理，预处理包括以下一种或多种处理方式：去噪、下采样、边缘增强。
[0018]基于第二方面，在一些可能的实施方式中，处理器，具体被配置为当通过光照传感器检测到的环境光照度小于或等于预设阈值时，增大去噪后的RGB和/或去噪后的NIR图像的亮度。
[0019]基于第二方面，在一些可能的实施方式中，处理器，具体被配置为对第一图像和第二图像进行特征点匹配，获得特征匹配对；将特征匹配对输入对极约束方程，输出基础矩阵，基础矩阵为第一图像和第二图像之间的映射矩阵；使用基础矩阵对第二图像进行变换，获得配准后的第二图像。
[0020]基于第二方面，在一些可能的实施方式中，处理器，具体被配置为提取第一图像中的第一特征点和第二图像中的第二特征点；将第一特征点和第二特征点进行匹配；将第一特征点和第二特征点中匹配成功的特征点确定为特征匹配对。
[0021]基于第二方面，在一些可能的实施方式中，第一图像与配准后的第二图像行对齐。
[0022]第三方面，本申请提供一种图像处理装置，该装置可以终端设备中的芯片或者片上系统，还可以为终端设备中用于实现上述第一方面及其可能的实施方式中的任一项方法的功能模块。该装置可以包括：获取模块，获取RGB图像和NIR图像；配准模块，用于基于第一图像对第二图像进行配准，其中，第一图像为RGB图像和NIR图像中的一帧图像，第二图像为RGB图像和NIR图像中除第一图像之外的另一帧图像；生成模块，用于基于第一图像和配准后的第二图像，生成深度图。
[0023]基于第三方面，在一些可能的实施方式中，上述装置还包括预处理模块，用于对RGB图像和/或NIR图像进行预处理，其中，预处理包括以下一种或多种处理方式：去噪、下采
样、边缘增强。
[0024]基于第三方面，在一些可能的实施方式中，预处理模块，还用于当通过光照传感器检测到的环境光照度小于或等于预设阈值时，增大去噪后的RGB和/或去噪后的NIR图像的亮度。
[0025]基于第三方面，在一些可能的实施方式中，配准模块，具体用于对第一图像和第二图像进行特征点匹配，获得特征匹配对；将特征匹配对输入对极约束方程，输出基础矩阵，基础矩阵为第一图像和第二图像之间的映射矩阵；使用基础矩阵对第二图像进行变换，获得配准后的第二图像。
[0026]基于第三方面，在一些可能的实施方式中，配准模块，具体用于提取第一图像中的第一特征点和第二图像中的第二特征点；将第一特征点和第二特征点进行匹配；将第一特征点和第二特征点中匹配成功的特征点确本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种生成深度图的方法，其特征在于，包括：通过RGB传感器获取RGB图像；通过近红外NIR传感器获得NIR图像；基于第一图像对第二图像进行配准，所述第一图像为所述RGB图像和所述NIR图像中的一帧图像，所述第二图像为所述RGB图像和所述NIR图像中除所述第一图像之外的另一帧图像；基于所述第一图像和配准后的第二图像，生成深度图。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述RGB图像和/或所述NIR图像进行预处理，所述预处理包括以下一种或多种处理方式：去噪、下采样、边缘增强。3.根据权利要求2所述的方法，其特征在于，所述对所述RGB图像和/或所述NIR图像进行预处理，包括：当通过光照传感器检测到的环境光照度小于或等于预设阈值时，增大去噪后的RGB和/或去噪后的NIR图像的亮度。4.根据权利要求1至3任一项所述的方法，其特征在于，所述基于第一图像对第二图像进行配准，包括：对所述第一图像和所述第二图像进行特征点匹配，获得特征匹配对；将所述特征匹配对输入对极约束方程，输出基础矩阵，所述基础矩阵为所述第一图像和所述第二图像之间的映射矩阵；使用所述基础矩阵对所述第二图像进行变换，获得所述配准后的第二图像。5.根据权利要求4所述的方法，其特征在于，所述对所述第一图像和所述第二图像进行特征点匹配，获得特征匹配对，包括：提取所述第一图像中的第一特征点和所述第二图像中的第二特征点；将所述第一特征点和所述第二特征点进行匹配；将所述第一特征点和所述第二特征点中匹配成功的特征点确定为所述特征匹配对。6.根据权利要求1至5任一项所述的方法，其特征在于，所述第一图像与所述配准后的第二图像行对齐。7.一种终端设备，其特征在于，包括：RGB传感器，被配置为获取RGB图像；近红外NIR传感器，被配置为获取N...

【专利技术属性】
技术研发人员：陈亚楠，王军，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：