一种图像处理方法、图像采集方法及相关装置制造方法及图纸

本申请实施例公开了一种图像处理方法、图像采集方法及相关装置，图像处理方法包括：通过TOF相机获取第一深度图像；利用深度学习神经网络对所述第一深度图像中的多路径干扰进行优化得到第二深度图像。采用本申请实施例提供的技术方案利用深度学习神经网络对第一深度图像的多路径干扰进行了优化，有利于减少多路径干扰导致的图像失真。

【技术实现步骤摘要】
一种图像处理方法、图像采集方法及相关装置
本申请涉及图像处理
，尤其涉及对TOF相机获取的图像进行的图像处理方法、图像采集方法及相关装置。
技术介绍
飞行时间(timeofflight，TOF)相机是利用TOF技术的一种深度成像相机，使用TOF相机进行图像采集时，如图1所示，TOF光源101发出的光由被摄物体102反射后被TOF相机103捕获，根据光由发出到被捕获的时间差或者相位差可以计算出被拍摄物体102与TOF相机103的距离。需要说明的是，TOF相机103捕获的反射光不仅包含被拍摄物体102反射的TOF光源101直接照射到被拍摄物体102上的光，还包含TOF光源101照射到背景并由背景反射到TOF相机103的光，以及由背景反射到被拍摄物体102上并由被拍摄物体102反射到TOF相机103的光，这样就产生了多路径干扰，由于多路径干扰的存在导致深度测量不准确。TOF相机成像的误差还包括如下几个方面：(1)奇次谐波带来的周期性误差。TOF光源101发出的光波到达作为目标物体的被拍摄物体102，被目标物反射回来，再被TOF相机103接收，由于在进行距离和幅度计算时假定发射信号和接收信号的波形都是标准波形，而实际上的参考信号和接收信号并不完全是标准波形，还存在着直流分量、高次谐波以及非谐波信号等，这些因素的存在会给距离测量的结果带来不可避免的干扰。(2)器件温度变化引起的误差(温漂)。为了保证四相位采样的准确性，ToF摄像头的发射端与接收端的调制信号需要严格同步。由于发射端和接收端之间存在距离，导致调制信号传递至两者时存在一个小的全局相位差，而这个相位差与模组温度相关。温漂矫正就是要修正不同温度下全局相位差的变化。(3)像素个体差异带来的梯度误差。现有的大量研究结果表明，不同积分时间带来的误差大小不同，且积分时间过长或过短的情况下，对测量标准差的影响极大。此外还有诸多影响TOF摄像头的因素，比如由于制造工艺的限制，每个像素点不可能完全相同，因此每个像素的偏移也会带来误差。(4)镜头内参的标定。目前对TOF摄像头获取的图像进行校正时主要是对上面4个方面进行标定，如图1所示，利用校正系统104中的标定单元分别对奇次谐波带来的周期性误差进行标定、对器件温度变化引起的误差进行标定、对像素个体差异带来的梯度误差进行标定、以及对镜头内参进行标定等。需要说明的是，现有技术虽然对奇次谐波带来的周期性误差、器件温度变化引起的误差、像素个体差异带来的梯度误差、以及镜头内参进行了标定，但是由于被测物体直接返回的信号与环境返回的干扰信号难以分离，所以现有技术对多路径干扰没有进行优化。
技术实现思路
本申请实施例提供了一种图像处理方法、图像采集方法及相关装置，能够减少多路径干扰导致的图像失真。第一方面，本申请实施例公开了一种图像处理方法，所述方法包括如下步骤：通过TOF相机获取第一深度图像；利用深度学习神经网络对所述第一深度图像中的多路径干扰进行优化得到第二深度图像。本申请实施例提供的技术方案，利用深度学习神经网络对第一深度图像的多路径干扰进行了优化，有利于减少多路径干扰导致的图像失真。在一些可能的实施方式中，在所述利用深度学习神经网络对所述第一深度图像中的多路径干扰进行优化得到第二深度图像之前，所述方法还包括：利用预设的处理模块对所述第一深度图像进行校准得到第三深度图像，所述预设的处理模块用于执行任一项或者多项如下操作：对多次谐波进行校准、对温漂进行校准、对像素个体差异带来的梯度误差进行校准、对镜头内参进行校准、和对噪声进行滤波；所述利用深度学习神经网络对所述第一深度图像中的多路径干扰进行优化得到第二深度图像，包括：利用深度学习神经网络对所述第三深度图像中的多路径干扰进行优化得到第二深度图像。本申请实施例利用预设的处理模块和深度学习神经网络依次对第一深度图像进行处理，这样有利于对图像进一步优化，减少图像失真。在一些可能的实施方式中，在所述利用深度学习神经网络对所述第一深度图像中的多路径干扰进行优化得到第二深度图像之后，所述方法还包括：利用预设的处理模块对所述第二深度图像进行校准得到第四深度图像，所述预设的处理模块用于执行任一项或者多项如下操作：对多次谐波进行校准、对温漂进行校准、对像素个体差异带来的梯度误差进行校准、对镜头内参进行校准、和对噪声进行滤波。本申请实施例利用深度学习神经网络和预设的处理模块依次对第一深度图像进行处理，这样有利于对图像进一步优化，减少图像失真。在一些可能的实施方式中，所述深度神经网络的训练模型的输入包括预设数据集，所述预设数据集包括多个数据对，任一所述数据对中的两个数据包括：相同的场景、同样的角度，一个数据是包括多路径干扰的深度图，另一个数据是不包括多路径干扰的深度图，所述不包括多路径干扰的深度图通过仿真TOF深度计算过程得到。由于实际采集深度数据时，很难获得不包含多路径干扰的深度图，本实施例在构建预设数据集时，其中的不包括多路径干扰的深度图通过仿真TOF深度计算过程得到。所述仿真包含构建虚拟的三维场景数据、给虚拟三维场景中各实体赋予表面反射率等材质参数、建立虚拟光源、建立虚拟相机等，随后我们进行光线追迹，模拟光源发出光线、光线在场景中的各实体表面反射、反射光线进入相机这一整个过程。需要获取不包括多路径干扰的深度图时我们只计算一次反射，需要获取包括多路径干扰的深度图时我们则计算多次反射。经过验证通过仿真得到的数据与实拍数据在趋势上基本吻合，所以本实施例降低了获取不包括多路径干扰的深度图的难度。第二方面，本申请实施例公开了一种图像采集方法，所述方法应用在包括TOF相机的电子设备，所述图像采集方法包括如下步骤：获取图像采集指令；根据所述图像采集指令触发所述TOF相机采集第一深度图像；利用深度学习神经网络对所述第一深度图像中的多路径干扰进行优化得到第二深度图像。需要说明的是，图像采集指令可以是触发某个应用后，指示电子设备通过TOF相机采集图像的指令。应用可以是：拍照、3D试装、增强现实(AugmentedReality，AR)装潢、AR游戏、体感游戏、或者全息影像交互等应用。图像采集指令可以是用户通过点击电子设备显示屏上的按钮生成的，也可以用户通过按压电子设备的控件生成的，还可以是用户滑动电子设备显示屏生成的等。电子设备可以检测生成的图像采集指令。本申请实施例提供的技术方案，在进行图像采集时，利用深度学习神经网络对TOF相机采集的第一深度图形的多路径干扰进行了优化，有利于减少多路径干扰导致的图像失真。在一些可能的实施方式中，在所述利用深度学习神经网络对所述第一深度图像中的多路径干扰进行优化得到第二深度图像之前，所述方法还包括：利用预设的处理模块对所述第一深度图像进行校准得到第三深度图像，所述预设的处理模块用于执行任一项或者多项如下操作：对多次谐波进行校准、对温漂进行校准、对像素个体差异带来的梯度误差进行本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，所述方法包括如下步骤：/n通过TOF相机获取第一深度图像；/n利用深度学习神经网络对所述第一深度图像中的多路径干扰进行优化得到第二深度图像。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括如下步骤：
通过TOF相机获取第一深度图像；
利用深度学习神经网络对所述第一深度图像中的多路径干扰进行优化得到第二深度图像。


2.根据权利要求1所述的图像处理方法，其特征在于，在所述利用深度学习神经网络对所述第一深度图像中的多路径干扰进行优化得到第二深度图像之前，所述方法还包括：
利用预设的处理模块对所述第一深度图像进行校准得到第三深度图像，所述预设的处理模块用于执行任一项或者多项如下操作：对多次谐波进行校准、对温漂进行校准、对像素个体差异带来的梯度误差进行校准、对镜头内参进行校准、和对噪声进行滤波；
所述利用深度学习神经网络对所述第一深度图像中的多路径干扰进行优化得到第二深度图像，包括：利用深度学习神经网络对所述第三深度图像中的多路径干扰进行优化得到第二深度图像。


3.根据权利要求1所述的图像处理方法，其特征在于，在所述利用深度学习神经网络对所述第一深度图像中的多路径干扰进行优化得到第二深度图像之后，所述方法还包括：
利用预设的处理模块对所述第二深度图像进行校准得到第四深度图像，所述预设的处理模块用于执行任一项或者多项如下操作：对多次谐波进行校准、对温漂进行校准、对像素个体差异带来的梯度误差进行校准、对镜头内参进行校准、和对噪声进行滤波。


4.根据权利要求1至3任一项所述的图像处理方法，其特征在于，
所述深度神经网络的训练模型的输入包括预设数据集，所述预设数据集包括多个数据对，任一所述数据对中的两个数据包括：相同的场景、同样的角度，一个数据是包括多路径干扰的深度图，另一个数据是不包括多路径干扰的深度图，所述不包括多路径干扰的深度图通过仿真TOF深度计算过程得到。


5.一种图像采集方法，其特征在于，所述方法应用在包括TOF相机的电子设备，所述图像采集方法包括如下步骤：
获取图像采集指令；
根据所述图像采集指令触发所述TOF相机采集第一深度图像；
利用深度学习神经网络对所述第一深度图像中的多路径干扰进行优化得到第二深度图像。


6.根据权利要求5所述的图像采集方法，其特征在于，在所述利用深度学习神经网络对所述第一深度图像中的多路径干扰进行优化得到第二深度图像之前，所述方法还包括：
利用预设的处理模块对所述第一深度图像进行校准得到第三深度图像，所述预设的处理模块用于执行任一项或者多项如下操作：对多次谐波进行校准、对温漂进行校准、对像素个体差异带来的梯度误差进行校准、对镜头内参进行校准、和对噪声进行滤波；
所述利用深度学习神经网络对所述第一深度图像中的多路径干扰进行优化得到第二深度图像，包括：利用深度学习神经网络对所述第三深度图像中的多路径干扰进行优化得到第二深度图像。


7.根据权利要求5所述的图像采集方法，其特征在于，在所述利用深度学习神经网络对所述第一深度图像中的多路径干扰进行优化得到第二深度图像之后，所述方法还包括：
利用预设的处理模块对所述第二深度图像进行校准得到第四深度图像，所述预设的处理模块用于执行任一项或者多项如下操作：对多次谐波进行校准、对温漂进行校准、对像素个体差异带来的梯度误差进行校准、对镜头内参进行校准、和对噪声进行滤波。


8.根据权利要求5至7任一项所述的图像采集方法，其特征在于，
所述深度神经网络的训练模型的输入包括预设数据集，所述预设数据集包括多个数据对，任一所述数据对中的两个数据包括：相同的场景、同样的角度，一个数据是包括多路径干扰的深度图，另一个数据是不包括多路径干扰的深度图，所述不包括多路径干扰的深度图通过仿真TOF深度计算过程得到。


9.一种图像处理装置，其特征在于，所述图像处理装置包括：
第一获取单元，用于通过TOF相机获取第一深度图像；
第一处理单元，用于利用深度学习神经网络对所述第一深度图像中的多路径干扰进行优化得到第二深度图像。


10.根据权利要求9所述的图像处理装置，其特征在于，
所述第一处理单元还用于，在利用深度学习神经网络对所述第一深度图像中的多路径干扰进行优化得到第二深度图像之前，利用预设的处理模块对所述第一深度图像进行校准得到第三深度图像，所述...

【专利技术属性】
技术研发人员：刘昆，江超，沈涛，李阳，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44