一种深度图恢复方法技术

本发明专利技术公开了一种深度图恢复方法，包括如下步骤：A1：由相当大数量的各类物体的深度图构成训练集；A2：建立卷积神经网络(CNN)，采取核分离方法，获得隐藏层的参数，建立卷积网络结构，利用训练集中的深度图训练网络结构、调整网络权重；A3：在CNN的输出层，针对可能的结果建立自回归(AR，auto-regression)模型，并建立评价指标；A4：将深度传感器获得的原始深度图输入CNN中，通过去噪、分类后，由AR模型恢复，通过评价指标检测，若不合要求则将结果图输入A2中，直到得到高质量深度图或终止循环。本发明专利技术采用了深度卷积网络来恢复从深度传感器获得的低分辨率、低信噪比的图像。利用本发明专利技术能够显著提高深度图的质量，同时也简化了获得深度图的方法。

【技术实现步骤摘要】

本专利技术涉及计算机视觉技术和图像处理领域，特别涉及一种深度图恢复方法。技术背景本技术所属计算机视觉技术和图像处理领域。深度图是从实际拍摄的场景中获得的深度信息，它对于增加真实感、进行3D重建和3D电视的应用有着至关重要的作用。现在深度图的获取分为两种形式，一种是被动方式，另一种是主动方式。本技术所针对的主要是由深度传感器主动获得的深度图。但现在主流的主动深度传感器(如ToF相机、Kinect等)所获得的深度图，存在低像素、低信噪比等缺点，如ToF相机获得的深度图受噪点和低分辨的影响，Kinect获得的深度图有相当大的洞。这些问题都给深度图的应用造成了不便。为了得到高质量的图像信息，目前在这方面有广泛的研究。本技术中主要涉及的问题有噪点等图像退化问题。本技术的基本前提技术包括机器学习中的深度学习技术和深度图恢复技术。深度学习技术因在图像识别、图像处理中的显著效果，近年来受到了广泛的关注。本技术中采用了深度学习的卷积神经网络结构(CNN)，在有监督学习下的有着出色的分类效果，利用核分解来初始化网络权重可以对输入图像起到反卷积的作用。在目前的分类技术中，机器学习中有线性回归法、非线性回归法、BP算法、支持向量机法等，这其中包括有监督的学习和无监督的学习。但它们都各自存在一定的缺陷，并且在实际应用中效果比卷积神经网络要差很多。深度恢复技术有MRF、IMLS、Edge、JGF等方法，但使用单独的一种技术恢复的效果都不理想。<br>为了恢复从深度传感器获得的有缺陷的深度图，目前大都采用基于滤波器的深度图恢复方案，但是计算复杂度收敛得比较慢。卷积神经网络的一个重要特点是具有权值共享特性，这使得训练时间和计算时间显著得减少。对于为深度图退化模型而特别设计的AR模型，可以有效地针对性恢复。由于主要的深度图退化由欠采样、随机深度丢失、结构深度丢失和附加噪点污染造成，因此，只需针对这几种模型进行参数调整。带有反卷积特性的卷积神经网络可以有效地对输入的图像进行去噪处理，并由训练的网络将图像准确地分类为何种退化模型，并由相应的AR参数模型来进行深度图的恢复。
技术实现思路
本专利技术的目的是提出一种深度图恢复方法，显著提高深度图的质量，同时也简化获得深度图的方法。为此，本专利技术提出的深度图恢复方法包括：A1：由各类物体的深度图构成训练集；A2：建立卷积神经网络，采取核分离方法，获得隐藏层的参数，建立卷积网络结构，利用训练集中的深度图训练网络结构、调整网络权重；A3：在卷积神经网络的输出层，针对可能的结果建立自回归模型，并建立评价指标；A4：将深度传感器获得的原始深度图输入卷积神经网络中，通过去噪、分类后，由自回归模型恢复，通过评价指标检测，若不合要求则将结果图输入A2中，直到得到高质量深度图或终止循环。本专利技术采用了深度卷积网络来恢复从深度传感器获得的低分辨率、低信噪比的图像。利用本专利技术能够显著提高深度图的质量，同时也简化了获得深度图的方法。附图说明图1是本专利技术实施例流程示意图。具体实施方式本实施例深度图建立训练集，对训练卷积神经网络的参数结构，使得CNN能够对退化的深度图进行分类。利用核分解的方式，初始化CNN结构中的隐藏层，使得CNN结构具有反卷积特性，在分类的同时起到去噪、滤波的作用，部分解决了深度图的退化问题。建立AR模型，并根据主要的退化模型分别对AR模型进行参数的调整。将CNN的输出层和AR模型的输入层建立联系，将CNN对应的输出结果输入到AR模型中。本实施例所提出的一种基于卷积神经网络和自回归模型的深度图恢复方法包括如下步骤：A1：由相当大数量的各类物体的深度图构成训练集；规模可以考虑在1万张深度图左右，也可以更多，因为越大的训练数据其测试结果更好，但其训练时间也会因此加大，在一定训练量之后其性能的提升比较有限，对于一般的工作站或者服务器综合考虑性能和时间，从公共训练集选出一万张左右深度图比较合适；A2：建立卷积神经网络(CNN)，采取核分离方法，获得隐藏层的参数，建立卷积网络结构，利用训练集中的深度图训练网络结构、调整网络权重。A3：在CNN的输出层，针对可能的结果建立自回归(AR，auto-regression)模型，并建立评价指标；A4：将深度传感器获得的原始深度图输入CNN中，通过去噪、分类后，由AR模型恢复，通过评价指标检测，若不合要求则将结果图输入A2中，直到得到高质量深度图或终止循环。在具体的实施方案中，可按下面方式操作。需注意的是，在下面的实施过程中所述的具体方法(如核分离法、有监督学习算法等)都仅为例举说明，本专利技术所涵盖的范围不局限于所例举的这些方法。A1：用于训练和测试的各类物体的深度图，可以由深度传感器获得，也可以由网络获得，但是必须具有所属于何种深度图退化的标签，这在之后的有监督学习中至关重要。对于单张图像而言，可能存在受多种退化模型综合影响的情况(包括例如：1、由于下采样(刻意减少图像分辨率)而造成的退化；2、随机深度信息丢失(一种随机误差)；3、结构深度信息丢失；4、附加噪点导致的深度图退化；5、其他由于深度相机系统误差导致的深度图退化)，但是对于我们的训练集中的深度图选取应尽量只受单一退化因素的影响，否则会影响训练的正确性以及分类的正确性。其中，关于“所属于何种深度图退化的标签”解释如下：有监督的机器学习和无监督的机器学习最大的区别在于有没有前期的人工干预，也就是定义标签。有监督的学习通过标签对输出值(预测值)进行分类，在此次对四种深度图退化的原因分别建模，因此需要首先定义这四个标签，然后才能通过机器学习分类。A2：建立具有反卷积特性的卷积神经网络，首先，先建立卷积神经网络的模型，h3＝W3*h2；hl＝σ(Wl*hl-1+bl-1)，l∈{1,2本文档来自技高网...

【技术保护点】
一种深度图恢复方法，其特征在于，所述方法包括：A1：由各类物体的深度图构成训练集；A2：建立卷积神经网络，采取核分离方法，获得隐藏层的参数，建立卷积网络结构，利用训练集中的深度图训练网络结构、调整网络权重；A3：在卷积神经网络的输出层，针对可能的结果建立自回归模型，并建立评价指标；A4：将深度传感器获得的原始深度图输入卷积神经网络中，通过去噪、分类后，由自回归模型恢复，通过评价指标检测，若不合要求则将结果图输入A2中，直到得到高质量深度图或终止循环。

【技术特征摘要】
1.一种深度图恢复方法，其特征在于，所述方法包括：
A1：由各类物体的深度图构成训练集；
A2：建立卷积神经网络，采取核分离方法，获得隐藏层的参数，建立卷积网络结构，利用
训练集中的深度图训练网络结构、调整网络权重；
A3：在卷积神经网络的输出层，针对可能的结果建立自回归模型，并建立评价指标；
A4：将深度传感器获得的原始深度图输入卷积神经网络中，通过去噪、分类后，由自回
归模型恢复，通过评价指标检测，若不合要求则将结果图输入A2中，直到得到高质量深度图
或终止循环。
2.如权利要求1所述的深度图恢复方法，其特征在于，所述步骤A1中各类物体的深度...

【专利技术属性】
技术研发人员：张永兵，沈涛，王兴政，王好谦，李莉华，戴琼海，
申请(专利权)人：深圳市未来媒体技术研究院，清华大学深圳研究生院，
类型：发明
国别省市：广东;44