一种图像深度估计方法和系统技术方案

本发明专利技术公开了一种图像深度估计方法和系统，其中方法的实现包括：构建深度估计网络，深度估计网络包括：编码部分、卷积连接部分和解码部分，解码部分的反卷积层与编码部分的尺度相同的卷积块中的最后一层卷积层相连接，形成最终的反卷积层；选取样本图像中的两张连续图像和其中一张图像的深度图作为训练样本，利用训练样本训练深度估计网络，得到训练好的深度估计网络；采集测试图像，提取测试图像的当前帧图像和当前帧图像的前一帧图像；将当前帧图像和前一帧图像的颜色通道输入训练好的深度估计网络，得到当前帧图像的深度图。本发明专利技术方法效率高，得到深度图精确度高、致密性强。

An image depth estimation method and system

The invention discloses a method and system for estimating an image depth, the method is implemented including: Construction of depth estimation network, depth estimation network includes: encoding, convolution part connecting part and a decoding part, anti roll laminated and encoding part scale decoding part of the last layer in the same block convolution convolution is connected the formation of the final backscroll layer; sample images in two successive images and the depth map of an image as the training samples, the training samples to estimate the network depth estimation is obtained by the trained network depth; image acquisition test, extract the current frame image and current frame image before an image of the test image the current color depth; channel into the frame and previous frame image estimation network, get the depth map of current frame image. The method has the advantages of high efficiency, high depth map and strong compactness.

【技术实现步骤摘要】
一种图像深度估计方法和系统
本专利技术属于计算机视觉领域，更具体地，涉及一种图像深度估计方法和系统。
技术介绍
图像深度估计被广泛应用到智能车避障，机器人控制，汽车辅助驾驶，增强现实等应用领域。道路场景下基于视觉的图像深度估计，利用计算机视觉技术，通过处理摄像头捕捉的图像，获得引导信息。与其他引导技术相比，基于视觉的方法不必增加其他的传感器设施，易于对采集设备进行扩展。随着我国车辆拥有数量的增加和道路状况的日益复杂以及对辅助驾驶功能的更高要求，基于视觉的图像深度估计也被广泛地应用到智能辅助驾驶之中。目前道路场景下基于计算机视觉的深度估计方法主要分为两种：1)基于双目图像的深度估计方法；2)基于单目图像的深度估计方法。基于双目图像的道路场景深度估计方法是通过安装在两个不同角度的摄像机对同一个场景从不同的视角拍摄，然后通过两幅图像以及两幅图像之间的基本几何关系恢复场景的三维信息，从而获得场景中每个像素点的深度估计值。在智能辅助驾驶中，利用获得的深度值对前方障碍物进行预警。但是，基于双目图像的道路场景深度估计方法存在大量的问题。如双目摄像机在车辆行驶过程中的自标定问题，双目相机的计算量大问题等。这些问题造成了基于双目相机的道路场景深度估计的不准确和不实用。基于单目图像的道路场景深度估计方法又可以分为非基于学习的方法和基于学习的方法。非基于学习的方法通常是给定一部分的道路场景图像以及场景图像所对应的深度图像作为参考图像集合，然后根据拍摄的当前帧图像与参考的图像集合中的道路场景图像中的图像匹配结果，获得道路场景的深度信息。方法的计算复杂度非常高，检测图像和参考图像集合中进行匹配的过程一般非常缓慢。并且，方法一般要求参考图像集合中的图像与拍摄的图像具有相似的空间结构，并且需要花费极大的存储空间维护一个数据庞大的参考图像集合。基于学习的道路场景深度估计方法一般是以场景图像以及图像的深度作为输入，学习道路场景图像与深度图像之间的对应关系，获得深度模型。然后利用深度模型对输入的图像中场景深度进行预测，获得场景中目标或者像素的深度信息。当前大部分的基于学习的道路场景图像深度估计方法是通过深度学习的方法进行的。但是，大部分的基于深度学习的深度估计方法是针对单幅图像或者双目图像中的左右立体图像而言的，并且往往需要光流等信息作为辅助进行输入计算，不能直接实现端对端的深度估计计算，同时也造成了深度估计计算不准确等问题。另外一个问题是当前的基于深度学习方法的深度估计是将深度估计问题看作分类问题来处理，采用全连接层，最终得到的结果不能够直接输出与输入图像相同尺度大小的深度图，即得到的结果是非致密的，需要后期进一步的上采样才能够得到最终的输出结果。同时，网络层数过深，使得运算速度非常慢，要实现像素级的深度估计需要大量的运存。由此可见，现有技术存在精确度低、效率低、且最终得到的深度图是非致密的技术问题。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了一种图像深度估计方法和系统，其目的在于构建深度估计网络，利用训练样本训练深度估计网络，得到训练好的深度估计网络；采集测试图像输入深度估计网络，得到深度图，由此解决现有技术存在精确度低、效率低、且最终得到的深度图是非致密的技术问题。为实现上述目的，按照本专利技术的一个方面，提供了一种图像深度估计方法，包括：(1)构建深度估计网络，深度估计网络包括：编码部分、卷积连接部分和解码部分，解码部分的反卷积层与编码部分的尺度相同的卷积块中的最后一层卷积层相连接，形成最终的反卷积层；(2)选取样本图像中的两张连续图像和其中一张图像的深度图作为训练样本，利用训练样本训练深度估计网络，得到训练好的深度估计网络；(3)采集测试图像，提取测试图像的当前帧图像和当前帧图像的前一帧图像；将当前帧图像和前一帧图像的颜色通道输入训练好的深度估计网络，得到当前帧图像的深度图。进一步的，步骤(1)包括以下子步骤：(1-1)编码部分由若干层卷积块组成，上一卷积块与下一卷积块之间通过最大池操作连接，每个卷积块中包含若干个卷积层；(1-2)卷积连接部分包含若干层卷积层，对每层卷积层进行防止过拟合操作；(1-3)解码部分包含若干层反卷积层，将每层反卷积层与编码部分中的尺度相同的卷积块中的最后一层卷积层相连接，形成最终的反卷积层；(1-4)利用编码部分、卷积连接部分和解码部分构建深度估计网络。进一步的，步骤(2)还包括对训练样本进行预处理，使得训练样本具有泛化性。进一步的，步骤(3)还包括对当前帧图像和前一帧图像进行直方图均衡化处理。进一步的，步骤(3)还包括利用高斯滤波对深度图进行平滑处理。按照本专利技术的另一方面，提供了一种图像深度估计系统，包括：构建深度估计网络模块，用于构建深度估计网络，深度估计网络包括：编码部分、卷积连接部分和解码部分，解码部分的反卷积层与编码部分的尺度相同的卷积块中的最后一层卷积层相连接，形成最终的反卷积层；训练深度估计网络模块，用于选取样本图像中的两张连续图像和其中一张图像的深度图作为训练样本，利用训练样本训练深度估计网络，得到训练好的深度估计网络；在线深度估计模块，用于采集测试图像，提取测试图像的当前帧图像和当前帧图像的前一帧图像；将当前帧图像和前一帧图像的颜色通道输入训练好的深度估计网络，得到当前帧图像的深度图。进一步的，构建深度估计网络模块包括：构建编码部分子模块，用于构建编码部分，编码部分由若干层卷积块组成，上一卷积块与下一卷积块之间通过最大池操作连接，每个卷积块中包含若干个卷积层；构建卷积连接部分子模块，用于构建卷积连接部分，卷积连接部分包含若干层卷积层，对每层卷积层进行防止过拟合操作；构建解码部分子模块，用于构建解码部分，解码部分包含若干层反卷积层，将每层反卷积层与编码部分中的尺度相同的卷积块中的最后一层卷积层相连接，形成最终的反卷积层；构建深度估计网络子模块，用于利用编码部分、卷积连接部分和解码部分构建深度估计网络。进一步的，训练深度估计网络模块还包括对训练样本进行预处理，使得训练样本具有泛化性。进一步的，在线深度估计模块还包括对当前帧图像和前一帧图像进行直方图均衡化处理。进一步的，在线深度估计模块还包括利用高斯滤波对深度图进行平滑处理。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，能够取得下列有益效果：(1)本专利技术利用深度估计网络实现图像深度的快速估计，并且能够直接得到致密的场景深度图，同时使得构造的深度估计网络具有较小的体积，容易实现在移动端系统中的快速部署，另外，本专利技术使用连续帧图像作为训练样本，增加了训练样本的信息量，同时加入了编码部分到解码部分之间的跳跃连接，提升了深度图估计的准确性和致密性，且效率高。(2)将每层反卷积层与编码部分中的尺度相同的卷积块中的最后一层卷积层相连接，形成最终的反卷积层，实现深度估计网络的全卷积跳跃连接，进而能够实现端对端的致密深度估计，同时减少深度估计网络的参数训练量，缩小深度估计网络参数的存储空间，使得最终的深度图更加准确。(3)优选的，对训练样本进行预处理，能够有效的解决训练样本数量过少而造成的深度估计网络的欠拟合，增强训练样本的种类和泛化性。(4)优选的，对当前帧图像和前一帧图像进行直方图均衡化处理，能够提升深度估计网络中输入本文档来自技高网...

【技术保护点】
一种图像深度估计方法，其特征在于，包括：(1)构建深度估计网络，深度估计网络包括：编码部分、卷积连接部分和解码部分，解码部分的反卷积层与编码部分的尺度相同的卷积块中的最后一层卷积层相连接，形成最终的反卷积层；(2)选取样本图像中的两张连续图像和其中一张图像的深度图作为训练样本，利用训练样本训练深度估计网络，得到训练好的深度估计网络；(3)采集测试图像，提取测试图像的当前帧图像和当前帧图像的前一帧图像；将当前帧图像和前一帧图像的颜色通道输入训练好的深度估计网络，得到当前帧图像的深度图。

【技术特征摘要】
1.一种图像深度估计方法，其特征在于，包括：(1)构建深度估计网络，深度估计网络包括：编码部分、卷积连接部分和解码部分，解码部分的反卷积层与编码部分的尺度相同的卷积块中的最后一层卷积层相连接，形成最终的反卷积层；(2)选取样本图像中的两张连续图像和其中一张图像的深度图作为训练样本，利用训练样本训练深度估计网络，得到训练好的深度估计网络；(3)采集测试图像，提取测试图像的当前帧图像和当前帧图像的前一帧图像；将当前帧图像和前一帧图像的颜色通道输入训练好的深度估计网络，得到当前帧图像的深度图。2.如权利要求1所述的一种图像深度估计方法，其特征在于，所述步骤(1)包括以下子步骤：(1-1)编码部分由若干层卷积块组成，上一卷积块与下一卷积块之间通过最大池操作连接，每个卷积块中包含若干个卷积层；(1-2)卷积连接部分包含若干层卷积层，对每层卷积层进行防止过拟合操作；(1-3)解码部分包含若干层反卷积层，将每层反卷积层与编码部分中的尺度相同的卷积块中的最后一层卷积层相连接，形成最终的反卷积层；(1-4)利用编码部分、卷积连接部分和解码部分构建深度估计网络。3.如权利要求1或2所述的一种图像深度估计方法，其特征在于，所述步骤(2)还包括对训练样本进行预处理，使得训练样本具有泛化性。4.如权利要求1或2所述的一种图像深度估计方法，其特征在于，所述步骤(3)还包括对当前帧图像和前一帧图像进行直方图均衡化处理。5.如权利要求1或2所述的一种图像深度估计方法，其特征在于，所述步骤(3)还包括利用高斯滤波对深度图进行平滑处理。6.一种图像深度估计系统，其特征在于，包括：构建深度估计网络模块，用于构建深度估计网络，深度估...

【专利技术属性】
技术研发人员：陶文兵，张治国，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42