基于深度卷积网络的单目视频深度估计方法技术

本发明专利技术属于视频处理技术领域，公开了一种基于深度卷积网络的单目视频深度估计方法，包括步骤：获取训练数据和待测试单目视频；构建深度估计网络模型，包含深度预测子网络和相机位姿估计子网络，解码器包含上采样模块和密集空洞金字塔模块；利用训练数据对深度预测子网络和相机位姿估计子网络进行联合训练，采用损失函数对两个子网络的网络参数进行迭代更新；估计待测试单目视频的深度图。本发明专利技术利用更多的原图空间信息，有效的提高了深度预测的精度。度。度。

【技术实现步骤摘要】
基于深度卷积网络的单目视频深度估计方法


[0001]本专利技术属于视频处理
，更进一步涉及基于深度卷积网络的单目视频深度估计方法，可用于三维重建、机器人导航和自动驾驶。

技术介绍

[0002]深度估计在许多任务中有着不可或缺的地位，如在三维重建，自动驾驶，机器人导航等重要领域。双目深度估计算法通过模拟人眼，用立体摄像机或者多个摄像机所拍不同视角的图片之间的视差来进行深度估计，是现在最为常见的深度估计算法。然而，双目深度估计算法存在着大量问题，如计算复杂度高，双目图片获取难度大，低纹理区域匹配较难等等。单视角图片获取难度往往比多视角图片要低。单目深度估计算法从单摄像头所拍的图片或者视频中获取深度，能极大的降低成本和数据获取难度。
[0003]此外，在深度估计问题中，深度真值的获取成本非常高，通常通过光传感器(室内)和激光雷达(室外)获取深度信息来给图像做标注。基于视频序列的无监督深度估计方法将视频序列的深度预测问题视为相邻帧之间图像合成过程的中间过程，所以不需要深度真值进行训练。
[0004]Zhou.T.H，Brown.M，Snavely.N，Lowe.D等人发表的论文“Unsupervised Learning of Depth and Ego
‑
Motion from Video”(The IEEE Conference on Computer Vision and Pattern Recognition，2017)公开了一种基于深度学习的无监督视频深度估计算法。此算法无需深度真值，基于视频序列之间的多角度匹配关系预测深度，在考虑了前有工作的输出尺度不一致性的问题后，提出了几何一致性约束，并在此基础上提出了一个自发现的掩码模块，解决了输出深度图帧与帧之间尺度不一致的问题，并且在深度预测上有较高的精度。
[0005]但是仍然存在的不足之处是：该方法所用的网络没有充分的利用到多尺度的特征融合信息，来提高深度预测的精度。骨干网络的特征重用效果有限，不能充分的提取图像特征。

技术实现思路

[0006]针对现有技术存在的问题，本专利技术的目的在于提供一种基于深度卷积网络的单目视频深度估计方法及系统，利用深层卷积网络结构，提高最终得到的深度图的精确度。
[0007]为了达到上述目的，本专利技术采用以下技术方案予以实现。
[0008]基于深度卷积网络的单目视频深度估计方法，包括以下步骤：
[0009]步骤1，获取训练数据和待测试单目视频；
[0010]其中，训练数据包含RGB光学视频序列I＝{I
t
，0≤t≤T，t∈Z}和对应的深度真值图序列D＝{D
t
，0≤t≤T，t∈Z}，Z表示时间集合，I
t
代表t时刻的RGB图像，D
t
代表t时刻的深度真值图像；
[0011]步骤2，构建深度估计网络模型，所述深度估计网络模型包含深度预测子网络和相
机位姿估计子网络，所述深度预测子网络为自编码网络，包含编码器和解码器，所述编码器为密集连接的深度卷积网络，所述解码器包含上采样模块和密集空洞金字塔模块；所述相机位姿估计子网络为深层卷积神经网络；
[0012]步骤3，利用训练数据对深度预测子网络和相机位姿估计子网络进行联合训练，采用损失函数对两个子网络的网络参数进行迭代更新，得到训练好的深度预测子网络；
[0013]其中，所述损失函数包含图像重构误差L
p
、尺度一致性误差L
GC
和光滑项误差L
s
；
[0014]步骤4，将待测试单目视频输入训练好的深度预测子网络，输出归一化后的深度预测图；根据实际物理尺度，对输出的归一化深度图进行校准，得到最终的预测深度图。
[0015]与现有技术相比，本专利技术的有益效果为：
[0016]本专利技术由于构建的深度预测子网络具有密集连接的深层结构和多尺度金字塔特征融合模块，可以提取更多的图像信息，克服了现有技术中仅仅只用跳级连接利用多尺度信息进行深度预测的缺陷，以及特征提取网络无法进行特征重用的不足，使得本专利技术所利用的原图空间信息更多，有效的提高了深度预测的精度。
附图说明
[0017]下面结合附图和具体实施例对本专利技术做进一步详细说明。
[0018]图1是本专利技术的实现流程图；
[0019]图2是本专利技术的深度卷积网络结构图；
[0020]图3是本专利技术实施例中输入的相邻帧RGB图像；
[0021]图4是采用本专利技术得到的相邻帧图像的输出深度图；
[0022]图5是本专利技术的图像重构过程示意图。
具体实施方式
[0023]下面将结合实施例对本专利技术的实施方案进行详细描述，但是本领域的技术人员将会理解，下列实施例仅用于说明本专利技术，而不应视为限制本专利技术的范围。
[0024]参考图1，本专利技术提供的一种基于深度卷积网络的单目视频深度估计方法，包括以下步骤：
[0025]步骤1，获取训练数据和待测试单目视频；
[0026]其中，训练数据包含RGB光学视频序列I＝{I
t
，0≤t≤T，t∈Z}和对应的深度真值图序列D＝{D
t
，0≤t≤T，t∈Z}，Z表示时间集合，I
t
代表t时刻的RGB图像，D
t
代表t时刻的深度真值图像；
[0027]本实施例从KITTI数据集中RGB图像序列和3D激光雷达点云数据随机划分为训练集和测试集。测试集内样本相当于待测试单目视频。
[0028]在训练集中随机采样获取相邻两帧t时刻和t
‑
1时刻的RGB图像I
t
，I
t
‑1，再利用3D激光雷达点云数据恢复的对应t时刻和t
‑
1时刻的深度真值图D
t
，D
t
‑1。
[0029]步骤2，构建深度估计网络模型，所述深度估计网络模型包含深度预测子网络和相机位姿估计子网络，所述深度预测子网络为自编码网络，包含编码器和解码器，所述编码器为密集连接的深度卷积网络，所述解码器包含上采样模块和密集空洞金字塔模块；所述相机位姿估计子网络为深层卷积神经网络；
[0030]具体地，深度估计网络模型的结构如图2所示：
[0031]所述深度预测子网络为自编码网络，所述编码器为密集连接的深度卷积网络DenseNet；解码器的主体为图像上采样，加上额外引入的密集空洞金字塔模块DenseASPP来进行多尺度特征融合。相邻两帧的RGB图像I
t
，I
t
‑1作为深度预测子网路输入，如图3所示，其网络输出为对应的深度预测图如图4所示，其中I
t
和的下标t代表着t时刻，的上标代表这是深度预测网络预测的结果，与传感器所得到的深度真值D
t
做区分。
[0032]所述相机位姿预测子网络为深本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度卷积网络的单目视频深度估计方法，其特征在于，包括以下步骤：步骤1，获取训练数据和待测试单目视频；其中，训练数据包含RGB光学视频序列I＝{I
t
，0≤t≤T，t∈Z}和对应的深度真值图序列D＝{D
t
，0≤t≤T，t∈Z}，Z表示时间集合，I
t
代表t时刻的RGB图像，D
t
代表t时刻的深度真值图像；步骤2，构建深度估计网络模型，所述深度估计网络模型包含深度预测子网络和相机位姿估计子网络，所述深度预测子网络为自编码网络，包含编码器和解码器，所述编码器为密集连接的深度卷积网络，所述解码器包含上采样模块和密集空洞金字塔模块；所述相机位姿估计子网络为深层卷积神经网络；步骤3，利用训练数据对深度预测子网络和相机位姿估计子网络进行联合训练，采用损失函数对两个子网络的网络参数进行迭代更新，得到训练好的深度预测子网络；其中，所述损失函数包含图像重构误差L
p
、尺度一致性误差L
GC
和光滑项误差L
s
；步骤4，将待测试单目视频输入训练好的深度预测子网络，输出归一化后的深度预测图；根据实际物理尺度，对输出的归一化深度图进行校准，得到最终的预测深度图。2.根据权利要求1所述的基于深度卷积网络的单目视频深度估计方法，其特征在于，所述编码器为密集连接的深度卷积网络DenseNet；所述解码器的主体为图像上采样，加上引入的密集空洞金字塔模块DenseASPP进行多尺度特征融合。3.根据权利要求1所述的基于深度卷积网络的单目视频深度估计方法，其特征在于，所述利用训练数据对深度预测子网络和相机位姿估计子网络进行联合训练，具体过程为：(3.1)对所述深度估计网络模型的网络参数进行随机初始化；(3.2)将相邻两帧的RGB图像I
t
，I
t
‑1分别输入深度预测子网络和相机姿态预测子网络，然后分别计算每个子网络的掩模权重、尺度一致性误差、图像重构误差和光滑正则项误差；(3.3)通过最小化整体误差联合训练深度预测子网络和相机姿态估计子网络，使得深度预测子网络能够输出高精度的深度图；(3.4)利用批量随机梯度下降方法，对步骤(3.3)得到的深度预测子网络和相机位姿估计子网络中的所有网络参数进行迭代更新，直至模型收敛，完成网络模型的优化。4.根据权利要求3所述的基于深度卷积网络的单目视频深度估计方法，其特征在于，所述从均值为0、方差为0.01的高斯分布中随机采样，将随机采样的数组作为深度估计网络模型的初始化...

【专利技术属性】
技术研发人员：陈渤，曾泽群，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：