一种基于深度学习和傅里叶域分析的图像深度估计算法制造技术

本发明专利技术公开了一种基于深度学习和傅里叶域分析的图像深度估计算法，其包括，读取数据集里的图像对，将图像对输入提出的网络架构中获取重建视图；将图像对和重建视图带入损失函数，训练并确认网络架构，得到最初视差图；带入以裁剪比λ裁剪的图像对至确认的网络架构，获取视差映射候选对象；以及，融合视差映射候选对象，估计深度并显示于显示设备上；其中，所述图像对区分为左视图和右视图，所述重建视图区分为重建左视图和重建右视图；本发明专利技术基于深度学习的网络架构和傅里叶域分析无监督单目图像估计深度学习算法，有效提高了深度图精度和运动图像深度估计的精度，改进的网络架构，提升算法准确度和鲁棒性。

An image depth estimation algorithm based on depth learning and Fourier domain analysis

【技术实现步骤摘要】
一种基于深度学习和傅里叶域分析的图像深度估计算法
本专利技术涉及的计算机视觉
，尤其涉及一种基于深度学习和傅里叶域分析的图像深度估计算法。
技术介绍
近年来，深度信息在传感器中获得了越来越多的应用。获取深度信息的技术主要有双目立体匹配，TOF(TimeofFlight，飞行时间)，单目结构光，激光雷达等技术，这些技术可以为传感器增加额外的深度信息，随着深度学习的发展，学者们开始大量地尝试运用卷积神经网络(CNN)来研究单目图像的深度估计问题，语义分割与深度估计都是像素级标签任务，最初用来研究语义分割问题的全卷积网络(FCN)可以有效地保留空间信息，因此一些学者同样用FCN来研究。然而大部分现有的方法将深度估计问题看作有监督的回归问题，因此需要大量相应的groundtruth深度数据进行训练，在各种场景中记录有质量的深度数据是一个有挑战性的问题。Hinton提出了一种深度信念网络模型可以使用一种叫做贪婪逐层训练策略的算法来进行有效的训练，这很快引起了人们对神经网络的研究热情，随后，加拿大高等研究院提出这种训练方法也适用于其他不同类型的深度神经网络，并且能够系统的提高网络模型在测试样本上的泛化能力，美国Stanford大学计算机系教授开发出新的机器视觉算法，利用马尔科夫场训练的模型，在单目深度估计上取得了突破性的的进展，在一副静止的画面中，机器人能通过该算法大致地估计出障碍物的大概距离，Karsch等人进了深度融合的方式，并引入了时域上的约束条件，然而，基于采样的深度估计算法依赖于大型的图像深度数据库，在运算时存储和计算效率较低，并且很有可能出现数据库中无法找到与测试图像相似图像的情况，使得深度恢复精度很低，2014年，Eigen等人，率先尝试使用CNN来进行图像的深度估计工作，他们使用多尺度CNN模型，通过优化像素最小二乘损失，从图像直接回归出深度值，Li等人提出了在超像素级进行学习的方法，并引入了条件随机场对CNN网络的输出结果进行约束，使其深度值在空间上更加平滑；Liu等将CNN和CRF合并到同一个网络，以端到端的方式进行训练，CNN特征由此能够与CRF深度估计模型更好地结合，由此进一步带来了深度估计准确率的提升，虽然深度学习在诸如无人驾驶、目标识别与追踪、语音识别等领域取得了成果，然而要将单张图像深度估计应用在深度学习中时降低其功耗并且效率大大降低，不能满足使用需求。
技术实现思路
本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。鉴于上述现有基于深度学习和傅里叶域分析的单目图像深度估计算法存在的问题，提出了本专利技术。因此，本专利技术目的是提供一种基于深度学习和傅里叶域分析的单目图像深度估计算法，其基于深度学习的网络架构和傅里叶域分析无监督单目图像估计深度学习算法，有效提高了深度图精度和运动图像深度估计的精度，改进的网络架构，提升算法准确度和鲁棒性。为解决上述技术问题，本专利技术提供如下技术方案：一种基于深度学习和傅里叶域分析的图像深度估计算法，其包括，读取数据集里的图像对，将图像对输入提出的网络架构中获取重建视图；将图像对和重建视图带入损失函数，训练并确认网络架构，得到最初视差图；带入以裁剪比λ裁剪的图像对至确认的网络架构，获取视差映射候选对象；以及，融合视差映射候选对象，估计深度并显示于显示设备上；其中，所述图像对区分为左视图和右视图，所述重建视图区分为重建左视图和重建右视图。作为本专利技术所述基于深度学习和傅里叶域分析的图像深度估计算法的一种优选方案，其中：所述读取数据集里的图像对，将图像对输入提出的网络架构中获取重建右视图的步骤包括：读取数据集；获取右视图Ir和左视图Il；左视图Il作为输入图像，右视图Ir作为目标图像带入网络架构内，获得右视差dr；利用左视图Il和右视差dr获得重建右视图其中，重建右视图采用如下公式：作为本专利技术所述基于深度学习和傅里叶域分析的图像深度估计算法的一种优选方案，其中：所述读取数据集里的图像对，将图像对输入提出的网络架构中获取重建左视图的步骤包括：读取数据集；获取右视图Ir和左视图Il；右视图Ir作为输入图像，左视图Il作为目标图像带入网络架构内，获得左视差dl；利用右视图Ir和左视差dl获得重建左视图其中，重建右视图采用如下公式：作为本专利技术所述基于深度学习和傅里叶域分析的图像深度估计算法的一种优选方案，其中：所述将图像对和重建视图带入损失函数，训练并确认网络架构，得到最初视差图的步骤包括：将右视图Ir、左视图Il、重建右视图和重建左视图带入损失函数；通过损失函数训练网络架构；不断迭代，确认网络架构；获得最初视差图。作为本专利技术所述基于深度学习和傅里叶域分析的图像深度估计算法的一种优选方案，其中：所述损失函数Ls采用如下公式：其中，Lam是重建损失函数，重建损失函数Lam区分为重建左视图损失函数和重建右视图损失函数Lds是训练视差图的平滑性，Lds区分为右视差平滑度损失函数和左视差平滑度损失函数αam为1，αds为0.1。作为本专利技术所述基于深度学习和傅里叶域分析的图像深度估计算法的一种优选方案，其中：所述重建左视图损失函数采用如下公式：其中，α设置为0.84，M设置为5，表示输入图像以2M-1为因子进行缩小，，为高斯滤波器，N为像素个数，i和j分别为像素坐标，为左视图和重建左视图结构相似性；其中，左视图和右视图结构相似性采用如下公式：其中，β1＝0.0448，β2＝0.2856，β3＝0.3001，β4＝0.2363，γ＝β5＝0.1333，是亮度对比因子，是对比度因子，是结构对比因子所述左视差平滑度损失函数采用如下公式：其中，表示左视差图像素点(i，j)在水平方向的梯度，表示左视差图像素点(i，j)在垂直方向的梯度，ε＝10-8，N表示像素点个数。作为本专利技术所述基于深度学习和傅里叶域分析的图像深度估计算法的一种优选方案，其中：所述带入以裁剪比λ裁剪的图像对至确认的网络架构，获取视差映射候选对象的步骤包括：将输入的左视图和右视图分别按照裁剪比λ裁剪到四个角；确认的网络架构处理每个裁剪图像，得到相应的视差图；将相应的视差图映射合并成视差映射候选对象；其中，λ为0.6、0.65、0.7、0.75、0.8、0.85、0.9、0.95或1。作为本专利技术所述基于深度学习和傅里叶域分析的图像深度估计算法的一种优选方案，其中：所述将相应的视差图映射合并成视差映射候选对象的步骤包括：相应视差图的视差值按1/λ的倍数缩放；将部分视差图转换至原位置并叠加，对重叠区域进行平均；<本文档来自技高网...

【技术保护点】
1.一种基于深度学习和傅里叶域分析的图像深度估计算法，其特征在于：包括，/n读取数据集里的图像对，将图像对输入提出的网络架构中获取重建视图；/n将图像对和重建视图带入损失函数，训练并确认网络架构，得到最初视差图；/n带入以裁剪比λ裁剪的图像对至确认的网络架构，获取视差映射候选对象；以及，/n融合视差映射候选对象，估计深度并显示于显示设备上；/n其中，所述图像对区分为左视图和右视图，所述重建视图区分为重建左视图和重建右视图。/n

【技术特征摘要】
20190328 CN 20191024278411.一种基于深度学习和傅里叶域分析的图像深度估计算法，其特征在于：包括，
读取数据集里的图像对，将图像对输入提出的网络架构中获取重建视图；
将图像对和重建视图带入损失函数，训练并确认网络架构，得到最初视差图；
带入以裁剪比λ裁剪的图像对至确认的网络架构，获取视差映射候选对象；以及，
融合视差映射候选对象，估计深度并显示于显示设备上；
其中，所述图像对区分为左视图和右视图，所述重建视图区分为重建左视图和重建右视图。


2.如权利要求1所述的基于深度学习和傅里叶域分析的图像深度估计算法，其特征在于：所述读取数据集里的图像对，将图像对输入提出的网络架构中获取重建右视图的步骤包括：
读取数据集；
获取右视图Ir和左视图Il；
左视图Il作为输入图像，右视图Ir作为目标图像带入网络架构内，获得右视差dr；
利用左视图Il和右视差dr获得重建右视图
其中，重建右视图采用如下公式：





3.如权利要求1或2所述的基于深度学习和傅里叶域分析的图像深度估计算法，其特征在于：所述读取数据集里的图像对，将图像对输入提出的网络架构中获取重建左视图的步骤包括：
读取数据集；
获取右视图Ir和左视图Il；
右视图Ir作为输入图像，左视图Il作为目标图像带入网络架构内，获得左视差dl；
利用右视图Ir和左视差dl获得重建左视图
其中，重建右视图采用如下公式：





4.如权利要求3所述的基于深度学习和傅里叶域分析的图像深度估计算法，其特征在于：所述将图像对和重建视图带入损失函数，训练并确认网络架构，得到最初视差图的步骤包括：
将右视图Ir、左视图Il、重建右视图和重建左视图带入损失函数；
通过损失函数训练网络架构；
不断迭代，确认网络架构；
获得最初视差图。


5.如权利要求4所述的基于深度学习和傅里叶域分析的图像深度估计算法，其特征在于：所述损失函数Ls采用如下公式：



其中，Lam是重建损失函数，重建损失函数Lam区分为重建左视图损失函数和重建右视图损失函数Lds是训练视差图的平...

【专利技术属性】
技术研发人员：唐晓娇，陈丽芳，
申请(专利权)人：江南大学，
类型：发明
国别省市：江苏;32