一种基于几何一致性的深度估计优化模型的构建方法技术

本发明专利技术的基于几何一致性的深度估计优化模型的构建方法，包括以下步骤：S1.构建空间几何一致性监督模型；S2.生成纠正模型；S3.基于深度估计优化模型优化深度图的生成过程。本发明专利技术的基于几何一致性的深度估计优化模型的构建方法，主要分为两个部分：首先，构建基于空间几何一致性的监督模型和在此基础上生成纠正模型；然后在监督信号构建的基础上纠正普遍使用损失存在的缺陷，两者共同作用保障了深度估计结果的可靠性以及优化提升估计深度图的整体精度。体精度。体精度。

【技术实现步骤摘要】
一种基于几何一致性的深度估计优化模型的构建方法


[0001]本专利技术涉及基于深度学习的深度估计领域，更具体地涉及一种基于几何一致性的深度估计优化模型的构建方法。

技术介绍

[0002]从运动相机捕获的图像中估计物体的深度是计算机视觉领域一项关键的任务，其可以被广泛应用到三维重建和AR、自动驾驶等诸多领域。深度估计根据图像像素在空间上的一致性构建图像中像素之间的对应几何关系，然后使用基于深度的图像重建的方法构建重建损失进而判断深度估计的精度。
技术介绍
中存在的主要问题是：现今的方法几乎都是基于Encoder
‑
Decoder架构建立的自监督网络，因为这样可以减少捕捉真值的成本，但是这样会使得网络更加依赖于像素的一致性。但是随着相机的运动，同一物体在不同图像呈现的像素值是具有差异的，而且遮挡和运动这些深度估计固有的问题会更加阻碍网络的判断。因此如何使用一种不受环境影响的几何方法来优化监督网络的训练就显得尤为重要。但是现实中很难在像素层面解决像素变化或者说像素不规则变化对深度网络训练造成的影响，也就是说从图像重建作为指导深度网路训练的方法很难建立起损失函数和真正深度预测结果的一致性。基于此本方法提出了从空间几何层面优化的机制，在几何上建立起与深度预测结果匹配的损失也就是几何监督机制，并建立优化机制进一步优化图像重建所构建的损失，是的损失函数和深度网络预测的性能建立起更为契合匹配的联系，可以为后续研究提供新的研究思路和方法。

技术实现思路

[0003]本专利技术提供了一种基于几何一致性的深度估计优化模型的构建方法，保障了深度估计结果的可靠性以及优化提升了估计深度图的整体精度。
[0004]本专利技术的技术方案如下：
[0005]本专利技术的基于几何一致性的深度估计优化模型的构建方法，包括以下步骤：S1.构建空间几何一致性监督模型；S2.生成纠正模型；S3.基于深度估计优化模型优化深度图的生成过程。
[0006]可选地，在上述基于几何一致性的深度估计优化模型的构建方法中，在步骤S1中，确定几何一致性的数学方法，建立所用图像像素之间的几何关系，并使用几何计算深度值不同引起的像素差异和位置差异，获取空间几何一致性监督模型。
[0007]可选地，在上述基于几何一致性的深度估计优化模型的构建方法中，在步骤S1中，通过对称变换方法，采用两次投影策略建立图像像素与真身存在的和深度相关的几何联系，然后使用欧拉距离构建相应的几何一致的监督信号。
[0008]可选地，在上述基于几何一致性的深度估计优化模型的构建方法中，首先构建像素从自身到自身的坐标关联；然后根据获取的两次对同一像素的坐标差异构建几何一致性的损失；最后，根据这两次得到的坐标的差异构建几何一致性的监督信号。
[0009]可选地，在上述基于几何一致性的深度估计优化模型的构建方法中，在步骤S2中，使用几何一致性的关系和像素联系建立起对错误像素匹配和原始损失的纠正模型，纠正光度损失存在的缺陷。
[0010]可选地，在上述基于几何一致性的深度估计优化模型的构建方法中，在步骤S2中，根据重建损失和几何一致性的监督信号在不同区域所表现出的数值关系进行区域划分构建纠正模型，用于纠正深度预测网络在遮挡、运动容易出现问题区域的偏差。
[0011]可选地，在上述基于几何一致性的深度估计优化模型的构建方法中，在步骤S3中，使用重建损失优化神经网络以及使用优化模型优化重建损失和深度预测网络。
[0012]可选地，在上述基于几何一致性的深度估计优化模型的构建方法中，在步骤S3中，使用S2生成的纠正模型进行对重建损失的纠正，然后使用几何一致性的监督模型对最终的监督信号进行改善，进而得到所使用的最终网络训练损失函数。
[0013]根据本专利技术的技术方案，产生的有益效果是:
[0014]本专利技术的基于几何一致性的深度估计优化模型的构建方法，主要分为两个部分：首先，构建基于空间几何一致性的监督模型和在此基础上生成纠正模型；然后在监督信号构建的基础上纠正普遍使用损失存在的缺陷。两者共同作用保障了深度估计结果的可靠性以及优化提升估计深度图的整体精度。
[0015]为了更好地理解和说明本专利技术的构思、工作原理和专利技术效果，下面结合附图，通过具体实施例，对本专利技术进行详细说明如下：
附图说明
[0016]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
[0017]图1是本专利技术的基于几何一致性的深度估计优化模型的构建方法的流程图；
[0018]图2是本专利技术的基于几何一致性的深度估计优化模型的构建方法的具体操作流程图；
[0019]图3是本专利技术的几何一致性监督模型构建的几何损失和图像重建损失效果对比的示意图；
[0020]图4是基于几何一致性的深度估计优化模型的构建方法的监督机制构建过程；
[0021]图5是本专利技术的基于几何一致性的深度估计优化模型的构建方法的纠正机制工作原理的示意图；
[0022]图6是本专利技术的基于几何一致性的深度估计优化模型的构建方法在KITTI数据集上的可视化。
具体实施方式
[0023]为使本专利技术的目的、技术方法及优点更加清晰，下面结合附图及具体实例，对本专利技术做进一步的详细说明。这些实例仅仅是说明性的，而并非对本专利技术的限制。
[0024]如图1和图2所示，本专利技术的基于几何一致性的深度估计优化模型的构建方法，包括以下步骤：
[0025]问题的构建(自监督深度估计)：和其他经典方法类似，因为自监督方法旨在去除
掉收集训练真值所带来的昂贵成本，所以自监督深度估计将深度估计问题结合图像重建，并使用重建图像构建的损失来进行。在此过程中首先要做的是从相邻图像中根据所预测的深度图找到与当前图像像素匹配的点，然后建立起当前图像和相邻参考图像的一个匹配关系，并使用双线性采样的方法重建当前图像并构建图像重建损失。具体流程如下：
[0026]首先建立起当前图像和相邻图像的匹配关系，如公式(1)所示：
[0027]p
s
～KT
t
→
s
D
t
(p
t
)K
‑1p
t
ꢀꢀꢀ
(1)
[0028]其中p
t
表示目标图像中的像素坐标，K表示实验前预先知道的相机的参数矩阵，D
t
表示网络预测的关于像素点的稠密深度图，T
t
→
s
表示运动过程中相机的旋转和平移变换，也就是相机载体的运动情况，p
s
表示相邻图像的像素坐标。这样就使用投影关系建立了目标图像像素和相邻图像的匹配关系。
[0029]然后使用双线性采样重建并获取图像重建损失，其中s∈{I
t
‑1,I
t+1
}也就是和当前时刻图像相邻的两张图像，将对应点的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于几何一致性的深度估计优化模型的构建方法，其特征在于，包括以下步骤：S1.构建空间几何一致性监督模型；S2.生成纠正模型；S3.基于深度估计优化模型优化深度图的生成过程。2.根据权利要求1所述的基于几何一致性的深度估计优化模型的构建方法，其特征在于，在步骤S1中，确定几何一致性的数学方法，建立所用图像像素之间的几何关系，并使用所述几何计算深度值不同引起的像素差异和位置差异，获取所述空间几何一致性监督模型。3.根据权利要求1所述的基于几何一致性的深度估计优化模型的构建方法，其特征在于，在步骤S1中，通过对称变换方法，采用两次投影策略建立图像像素与真身存在的和深度相关的几何联系，然后使用欧拉距离构建相应的几何一致性的监督信号。4.根据权利要求3所述的基于几何一致性的深度估计优化模型的构建方法，其特征在于，首先构建像素从自身到自身的坐标关联；然后根据获取的两次对同一像素的坐标差异构建几何一致性的损失；最后，根据这两次得到的坐标的差异构建所述几何一致性的...

【专利技术属性】
技术研发人员：李宏，王炎，李革，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：