本申请涉及深度估计技术领域，更为具体来说，本申请涉及一种自监督单目深度估计方法和装置。所述方法包括：获取视频数据；将所述视频数据输入训练好的教师模型，得到第一深度图；将所述视频数据输入训练好的学生模型，得到第二深度图和第一深度不确定性图；其中，所述教师模型的训练方式为自监督训练方式，所述学生模型的训练方式为有监督训练方式，且所述教师模型和所述学生模型采取联合训练。本申请可以有效地估计深度图，能感知并屏蔽深度估计结果中存在的噪声，使模型达到更好的估计精度，带来明显的性能提升。本申请以深度不确定性图的方式评价噪声的大小，提高了深度估计方法在真实环境中如无人驾驶等各种应用场景的可用性。实环境中如无人驾驶等各种应用场景的可用性。实环境中如无人驾驶等各种应用场景的可用性。
【技术实现步骤摘要】
一种自监督单目深度估计方法和装置
[0001]本申请涉及深度估计
，更为具体来说，本申请涉及一种自监督单目深度估计方法和装置。
技术介绍
[0002]深度估计是几乎所有移动机器人的高级应用，如自动驾驶等。虽然已有的传统方法通过双目相机、激光雷达、毫米波雷达等传感器或多或少地解决了这一问题，但是这些设备往往价格高昂且难以部署，因此人们逐渐对于使用成本低廉、部署简单、分辨率较高的单目摄像头实现深度估计产生了兴趣。
[0003]如今，基于深度学习的方法在许多图像处理任务中都显示出强大的性能。神经网络通过有监督的学习方法可以直接从单张图像中恢复出深度信息。但是这些方法需要大量带有精确标注的深度图作为标签，从而限制了自身的泛化能力。已有的工作在图像满足光度不变性的假设下，将深度估计任务与位姿估计任务结合起来，提出了一种新颖的自监督训练范式。这种自监督范式使用连续的图像数据作为输入，将目标帧与重建出的新图像之间的差异(即光度误差)作为监督信号，达到了与有监督方法相近的精度。
[0004]然而，深度学习固有的低可解释性问题仍然存在，阻碍了其在真实场景中的部署和应用，换言之，如何在单目自监督深度估计算法中应用不确定性仍然是一个有待解决的问题。
技术实现思路
[0005]基于上述技术问题，本专利技术旨在提供一种自训练机制和自提升机制的自监督单目深度估计方法与装置，教师模型采用自训练机制，学生模型采用自提升机制，教师模型和学生模型进行联合训练，训练好的教师模型能预测高精度的深度图，训练好的学生模型可以预测高精度的深度图和深度不确定性图。
[0006]本专利技术第一方面提供了一种自监督单目深度估计方法，包括：
[0007]获取视频数据；
[0008]将所述视频数据输入训练好的教师模型，得到第一深度图；
[0009]将所述视频数据输入训练好的学生模型，得到第二深度图和第一深度不确定性图；
[0010]其中，所述教师模型的训练方式为自监督训练方式，所述学生模型的训练方式为有监督训练方式，且所述教师模型和所述学生模型采取联合训练。
[0011]具体地，所述教师模型和所述学生模型采取联合训练，包括：
[0012]向教师模型载入无标注的视频数据；
[0013]采取自监督训练方式进行训练教师模型，预测得到第三深度图；
[0014]基于所述第三深度图创建带有伪标注的深度估计任务数据集；
[0015]利用所述带有伪标注的深度估计任务数据集对学生模型采取有监督训练。
[0016]进一步地，所述利用所述带有伪标注的深度估计任务数据集对学生模型采取有监督训练之后，还包括：
[0017]判断教师模型和学生模型是否收敛，若收敛则结束训练；
[0018]若不收敛则预测得到第二深度不确定性图，并基于所述第二深度不确定性图计算深度不确定性遮罩；
[0019]利用所述深度不确定性遮罩优化所述教师模型。
[0020]优选地，所述向教师模型载入无标注的视频数据之后，还包括：
[0021]判断教师模型是否存在深度不确定性遮罩，如果是，载入所述深度不确定性遮罩，如果否，载入空白遮罩。
[0022]再进一步地，所述并基于第二深度不确定性图计算深度不确定性遮罩的计算公式为：
[0023][0024]其中，∑
s
表示第二深度不确定性图，P
95％
表示深度不确定性图中第95个百分位数。
[0025]进一步具体地，所述教师模型包括深度估计网络、图像特征提取网络和位姿估计网络，所述将所述视频数据输入训练好的教师模型，得到第一深度图，包括：
[0026]所述将所述视频数据输入训练好的教师模型；
[0027]所述深度估计网络输出第一深度图。
[0028]优选地，所述教师模型还通过反向传播进行训练与优化，具体包括：
[0029]将连续两帧训练图像输入教师模型，其中，所述连续两帧训练图像包括目标帧和参考帧；
[0030]将所述目标帧发送到所述深度估计网络得到第四深度图；
[0031]将所述目标帧和所述参考帧经过图像特征提取网络处理后按照通道拼接在一起后送入所述位姿估计网络，得到位姿变换矩阵；
[0032]利用所述第四深度图、所述位姿变换矩阵及所述参考帧通过反投影和双线性插值得到所述目标帧的重建帧；
[0033]基于所述重建帧和所述目标帧的差异采取反向传播进行训练与优化教师模型。
[0034]另外优选地，基于教师模型的第一深度图约束学生模型的第二深度图和第一深度不确定性图，约束所构造的损失函数为：
[0035][0036]其中，V表示图像中的所有像素点，D
t
表示第一深度图，D
s
表示第二深度图，∑
s
表示第一深度不确定性图。
[0037]本专利技术第二方面提供了一种自监督单目深度估计装置，所述装置包括：
[0038]获取模块，用于获取视频数据；
[0039]深度图获得模块，用于将所述视频数据输入训练好的教师模型，得到第一深度图；
[0040]不确定图获得模块，用于将所述视频数据输入训练好的学生模型，得到第二深度图和第一深度不确定性图；
[0041]其中，所述教师模型的训练方式为自监督训练方式，所述学生模型的训练方式为有监督训练方式，且所述教师模型和所述学生模型采取联合训练。
[0042]本专利技术第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行如下步骤：
[0043]获取视频数据；
[0044]将所述视频数据输入训练好的教师模型，得到第一深度图；
[0045]将所述视频数据输入训练好的学生模型，得到第二深度图和第一深度不确定性图；
[0046]其中，所述教师模型的训练方式为自监督训练方式，所述学生模型的训练方式为有监督训练方式，且所述教师模型和所述学生模型采取联合训练。
[0047]本申请的有益效果为：本申请所述方法可以有效地估计深度图，能感知并屏蔽深度估计结果中存在的噪声，使模型达到更好的估计精度，带来明显的性能提升。本申请以深度不确定性图的方式评价噪声的大小，提高了深度估计方法在真实环境中如无人驾驶等各种应用场景的可用性。采用深度不确定性遮罩调优后的教师模型能够预测出更加合理的结果，基于教师模型预测的深度图约束学生模型预测的深度图和深度不确定性图，使学生模型进一步提升了深度估计结果的精度。此外，本申请还能够排除不准确的深度估计结果对自监督信号的干扰，能够有效地解决模型趋近收敛时，光度误差和几何一致性误差对深度估计噪声敏感的问题，提升了算法的收敛能力。
附图说明
[0048]构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。
[0049]参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
[0本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种自监督单目深度估计方法，其特征在于，包括：获取视频数据；将所述视频数据输入训练好的教师模型，得到第一深度图；将所述视频数据输入训练好的学生模型，得到第二深度图和第一深度不确定性图；其中，所述教师模型的训练方式为自监督训练方式，所述学生模型的训练方式为有监督训练方式，且所述教师模型和所述学生模型采取联合训练。2.根据权利要求1所述的自监督单目深度估计方法，其特征在于，所述教师模型和所述学生模型采取联合训练，包括：向教师模型载入无标注的视频数据；采取自监督训练方式进行训练教师模型，预测得到第三深度图；基于所述第三深度图创建带有伪标注的深度估计任务数据集；利用所述带有伪标注的深度估计任务数据集对学生模型采取有监督训练。3.根据权利要求2所述的自监督单目深度估计方法，其特征在于，所述利用所述带有伪标注的深度估计任务数据集对学生模型采取有监督训练之后，还包括：判断教师模型和学生模型是否收敛，若收敛则结束训练；若不收敛则预测得到第二深度不确定性图，并基于所述第二深度不确定性图计算深度不确定性遮罩；利用所述深度不确定性遮罩优化所述教师模型。4.根据权利要求3所述的自监督单目深度估计方法，其特征在于，所述向教师模型载入无标注的视频数据之后，还包括：判断教师模型是否存在深度不确定性遮罩，如果是，载入所述深度不确定性遮罩，如果否，载入空白遮罩。5.根据权利要求3所述的自监督单目深度估计方法，其特征在于，所述基于所述第二深度不确定性图计算深度不确定性遮罩的计算公式为：其中，∑
s
表示第二深度不确定性图，P
95％
表示深度不确定性图中第95个百分位数。6.根据权利要求1所述的自监督单目深度估计方法，其特征在于，所述方法还包括：基于教师模型的第一深度图约束学生模型的第二深度图和第一深度不...
【专利技术属性】
技术研发人员：史殿习，聂欣雨，陈旭灿，苏雅倩文，李睿豪，张拥军，
申请(专利权)人：中国人民解放军军事科学院国防科技创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。