【技术实现步骤摘要】
本专利技术公开一种基于知识蒸馏的水下自监督单目深度估计方法，属于深度估计。
技术介绍
1、深度信息的获取是水下机器人rov和自主式水下航行器auv进行视觉导航、视觉重建、视觉测量等水下观测和操作任务的前提，然而常用的深度传感器如激光雷达和声呐等，在水下面临着成本高、体积大和深度获取不准确的问题。为节约成本，现有技术通过处理图像进行深度估计，目前水下单目深度估计算法主要分为传统的水下单目深度估计方法和基于深度学习的水下单目深度估计方法。传统的水下单目深度估计方法往往基于水下成像的物理模型，这些方法依赖于脆弱的前提假设，其深度估计的可靠性不高。此外，由于水下环境的复杂性，不同水体环境中光的衰减和散射情况各有差异，单一的物理模型往往无法适用于多样的水下场景，这导致传统方法的泛化性较差。随着深度学习技术的进步，得益于其良好的特征学习和预测表达能力，水下单目深度估计研究取得了快速的发展，但仍面临着较大的局限性。首先，在真实环境中获取水下图像样本及其对应深度图的难度很大。由于训练样本的匮乏，通常的基于监督的学习方式很难应用于水下单目深度估计。其次，水下环境中存在着以鱼类为代表的多种多样的运动物体，容易对深度估计造成干扰。此外，水下拍摄的图像不可避免地存在着退化现象，这加大了从图像中推测深度的难度。最后，rov和auv拥有六个自由度，并在水下的三维空间中运动，因此由它们采集的水下图像具有多样的拍摄角度，进而对深度估计方法的鲁棒性提出了更高的要求。
技术实现思路
1、本专利技术的目的在于提供一种基
2、一种基于知识蒸馏的水下自监督单目深度估计方法，包括：
3、s1：从连续的水下视频帧序列中构建训练样本，一个训练样本包含水下图像目标帧和前一帧与后一帧的来源帧；
4、s2：搭建单目深度估计深度学习网络和相机姿态估计深度学习网络，基于知识蒸馏将单目深度估计深度学习网络分解为教师单目深度估计深度学习网络和学生单目深度估计深度学习网络，基于知识蒸馏将相机姿态估计深度学习网络分解为教师相机姿态估计深度学习网络和学生相机姿态估计深度学习网络；
5、s3：训练两个教师深度学习网络，将教师单目深度估计深度学习网络和教师相机姿态估计深度学习网络的输出值，输入到运动物体预测模块和水下图像增强模块，获取运动物体掩膜和水下清晰图像；将教师单目深度估计深度学习网络的输入值和输出值，一起输入旋转与裁剪模块，制造出旋转视角下的成对样本；
6、s4：训练两个学生深度学习网络，将一幅视觉质量退化的水下图像作为单目深度估计深度学习网络和相机姿态估计深度学习网络的输入，经过运动物体预测模块和水下图像增强模块处理后，输出估计的深度图和一幅视觉质量得到改善的增强图像。
7、搭建单目深度估计深度学习网络采用编码器-解码器结构，包括空洞卷积模块、特征聚合模块、上采样模块和深度预测输出模块，输入水下图像，输出水下图像对应的深度图。
8、搭建相机姿态估计深度学习网络采用卷积层-激活层-池化层，以深度特征提取结构堆叠而成，提取输入图像的各层次深度特征表达，输入连续两帧水下图像，输出两帧之间相机的姿态变化。
9、训练两个教师深度学习网络后，根据估计的深度和相机姿态变换，利用重建，利用重建的与未重建的之间的像素值差异损失和结构相似度损失约束两个教师深度学习网络，反馈优化两个教师深度学习网络的模型参数。
10、训练两个教师深度学习网络包括将输入教师单目深度估计深度学习网络，输出对应的估计的深度图；
11、将与共同输入教师相机姿态估计深度学习网络，输出由到的估计的相机姿态变换；
12、利用重建的与未重建的之间的像素值差异损失和结构相似度损失约束两个教师深度学习网络包括将相机的内参矩阵记为，记为中任一像素点，记为中任一像素点，和的对应关系为：
13、；
14、将重建后的记为，计算和之间的像素差异损失和结构相似度损失：
15、；
16、；
17、式中，和是图像的高和宽，是的高、宽和通道数，是图像中的总像素个数，是图像块的中心像素，和分别是在的像素均值和标准差，和分别是在的像素均值和标准差，，；
18、反馈优化两个教师深度学习网络的模型参数包括线性组合和获得重投影损失，最小化重投影损失迭代更新优化和的模型参数：
19、；
20、式中，。
21、获取运动物体掩膜包括运动物体预测模块基于和的重投影损失预测运动物体掩膜：
22、；；
23、式中，为艾佛森括号，为图片索引，为基于统计的阈值，，为的第三分位数和第四分位数；
24、获取水下清晰图像包括水下图像增强模块以水下退化图像及对应的深度图为输入，输出清晰的水下图像：
25、；；
26、式中，为水下退化图像，为清晰图像，为前向散射系数，为深度，为背景光，是水下退化图像的光照图，通过退化图像中最暗的0.1%像素的均值估计背景光。
27、制造出旋转视角下的成对样本包括将教师单目深度估计深度学习网络的输入值和输出值，一起输入旋转与裁剪模块，旋转与裁剪模块将与旋转相同的角度，随后对与进行中心裁剪，裁剪后的高与宽的关系为：
28、；；
29、式中，和是与未裁剪的高与宽。
30、训练两个学生深度学习网络包括根据估计的深度和相机姿态变换，利用重建的与未重建的之间的像素值差异损失和结构相似度损失约束两个学生深度学习网络，利用旋转蒸馏损失作为两个学生深度学习网络的额外约束，反馈优化两个学生深度学习网络的模型参数；
31、将、经过水下图像增强模块后生成对应的增强水下图像记为、。
32、利用重建的与未重建的之间的像素值差异损失和结构相似度损失约束两个学生深度学习网络包括根据学生单目深度估计深度学习网络和学生相机姿态估计深度学习网络的输出，利用重建，重建的记为，计算和之间的和；
33、将乘以以过滤动态物体的影响，通过最小化损失迭代更新优化和的模型参数。
34、利用旋转蒸馏损失作为两个学生深度学习网络的额外约束包括的输入是旋转后的，受旋转蒸馏损失的约束：
35、；
36、式中，为的输出，为与的，为的方差，为的方差。
37、相对比现有技术，本专利技术具有以下有益效果：本专利技术为水下场景提供更为准确的单目深度估计结果，面对不同视角下拍摄的图像具有更强的鲁棒性，能够根据物理模型提供增强后的水下图像。
本文档来自技高网...【技术保护点】
1.一种基于知识蒸馏的水下自监督单目深度估计方法，其特征在于，包括：
2.根据权利要求1所述的一种基于知识蒸馏的水下自监督单目深度估计方法，其特征在于，搭建单目深度估计深度学习网络采用编码器-解码器结构，包括空洞卷积模块、特征聚合模块、上采样模块和深度预测输出模块，输入水下图像，输出水下图像对应的深度图。
3.根据权利要求2所述的一种基于知识蒸馏的水下自监督单目深度估计方法，其特征在于，搭建相机姿态估计深度学习网络采用卷积层-激活层-池化层，以深度特征提取结构堆叠而成，提取输入图像的各层次深度特征表达，输入连续两帧水下图像，输出两帧之间相机的姿态变化。
4.根据权利要求3所述的一种基于知识蒸馏的水下自监督单目深度估计方法，其特征在于，训练两个教师深度学习网络后，根据估计的深度和相机姿态变换，利用重建，利用重建的与未重建的之间的像素值差异损失和结构相似度损失约束两个教师深度学习网络，反馈优化两个教师深度学习网络的模型参数。
5.根据权利要求4所述的一种基于知识蒸馏的水下自监督单目深度估计方法，其特征在于，训练两个教师深度学习网络包括将
6.根据权利要求5所述的一种基于知识蒸馏的水下自监督单目深度估计方法，其特征在于，获取运动物体掩膜包括运动物体预测模块基于和的重投影损失预测运动物体掩膜：
7.根据权利要求6所述的一种基于知识蒸馏的水下自监督单目深度估计方法，其特征在于，制造出旋转视角下的成对样本包括将教师单目深度估计深度学习网络的输入值和输出值，一起输入旋转与裁剪模块，旋转与裁剪模块将与旋转相同的角度，随后对与进行中心裁剪，裁剪后的高与宽的关系为：
8.根据权利要求7所述的一种基于知识蒸馏的水下自监督单目深度估计方法，其特征在于，训练两个学生深度学习网络包括根据估计的深度和相机姿态变换，利用重建的与未重建的之间的像素值差异损失和结构相似度损失约束两个学生深度学习网络，利用旋转蒸馏损失作为两个学生深度学习网络的额外约束，反馈优化两个学生深度学习网络的模型参数；
9.根据权利要求8所述的一种基于知识蒸馏的水下自监督单目深度估计方法，其特征在于，利用重建的与未重建的之间的像素值差异损失和结构相似度损失约束两个学生深度学习网络包括根据学生单目深度估计深度学习网络和学生相机姿态估计深度学习网络的输出，利用重建，重建的记为，计算和之间的和；
10.根据权利要求9所述的一种基于知识蒸馏的水下自监督单目深度估计方法，其特征在于，利用旋转蒸馏损失作为两个学生深度学习网络的额外约束包括的输入是旋转后的，受旋转蒸馏损失的约束：
...【技术特征摘要】
1.一种基于知识蒸馏的水下自监督单目深度估计方法，其特征在于，包括：
2.根据权利要求1所述的一种基于知识蒸馏的水下自监督单目深度估计方法，其特征在于，搭建单目深度估计深度学习网络采用编码器-解码器结构，包括空洞卷积模块、特征聚合模块、上采样模块和深度预测输出模块，输入水下图像，输出水下图像对应的深度图。
3.根据权利要求2所述的一种基于知识蒸馏的水下自监督单目深度估计方法，其特征在于，搭建相机姿态估计深度学习网络采用卷积层-激活层-池化层，以深度特征提取结构堆叠而成，提取输入图像的各层次深度特征表达，输入连续两帧水下图像，输出两帧之间相机的姿态变化。
4.根据权利要求3所述的一种基于知识蒸馏的水下自监督单目深度估计方法，其特征在于，训练两个教师深度学习网络后，根据估计的深度和相机姿态变换，利用重建，利用重建的与未重建的之间的像素值差异损失和结构相似度损失约束两个教师深度学习网络，反馈优化两个教师深度学习网络的模型参数。
5.根据权利要求4所述的一种基于知识蒸馏的水下自监督单目深度估计方法，其特征在于，训练两个教师深度学习网络包括将输入教师单目深度估计深度学习网络，输出对应的估计的深度图；
6.根据权利要求5所述的一种基于知识蒸馏的水下自监督单目深度估计方法，其特征在于，获取运...
【专利技术属性】
技术研发人员：李坤乾，丁一林，梅涵，刘帅鑫，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。