一种无监督单视图船舶深度估计方法技术

本发明专利技术涉及一种船舶深度估计方法，针对其他深度估计方法存在的缺陷，公开了一种无监督单视图船舶深度估计方法。本发明专利技术首先搭建了一个知识蒸馏网络框架，在框架下使用高性能的教师网络对低参数量的学生网络进行训练，提高学生网络的深度估计性能，获得低参数量和高性能的深度估计网络；然后，通过渲染软件和船舶3D模型构造船舶数据集；最后，在船舶数据集上对模型进行训练并测试，获得可以对船舶进行无监督单视图深度估计的网络模型。通过本发明专利技术的模型和方法首次完成基于单视图的船舶深度估计，训练过程不需要真实深度数据和复杂的图像标注，而且具有较小规模模型参数量。而且具有较小规模模型参数量。而且具有较小规模模型参数量。

【技术实现步骤摘要】
一种无监督单视图船舶深度估计方法


[0001]本专利技术涉及一种船舶深度估计方法，尤其涉及一种无监督单视图船舶深度估计方法。

技术介绍

[0002]深度估计作为计算机视觉的一个研究方向，是为了得到反映物体和摄像机位置距离的深度图像，深度图像可以为三维重建和距离感知等任务提供深度信息。随着航运的发展，水上交通安全越发受到重视，高效获得船舶的深度图像，对于水路交通状况的感知、船舶航行安全的保障具有重要意义。
[0003]基于深度学习的深度估计主要分为多视图深度估计方法和单视图深度估计方法。多视图深度估计方法，如基于二进制分类的方法、时序网络深度估计方法、利用MVS算法提高特征提取能力优化深度估计效果的方法，是通过输入两张不同视图的图像，对两张图像的像素点进行立体匹配，计算视差(即相同物体在两张图像中坐标变化)，坐标变化信息和物体的相对位置远近相关，相对位置远的物体坐标变化小于相对位置近的物体，因此通过视差可以获得深度信息。单视图深度估计方法，如利用图像粗估计和精估计结合深度估计方法、基于残差网络的深度估计方法、基于空洞卷积的深度估计方法，是通过启发式的算法输入单张图像，通过图像自身的线索获得深度信息，并且根据模型训练的不同监督条件，还可以分为有监督(输入的所有图像均有对应的真实深度图)、半监督(输入的图像中只有部分图像有对应的真实深度图)、无监督训练(输入的所有图像均无对应的真实深度图)。
[0004]本专利技术涉及的无监督深度学习船舶深度估计的研究是为了解决其他深度估计方法的下列缺陷：
[0005](1)多视图深度估计方法具有局限性。多视图深度估计方法需要对左右视图进行像素点匹配和视差计算，而像素点匹配的质量难以保证，并且这种方法有较高的算力需求。
[0006](2)高性能的深度学习模型权重文件过于庞大，适用性低，不能在多种设备上部署。目前拥有良好深度估计表现的模型大多采用了残差网络结构，网络结构复杂，权重文件过大，这在很大程度上限制了模型在不同运算能力设备的适用性。
[0007](3)有监督、半监督模式的深度估计需要获得真实深度数据，数据标注工作量大。模型训练中常常需要真实深度数据作为ground truth，真实数据获得难度很大，并且部分模型需要对输入数据进行标注，加重了工作量。

技术实现思路

[0008]针对上述问题本专利技术提供了一种无监督单视图船舶深度估计方法。
[0009]为了达到上述目的，本专利技术采用了下列技术方案：
[0010]本专利技术提供一种无监督单视图船舶深度估计模型，包括：教师网络深度估计模块、学生网络深度估计模块、Light Net网络、View Net网络、Albedo Net网络、SD Net网络；
[0011]其中，教师网络深度估计模块包括作编码器结构的ResNet网络、用于多维度特征
处理的自适应密集特征融合ADFF结构以及作解码器结构的拉普拉斯金字塔(LPD)结构；
[0012]学生网络深度估计模块包括作编码器结构的Ghost Net网络和作解码器结构的NNConv5结构。
[0013]进一步，所述学生网络深度估计模块的NNConv5结构由五层网络组成，每层由一个Depthwise层、一个Pointwise层、一个上采样层组成；Depthwise层和Pointwise层会逐层恢复深度信息，上采样层在Depthwise层和Pointwise层后执行插值运算，使图的空间分辨率翻倍。
[0014]本专利技术还提供一种基于上述估计模型的无监督单视图船舶深度估计方法，包括以下步骤：
[0015](1)无监督单视图船舶深度估计模型的建立；
[0016](2)无监督单视图船舶深度估计知识蒸馏网络框架的建立；
[0017](3)构建船舶深度估计数据集；
[0018](4)无监督单视图船舶深度估计模型的训练；
[0019](5)无监督单视图船舶深度估计模型的测试。
[0020]进一步，所述无监督单视图船舶深度估计模型包括教师网络深度估计模块、学生网络深度估计模块、Light Net网络、View Net网络、Albedo Net网络、SD Net网络；其中，
[0021]教师网络深度估计模块建立的过程为：使用高性能的ResNet网络作为编码器结构，使用自适应密集特征融合ADFF结构对多个维度的特征进行处理，最后使用拉普拉斯金字塔结构(LPD)作为模块的解码器结构；
[0022]学生网络深度估计模块建立的过程为：使用Ghost Net网络作为编码器结构，使用添加Depthwise和Pointwise结构的NNConv5结构作为深度估计模块的解码器结构；
[0023]Light Net网络、View Net网络、Albedo Net网络、SD Net网络分别用于提取图像的光照信息、视角信息、反照度图和对称信息图。
[0024]进一步，所述无监督单视图船舶深度估计知识蒸馏网络框架建立的具体过程为：首先，将单张RGB图像输入结构复杂且性能强大的教师网络深度估计模块和Light Net网络、View Net网络、Albedo Net网络、SD Net网络分别提取图像的深度图、光照信息、视角信息、反照度图和对称信息图；然后，将提取的光照信息和深度图通过渲染获得着色深度图；合成着色深度图、反照度图获得规范视角图，并通过正向渲染规范视角图、深度图、视角信息获得重建的RGB图像；基于输入的图像，构建重建图像的重建损失，以此回归教师网络模型的参数；最后，将教师网络深度估计模块替换为学生网络深度估计模块，构建重建损失的同时，构建相同图像输入时教师网络深度估计模块和学生网络深度估计模块的多维度对应特征图损失，通过两个损失的联合优化，轻量型学生网络获得接近于教师网络的性能。与教师网络深度估计模块相比，学生网络深度估计模块的权重文件规模大大降低。
[0025]进一步，所述船舶深度估计数据集构建的具体过程为：创建3D船舶模，使用KeyShot 3D真实感渲染软件设置光照、视角类物理参数对船舶的3D模型进行渲染，获得真实感船舶图像作为船舶深度估计数据集；所诉船舶深度估计数据集包括训练集、验证集和测试集。
[0026]进一步，所述无监督单视图船舶深度估计模型训练的具体过程为：将船舶深度估计数据集中的训练集图像变换到设定的分辨率大小，并按照Batch Size的数量分批次将变
换后的单视图船舶图像输入到网络中，并按照所述无监督单视图船舶深度估计知识蒸馏网络框架建立的过程进行训练，经过多次迭代，迭代Epoch后停止训练，获得网络权重文件，并得到能够对船舶进行深度估计的模型。
[0027]进一步，所述无监督单视图船舶深度估计模型测试的具体过程为：用船舶深度估计数据集中的测试集图像测试训练后得到的能够对船舶进行深度估计的模型的效果，通过与验证集比较获得最终可用于深度估计的模型。
[0028]与现有技术相比本专利技术具有以下优点：
[0029]1、本专利技术公开了一种无本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无监督单视图船舶深度估计模型，其特征在于，所述模型包括：教师网络深度估计模块、学生网络深度估计模块、Light Net网络、View Net网络、Albedo Net网络、SD Net网络；其中，教师网络深度估计模块包括作编码器结构的ResNet网络、用于多维度特征处理的自适应密集特征融合结构以及作解码器结构的拉普拉斯金字塔结构；学生网络深度估计模块包括作编码器结构的Ghost Net网络和作解码器结构的NNConv5结构。2.根据权利要求1所述的一种无监督单视图船舶深度估计模型，其特征在于：所述学生网络深度估计模块的NNConv5结构由五层网络组成，每层由一个Depthwise层、一个Pointwise层、一个上采样层组成；Depthwise层和Pointwise层会逐层恢复深度信息，上采样层在Depthwise层和Pointwise层后执行插值运算，使图的空间分辨率翻倍。3.一种基于权利要求1或2任一项所述估计模型的无监督单视图船舶深度估计方法，其特征在于，包括以下步骤：无监督单视图船舶深度估计模型的建立；无监督单视图船舶深度估计知识蒸馏网络框架的建立；构建船舶深度估计数据集；无监督单视图船舶深度估计模型的训练；无监督单视图船舶深度估计模型的测试。4.根据权利要求3所述的一种无监督单视图船舶深度估计方法，其特征在于，所述无监督单视图船舶深度估计模型包括教师网络深度估计模块、学生网络深度估计模块、Light Net网络、View Net网络、Albedo Net网络、SD Net网络；其中，教师网络深度估计模块建立的过程为：使用高性能的ResNet网络作为编码器结构，使用自适应密集特征融合结构对多个维度的特征进行处理，最后使用拉普拉斯金字塔结构作为模块的解码器结构；学生网络深度估计模块建立的过程为：使用Ghost Net网络作为编码器结构，使用添加Depthwise和Pointwise结构的NNConv5结构作为深度估计模块的解码器结构；Light Net网络、View Net网络、Albedo Net网络、SD Net网络分别用于提取图像的光照信息、视角信息、反照...

【专利技术属性】
技术研发人员：刘涛，贾梓，金鑫，
申请(专利权)人：中国人民解放军海军大连舰艇学院，
类型：发明
国别省市：