一种基于多传感器融合的深度估计方法及系统技术方案

本发明专利技术公开了一种基于多传感器融合的深度估计方法及系统，涉及多传感器融合深度估计技术领域，该方法包括：构建多传感器融合深度估计模型；构建相机姿态估计模型；构建训练数据集；所述训练数据集包括多帧参考图像

【技术实现步骤摘要】
一种基于多传感器融合的深度估计方法及系统


[0001]本专利技术涉及多传感器融合深度估计
，特别涉及一种基于多传感器融合的深度估计方法及系统
。

技术介绍

[0002]在室外场景中获取深度信息是一项重要的计算机视觉任务，深度信息可以提供大量关于不同物体之间的空间和逻辑关系
。
基于点云或基于立体匹配的方法都是获取场景深度信息的重要手段，已经有许多工作进行了相应的研究
。
但是较少工作关注多传感器融合时传感器故障后的鲁棒性问题
。
[0003]目前，基于卷积神经网络的多传感器融合深度估计技术是多传感器融合深度估计技术中最常采用的一类技术，该类方法通常联合相机与激光雷达作为输入获取稠密的深度估计结果，但是在任一传感器故障时，无法在不切换模型的情况下仅依靠另一传感器完成原有深度估计任务
。
切换模型往往需要花费十数秒时间，限制了此类方法在各个领域，特别是在自动驾驶车辆上的应用
。

技术实现思路

[0004]本专利技术的目的是提供一种基于多传感器融合的深度估计方法及系统，采用多传感器融合深度估计模型和姿态估计模型，优化模型训练策略，在保持深度估计精度的同时，可在任一传感器故障后继续进行单目深度估计
。
[0005]为实现上述目的，本专利技术提供了如下方案：
[0006]一种基于多传感器融合的深度估计方法，包括：
[0007]构建多传感器融合深度估计模型；所述多传感器融合深度估计模型包括第一金字塔编码器
、
第二金字塔编码器和深度解码器；所述第一金字塔编码器和所述第二金字塔编码器由十五层卷积层组成；所述深度解码器由十层卷积层组成；
[0008]构建相机姿态估计模型；所述相机姿态估计模型包括第三金字塔编码器和姿态解码器；所述第三金字塔编码器由十五层卷积层组成，所述姿态解码器由一层卷积层组成；
[0009]构建训练数据集；所述训练数据集包括多帧参考图像
、
与多帧所述参考图像对应的激光雷达点云
、
惯性测量单元陀螺仪测量结果
、
惯性测量单元加速度计测量结果和相机内参矩阵；
[0010]通过所述训练数据集对所述多传感器融合深度估计模型和所述相机姿态估计模型进行训练；
[0011]通过训练好的多传感器融合深度估计模型进行深度估
。
[0012]为实现上述目的，本专利技术还提供了如下方案：
[0013]一种基于多传感器融合的深度估计系统，包括：
[0014]第一模型构建模块，用于构建多传感器融合深度估计模型；所述多传感器融合深度估计模型包括第一金字塔编码器
、
第二金字塔编码器和深度解码器；所述第一金字塔编
码器和所述第二金字塔编码器由十五层卷积层组成；所述深度解码器由十层卷积层组成；
[0015]第二模型构建模块，用于构建相机姿态估计模型；所述相机姿态估计模型包括第三金字塔编码器和姿态解码器；所述第三金字塔编码器由十五层卷积层组成，所述姿态解码器由一层卷积层组成；
[0016]数据集构建模块，用于构建训练数据集；所述训练数据集包括多帧参考图像
、
与多帧所述参考图像对应的激光雷达点云
、
惯性测量单元陀螺仪测量结果
、
惯性测量单元加速度计测量结果和相机内参矩阵；
[0017]训练模块，用于通过所述训练数据集对所述多传感器融合深度估计模型和所述相机姿态估计模型进行训练；
[0018]深度估计模块，用于通过训练好的多传感器融合深度估计模型进行深度估计
。
[0019]根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：
[0020]本专利技术分别利用多传感器融合深度估计模型的两个金字塔编码器对参考图像和激光雷达点云进行特征提取，再利用多传感器融合深度估计模型的深度解码器进行深度估计，得到深度估计结果和激光雷达点云置信度估计结果，在训练过程中，采用多损失联合方式进行鲁棒训练，在保持深度估计精度的同时，可在任一传感器故障后继续进行单目深度估计
。
附图说明
[0021]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图
。
[0022]图1为本专利技术提供的基于多传感器融合的深度估计方法的流程图；
[0023]图2为本专利技术提供的基于多传感器融合的深度估计方法的原理图；
[0024]图3为街道场景下的一帧图像示意图；
[0025]图4为街道场景下的一帧激光雷达点云的示意图；
[0026]图5采用本专利技术进行深度估计的结果
。
具体实施方式
[0027]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例
。
基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围
。
[0028]本专利技术的目的是提供一种基于多传感器融合的深度估计方法及系统，在保持深度估计精度的同时，可在任一传感器故障后继续进行单目深度估计
。
[0029]为使本专利技术的上述目的
、
特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明
。
[0030]实施例一
[0031]如图1‑
图2所示，本专利技术提供的基于多传感器融合的深度估计方法，包括以下步
骤：
[0032]步骤
10
：构建多传感器融合深度估计模型；多传感器融合深度估计模型包括第一金字塔编码器
、
第二金字塔编码器和深度解码器
。
[0033]第一金字塔编码器和第二金字塔编码器由十五层卷积层组成，用于提取图像和激光雷达点云特征，分别接收一帧彩色图像和一帧激光雷达点云为输入，输出多尺度图像特征图和多尺度激光雷达点云特征图
。
[0034]深度解码器由十层卷积层组成，用于融合多尺度图像特征图和多尺度激光雷达点云特征图，并计算输出深度估计结果和激光雷达点云置信度结果
。
[0035]步骤
20
：构建相机姿态估计模型；相机姿态估计模型包括第三金字塔编码器和姿态解码器
。
[0036]第三金字塔编码器由十五层卷积层组成，用于提取姿态特征图，分别接收两帧彩色图像和两帧激光雷达点云为输入，输出多尺度姿态特征图
。
[0037]姿态解码器由一层卷积层组成，用于接收第三金字塔编码器输出的多尺度姿本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多传感器融合的深度估计方法，其特征在于，包括：构建多传感器融合深度估计模型；所述多传感器融合深度估计模型包括第一金字塔编码器
、
第二金字塔编码器和深度解码器；所述第一金字塔编码器和所述第二金字塔编码器由十五层卷积层组成；所述深度解码器由十层卷积层组成；构建相机姿态估计模型；所述相机姿态估计模型包括第三金字塔编码器和姿态解码器；所述第三金字塔编码器由十五层卷积层组成，所述姿态解码器由一层卷积层组成；构建训练数据集；所述训练数据集包括多帧参考图像
、
与多帧所述参考图像对应的激光雷达点云
、
惯性测量单元陀螺仪测量结果
、
惯性测量单元加速度计测量结果和相机内参矩阵；通过所述训练数据集对所述多传感器融合深度估计模型和所述相机姿态估计模型进行训练；通过训练好的多传感器融合深度估计模型进行深度估计
。2.
根据权利要求1所述的基于多传感器融合的深度估计方法，其特征在于，通过所述训练数据集对所述多传感器融合深度估计模型和所述相机姿态估计模型进行训练，具体包括：将当前帧参考图像和当前帧激光雷达点云输入至所述多传感器融合深度估计模型中，输出深度估计结果和激光雷达置信度估计结果；将当前帧参考图像
、
上一帧参考图像
、
当前帧激光雷达点云和上一帧激光雷达点云输入至所述相机姿态估计模型中，输出姿态估计结果；所述姿态估计结果包括相机在上一帧参考图像到当前帧参考图像的相对位姿变化
、
位姿变化协方差估计结果
、
相机运动速度估计结果和相机重力加速度估计结果；根据所述姿态估计结果
、
当前帧惯性测量单元陀螺仪测量结果
、
上一帧惯性测量单元陀螺仪测量结果
、
当前帧惯性测量单元加速度计测量结果和上一帧惯性测量单元加速度计测量结果，计算融合惯性测量单元测量结果后的相机在上一帧参考图像到当前帧参考图像的相对位姿变化；根据所述深度估计结果
、
所述激光雷达置信度估计结果
、
相机在上一帧参考图像到当前帧参考图像的相对位姿变化
、
融合惯性测量单元测量结果后的相机在上一帧参考图像到当前帧参考图像的相对位姿变化以及所述相机内参矩阵，确定损失函数；通过所述损失函数对所述多传感器融合深度估计模型和所述相机姿态估计模型进行反向传播参数更新，并不断从所述训练数据集中获取数据样本进行迭代，直至所述损失函数收敛，完成所述多传感器融合深度估计模型和所述相机姿态估计模型的训练
。3.
根据权利要求2所述的基于多传感器融合的深度估计方法，其特征在于，将当前帧参考图像和当前帧激光雷达点云输入至所述多传感器融合深度估计模型中，输出深度估计结果和激光雷达置信度估计结果，具体包括：将当前帧参考图像输入至所述第一金字塔编码器中，输出多尺度图像特征图；将当前帧激光雷达点云输入至所述第二金字塔编码器中，输出多尺度激光雷达点云特征图；将所述多尺度图像特征图和所述多尺度激光雷达点云特征图输入至所述深度解码器中，输出深度估计结果和激光雷达置信度估计结果
。
4.
根据权利要求2所述的基于多传感器融合的深度估计方法，其特征在于，将当前帧参考图像
、
上一帧参考图像
、
当前帧激光雷达点云和上一帧激光雷达点云输入至所述相机姿态估计模型中，输出姿态估计结果，具体包括：将当前帧参考图像
、
上一帧参考图像
、
当前帧激光雷达点云和上一帧激光雷达点云输入至所述第三金字塔编码器中，输出多尺度姿态特征图；将所述多尺度姿态特征图输入至所述姿态解码器中，输出姿态估计结果
。5.
根据权利要求2所述的基于多传感器融合的深度估计方法，其特征在于，根据所述深度估计结果
、
所述激光雷达置信度估计结果
、
相机在上一帧参考图像到当前帧参考图像的相对位姿变化
、
融合惯性测量单元测量结果后的相机在上一帧参考图像到当前帧参考图像的相对位姿变化以及所述相机内参矩阵，确定损失函数，具体包括：根据所述深度估计结果
、
相机在上一帧参考图像到当前帧参考图像的相对位姿变化
...

【专利技术属性】
技术研发人员：张聪炫，冯诚，陈震，葛利跃，卢锋，王梓歌，胡卫明，吕科，
申请(专利权)人：南昌航空大学，
类型：发明
国别省市：