【技术实现步骤摘要】
本专利技术属于视觉惯性里程计，具体涉及动态场景下的鲁棒视觉惯性里程计方法及装置，可用于室内复杂动态场景下视觉惯性里程计的鲁棒定位。
技术介绍
1、经过多年发展，视觉惯性里程计已成为稳定、可靠的定位解决方案，但在动态场景下，由于相机晃动造成的图像模糊，对于前端视觉特征造成了较大的影响：一方面由于图像模糊造成图像灰度梯度变化不明显，继而导致高质量特征点的提取数量较少；另一方面，模糊图像对光流法或描述子法等帧间的特征跟踪方案也有较大的影响。此外，视觉惯性里程计的后端一般采取非线性优化的方案，该方案基于梯度下降的原理进行计算，相机的高速运动与梯度下降方案的低速运动假设相悖，导致其最终的优化效果不佳。目前的主流方法是采用深度学习的方案对于模糊图像进行复原或引入特制化传感器如事件相机，以保证动态下仍能进行稳定的位姿解算。
2、现有的深度学习方案主要分为两种思路：一部分结合imu信息，构建相应的运动核函数对于图像进行卷积去模糊处理，但是该类方法往往耗时较久无法满足视觉惯性里程计的实时需求；另一部分则是直接利用深度学习的方案对于图像进行去模糊处理或特征提取，但是其往往泛化性不强，无法在大多数场景下适用，且往往需要预先训练，成本较高且时效性也不强。
3、除此之外引入额外传感器如深度相机、事件相机等，深度图像在晃动场景下受到的影响相较灰度图像较小，因此基于深度点云的方案在办公室等小景深场景内性能发挥较好，但是在楼道等纵深较大的场景往往无法稳定定位；事件相机仅能采集场景内的动态点，在动态场景下仍能稳定提取特征，但是在静态场景下
技术实现思路
1、为解决上述技术问题，本专利技术提供了动态场景下的鲁棒视觉惯性里程计方法及装置，通过对于视觉惯性里程计的前端特征提取与跟踪以及后端的非线性优化提升整体性能：在前端设计基于灰度图像与深度图像的混合描述子，并根据场景中特征点的空间深度动态调节匹配函数以保证晃动场景下特征点提取与跟踪的稳定性；对于楼道等纵深较大的场景，构建相应的深度掩膜，对于场景中的特征点进行剔除与再提取，并采用网格均匀化方案对特征点进行分布以保证特征点深度信息的稳定解算；最终利用深度点云提供的深度信息与双目三角化解算得到的深度信息构建相应的残差并在后端设计优化函数以提升后端优化的性能。
2、为实现上述目的，本专利技术采用的技术方案如下：
3、一种动态场景下的鲁棒视觉惯性里程计方法，所述方法包括：
4、步骤1、获取灰度图像、深度图像与imu信息并进行预处理，获取深度信息；
5、步骤2、基于深度信息与帧间imu积分进行特征粗匹配，利用特征点的灰度信息以及深度信息构建相应的描述子以及匹配函数；
6、步骤3、利用imu信息进行晃动状态检测，当检测到晃动状态后，利用深度图像对于灰度图像中满足深度要求的区域进行提取，在所述满足深度要求的区域内将不满足深度条件的特征点进行剔除，并进行特征点的再提取，根据网格化方法将再提取的特征点进行均匀化分布；
7、步骤4、利用再提取后的特征点与所述三角化得到的深度信息构建逆深度残差，并利用所述逆深度残差分别对获取深度图像与灰度图像的相机的旋转以及平移求取相应的雅可比矩阵，设计优化函数。
8、另一方面，本专利技术提供一种动态场景下的鲁棒视觉惯性里程计装置，包括：
9、信息获取单元，用于获取灰度图像、深度图像与imu信息并进行预处理，获取深度信息；
10、混合描述子匹配单元，用于基于深度信息与帧间imu积分进行特征粗匹配，利用特征点的灰度信息以及深度信息构建相应的描述子以及匹配函数；
11、特征提取单元，用于利用imu信息进行晃动状态检测，当检测到晃动状态后，利用深度图像对于灰度图像中满足深度要求的区域进行提取，在所述满足深度要求的区域内将不满足深度条件的特征点进行剔除，并进行特征点的再提取，根据网格化方法将再提取的特征点进行均匀化分布；
12、后端优化单元，用于利用再提取后的特征点与所述三角化得到的深度信息构建逆深度残差，并利用所述逆深度残差分别对获取深度图像与灰度图像的相机的旋转以及平移求取相应的雅可比矩阵，设计优化函数。
13、第三方面，本专利技术提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当一个或多个程序被所述一个或多个处理器执行使，使得所述一个或多个处理器前述的动态场景下的鲁棒视觉惯性里程计方法。
14、第四方面，本专利技术提供一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时能够使处理器实现前述的动态场景下的鲁棒视觉惯性里程计方法。
15、本专利技术的有益效果在于：
16、本专利技术利用匀速模型结合深度信息对于前后帧间的特征点位置进行粗配准，之后利用深度图像与灰度图像构建对应的混合描述子并设计匹配方案用于帧间的特征跟踪，有效提升了晃动场景下的特征提取与跟踪效果；利用深度信息设置掩膜，对于晃动过程中的特征点剔除与提取，并利用网格化分布方案对于特征点进行均匀化分布以提高晃动过程中位姿解算的精确度；利用深度点云提供深度信息，与立体相机对解算得到的深度信息构建逆深度残差，分别针对相机的位姿以及imu到相机的转换矩阵求取雅可比以提升最终的定位性能。
本文档来自技高网...【技术保护点】
1.一种动态场景下的鲁棒视觉惯性里程计方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种动态场景下的鲁棒视觉惯性里程计方法，其特征在于，所述步骤1包括：获取灰度图像、深度图像与IMU信息，将灰度图像与深度图像进行配准，将灰度图像、深度图像携带的图像信息与IMU信息在时间上进行对齐操作。
3.根据权利要求1所述的一种动态场景下的鲁棒视觉惯性里程计方法，其特征在于，所述步骤2包括：
4.根据权利要求1所述的一种动态场景下的鲁棒视觉惯性里程计方法，其特征在于，所述步骤3包括：
5.根据权利要求1所述的一种动态场景下的鲁棒视觉惯性里程计方法，其特征在于，所述步骤4包括：
6.根据权利要求4所述的一种动态场景下的鲁棒视觉惯性里程计方法，其特征在于，所述步骤3.1包括，给定相应的滑动窗口，当滑动窗口内的数据量满足设定的阈值后即计算其中加速度与角速度各自的均值、方差，当均值与方差以及方差满足阈值的持续时间均满足预设值的情况下将其视为晃动状态。
7.根据权利要求4所述的一种动态场景下的鲁棒视觉惯性里程计方法，其特
8.一种动态场景下的鲁棒视觉惯性里程计装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，其上存储有可执行指令，该指令被处理器执行时能够使处理器实现权利要求1-7任一项所述的动态场景下的鲁棒视觉惯性里程计方法。
...【技术特征摘要】
1.一种动态场景下的鲁棒视觉惯性里程计方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种动态场景下的鲁棒视觉惯性里程计方法，其特征在于，所述步骤1包括：获取灰度图像、深度图像与imu信息，将灰度图像与深度图像进行配准，将灰度图像、深度图像携带的图像信息与imu信息在时间上进行对齐操作。
3.根据权利要求1所述的一种动态场景下的鲁棒视觉惯性里程计方法，其特征在于，所述步骤2包括：
4.根据权利要求1所述的一种动态场景下的鲁棒视觉惯性里程计方法，其特征在于，所述步骤3包括：
5.根据权利要求1所述的一种动态场景下的鲁棒视觉惯性里程计方法，其特征在于，所述步骤4包括：
6.根据权利要求4所述的一种动态场景下的鲁棒视觉...
【专利技术属性】
技术研发人员：张文超，陈嘉伟，刘晓宙，魏东岩，袁洪，
申请(专利权)人：中国科学院空天信息创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。