【技术实现步骤摘要】
本专利技术创造属于双目视觉，具体涉及一种基于双目视觉与imu融合的slam方法。
技术介绍
1、同步定位与地图构建(simulaneous localization and mapping，slam)一般是指载体利用自身携带的传感器，来进行位姿估计并得到自身运动轨迹的过程，随着人工智能的发展，slam系统在诸多领域中大放光彩。基于纯视觉的slam系统对周围环境要求比较高，对于一些动态场景和纹理细节特征缺失的场景不能进行处理，局限性比较大。惯性测量单元(inertial measurement unit，imu)具备实时测取载体的加速度和角速度的特征，可以有效缓解纯视觉slam的局限性。
技术实现思路
1、针对上述缺陷，本专利技术的目的是提出一种基于双目视觉与imu融合的slam方法，可以有效提高定位的准确性。
2、本专利技术为实现其目的所采取的技术方案是：一种基于双目视觉和imu融合的slam方法，包括前端视觉里程计模块、后端非线性优化模块和回环检测模块；前端视觉里程计模块包括图像特征提取与初始化两部分，在图像特征提取部分提取orb特征点，之后进行特征匹配，获取深度信息，然后进行imu预积分得出当前时刻的位移、速度和旋转，提供初始化的初值，在初始化过程中，采用松耦合的方法对视觉信息与imu测量值分别进行状态估计；初始化完成之后进入后端非线性优化模块，在后端非线性优化的过程中，采用滑动窗口紧耦合非线性优化方法，使得所有的误差项最小化；所述回环检测模块使用基于词袋模型的回环
3、进一步地，所述imu预积分过程包括建立imu噪声模型和测量模型，完成imu预积分过程。
4、进一步地，所述回环检测模块进行重定位，使用字典树来计算图像之间相似度，并借助回环约束来修正累计误差。
5、在本专利技术中，前端视觉里程计模块包括图像特征提取与初始化两部分，在特征提取过程中主要计算特征点的主方向来增加旋转不变性，特征匹配使用快速最近邻实现，这种方法可以减少计算复杂度，效率更高，其次建立imu噪声模型和测量模型，完成imu预积分过程，为系统初始化提供惯性测量信息；系统初始化是系统非常重要的部分，对系统性能有直接影响，可以给系统提供较为准确的初始值和参数。本专利技术在双目视觉初始化中使用pnp来估计相机的运动，具体通过n个3d空间点和n个点的投影位置估计相机的位姿；后端非线性优化采用滑动窗口来控制优化的规模，后端接受不同时刻视觉里程计算量的相机位姿，以及回环检测的信息，对它们进行优化，得到全局一致的轨迹和地图；回环检测是进行重定位，采用基于词袋模型的方法进行回环检测，预先加载训练好的字典树，利用字典树计算图像之间的相似度来检测回环，使用回环约束来修正累计的误差，在识别到回环帧后借助紧耦合的方式实现重定位的功能，对当前轨迹进行回环优化，进而使系统的准确性和鲁棒性得到显著提升。
本文档来自技高网...【技术保护点】
1.一种基于双目视觉和IMU融合的SLAM方法，其特征在于，包括前端视觉里程计模块、后端非线性优化模块和回环检测模块；前端视觉里程计模块包括图像特征提取与初始化两部分，在图像特征提取部分提取ORB特征点，之后进行特征匹配，获取深度信息；然后进行IMU预积分得出当前时刻的位移、速度和旋转，提供初始化的初值，在初始化过程中，采用松耦合的方法对视觉信息与IMU测量值分别进行状态估计；初始化完成之后进入后端非线性优化模块，在后端非线性优化的过程中，采用滑动窗口紧耦合非线性优化方法，使得所有的误差项最小化；所述回环检测模块使用基于词袋模型的回环检测方法来实现闭环检测，最后通过回环优化来消除累计误差。
2.如权利要求1所述的一种基于双目视觉和IMU融合的SLAM方法，其特征在于，所述IMU预积分过程包括建立IMU噪声模型和测量模型，完成IMU预积分过程。
3.如权利要求1所述的一种基于双目视觉和IMU融合的SLAM方法，其特征在于，所述回环检测模块进行重定位，使用字典树来计算图像之间相似度，并借助回环约束来修正累计误差。
【技术特征摘要】
1.一种基于双目视觉和imu融合的slam方法，其特征在于，包括前端视觉里程计模块、后端非线性优化模块和回环检测模块；前端视觉里程计模块包括图像特征提取与初始化两部分，在图像特征提取部分提取orb特征点，之后进行特征匹配，获取深度信息；然后进行imu预积分得出当前时刻的位移、速度和旋转，提供初始化的初值，在初始化过程中，采用松耦合的方法对视觉信息与imu测量值分别进行状态估计；初始化完成之后进入后端非线性优化模块，在后端非线性优化的过程中，采用滑动窗口紧耦合非线性优化方...
【专利技术属性】
技术研发人员：童飞飞，周磊，李辉，晏莹亮，杨梦薇，
申请(专利权)人：河南中光学集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。