【技术实现步骤摘要】
本专利技术涉及图像处理，更具体地说，它涉及一种基于点线融合的视觉惯性slam方法及系统。
技术介绍
1、slam(simultaneous localization and mapping，即同时定位与地图构建)是一种关键技术，用于使机器人或自动驾驶汽车等设备在未知环境中导航，涉及使用各种传感器，如激光雷达、摄像头、imu(惯性测量单元)等来收集环境数据，并通过算法处理这些数据以确定设备的位置并构建环境地图。视觉惯性slam(visual-inertial slam，简称vi-slam)是一种结合了视觉信息和惯性测量单元(imu)数据的slam技术，通过利用相机捕捉的视觉信息和imu提供的加速度和角速度数据，来实现对机器人或无人车等智能体的精确定位和地图构建。
2、近年来，随着人工智能和机器人技术的飞速发展，slam技术作为其中的关键组成部分，日益受到人们的关注。slam技术使机器人能够在未知环境中自主导航、建图，并实现精确定位，为机器人和无人驾驶车辆的自主化、智能化提供了强有力的支持。在slam技术中，因线特征具有更加丰富的几何信息，可弥补仅使用点特征所存在的在低纹理和运动模糊等场景下表现不佳的缺陷，使基于点线特征结合的方式逐渐成为主流。但这种方式的提取与匹配计算量较大，slam系统实时性将受到挑战，尤其是提取到的线特征过多时，选择稳定且具有区分性的特征变得尤为困难。
3、因此，本申请提供一种基于点线融合的视觉惯性slam方法及系统，解决上述问题。
技术实现思路>
1、本申请的目的是提供一种基于点线融合的视觉惯性slam方法及系统，解决当前slam方法在处理过多线特征时，无法有效选择稳定且具有区分性的特征，导致系统计算复杂度高、光流跟踪精度低和实时性差的问题；本申请通过在数据预处理时设置特殊的特征检测与匹配，在后端非线性优化时设置边缘化残差处理滑动窗口优化，增强点线特征的稳定性和准确性，提升系统的运行效率。
2、本申请首先提供一种基于点线融合的视觉惯性slam方法，包括：s1、获取相机的视觉数据和imu的惯性数据，对视觉数据和惯性数据进行预处理，包括：对视觉数据进行特征检测与匹配，对惯性数据进行imu预积分；s2、基于预处理后的视觉数据和惯性数据进行视觉惯性联合初始化，包括：视觉初始化和视觉惯性对齐，得到初始参数；s3、基于初始参数进行改进滑动窗口的后端非线性优化；s4、基于后端非线性优化的结果进行闭环检测和全局位姿优化，包括：执行回环检测和重定位，执行四自由度的位姿图优化并维护关键帧数据库；其中，对视觉数据进行特征检测与匹配包括：基于正、反向光流结合的跟踪算法对视觉数据进行点特征提取与跟踪，基于线特征选择与均匀化优化后的线段检测模型对视觉数据进行线特征选择和优化；基于初始参数进行改进滑动窗口的后端非线性优化包括：基于滑动窗口模型对视觉数据和惯性数据分别进行边缘化并转化为先验信息，基于分布式优化策略改进边缘化步骤。
3、在一种可能的实施方式中，基于正、反向光流结合的跟踪算法对视觉数据进行点特征提取与跟踪，包括：基于特征点检测算法提取当前帧图像中的特征点；基于灰度不变假设，将当前帧与目标帧之间的差异最小求解转化为目标函数优化；基于目标函数构建雅可比矩阵；基于高斯牛顿法将点拓展到点附近的点集；基于正向光流算法迭代计算特征点在连续帧中的位置差，在迭代过程中基于反向光流算法逆向补偿特征点在当前帧的位置，更新雅可比矩阵。
4、在一种可能的实施方式中，基于线特征选择与均匀化优化后的线段检测模型对视觉数据进行线特征选择和优化，包括：通过线特征提取算法构建线特征集合，通过线特征迭代器遍历线特征集合中所有的元素；线特征选择：若线特征的三角化帧数大于或等于阈值，或者在当前帧上线特征未被三角化，则跳过这一帧，否则对线特征的观测帧进行计数并存储观测数据，基于线特征的端点坐标筛除端点距离小于阈值的线特征；线特征优化：以线特征的起点和终点计算线特征的法向量，计算另一条线特征的起点和终点到法向量的距离，分析距离是否小于距离阈值，计算两条线段的方向向量和方向向量夹角，分析方向向量夹角是否小于夹角阈值，基于距离阈值和夹角阈值对线特征进行均匀化。
5、在一种可能的实施方式中，基于滑动窗口模型对视觉数据和惯性数据分别进行边缘化并转化为先验信息，包括：以滑动窗口模型为基础，在对先前数据帧进行边缘化的同时对视觉数据和惯性数据分别进行边缘化并转换为先验信息。
6、在一种可能的实施方式中，基于分布式优化策略改进边缘化步骤，包括：将最早帧和与其关联的惯性数据和观测到的路标点信息转换为先验信息，然后将先验信息合并到整体优化目标函数中。
7、本申请还提供一种基于点线融合的视觉惯性slam系统，包括：数据预处理单元，用于获取相机的视觉数据和imu的惯性数据，对视觉数据和惯性数据进行预处理，包括：对视觉数据进行特征检测与匹配，对惯性数据进行imu预积分，对视觉数据进行特征检测与匹配包括：基于正、反向光流结合的跟踪算法对视觉数据进行点特征提取与跟踪，基于线特征选择与均匀化优化后的线段检测模型对视觉数据进行线特征选择和优化；初始化单元，用于基于预处理后的视觉数据和惯性数据进行视觉惯性联合初始化，包括：视觉初始化和视觉惯性对齐，得到初始参数；后端非线性优化单元，用于基于初始参数进行改进滑动窗口的后端非线性优化，基于初始参数进行改进滑动窗口的后端非线性优化包括：基于滑动窗口模型对视觉数据和惯性数据分别进行边缘化并转化为先验信息，基于分布式优化策略改进边缘化步骤；闭环检测与全局位姿优化单元，用于基于后端非线性优化的结果进行闭环检测和全局位姿优化，包括：执行回环检测和重定位，执行四自由度的位姿图优化并维护关键帧数据库。
8、在一种可能的实施方式中，初始化单元包括特征点提取优化单元，用于基于特征点检测算法提取当前帧图像中的特征点；基于灰度不变假设，将当前帧与目标帧之间的差异最小求解转化为目标函数优化；基于目标函数构建雅可比矩阵；基于高斯牛顿法将点拓展到点附近的点集；基于正向光流算法迭代计算特征点在连续帧中的位置差，在迭代过程中基于反向光流算法逆向补偿特征点在当前帧的位置，更新雅可比矩阵。
9、在一种可能的实施方式中，初始化单元包括特征线提取优化单元，用于通过线特征提取算法构建线特征集合，通过线特征迭代器遍历线特征集合中所有的元素；线特征选择：若线特征的三角化帧数大于或等于阈值，或者在当前帧上线特征未被三角化，则跳过这一帧，否则对线特征的观测帧进行计数并存储观测数据，基于线特征的端点坐标筛除端点距离小于阈值的线特征；线特征优化：以线特征的起点和终点计算线特征的法向量，计算另一条线特征的起点和终点到法向量的距离，分析距离是否小于距离阈值，计算两条线段的方向向量和方向向量夹角，分析方向向量夹角是否小于夹角阈值，基于距离阈值和夹角阈值对线特征进行均匀化。
10、在一种可能的实施方式中，后端非线性优化单元包括滑动窗口模型优化单元，用于以滑动窗口模型为基础，在对先本文档来自技高网...
【技术保护点】
1.一种基于点线融合的视觉惯性SLAM方法，其特征在于，包括：
2.根据权利要求1所述的一种基于点线融合的视觉惯性SLAM方法，其特征在于，基于正、反向光流结合的跟踪算法对视觉数据进行点特征提取与跟踪，包括：
3.根据权利要求1所述的一种基于点线融合的视觉惯性SLAM方法，其特征在于，基于线特征选择与均匀化优化后的线段检测模型对视觉数据进行线特征选择和优化，包括：
4.根据权利要求1所述的一种基于点线融合的视觉惯性SLAM方法，其特征在于，基于滑动窗口模型对视觉数据和惯性数据分别进行边缘化并转化为先验信息，包括：以滑动窗口模型为基础，在对先前数据帧进行边缘化的同时对视觉数据和惯性数据分别进行边缘化并转换为先验信息。
5.根据权利要求1所述的一种基于点线融合的视觉惯性SLAM方法，其特征在于，基于分布式优化策略改进边缘化步骤，包括：将最早帧和与其关联的惯性数据和观测到的路标点信息转换为先验信息，然后将先验信息合并到整体优化目标函数中。
6.一种基于点线融合的视觉惯性SLAM系统，其特征在于，包括：
7.根据权利
8.根据权利要求6所述的一种基于点线融合的视觉惯性SLAM系统，其特征在于，所述初始化单元包括特征线提取优化单元，用于通过线特征提取算法构建线特征集合，通过线特征迭代器遍历线特征集合中所有的元素；线特征选择：若线特征的三角化帧数大于或等于阈值，或者在当前帧上线特征未被三角化，则跳过这一帧，否则对线特征的观测帧进行计数并存储观测数据，基于线特征的端点坐标筛除端点距离小于阈值的线特征；线特征优化：以线特征的起点和终点计算线特征的法向量，计算另一条线特征的起点和终点到法向量的距离，分析距离是否小于距离阈值，计算两条线段的方向向量和方向向量夹角，分析方向向量夹角是否小于夹角阈值，基于距离阈值和夹角阈值对线特征进行均匀化。
9.根据权利要求6所述的一种基于点线融合的视觉惯性SLAM系统，其特征在于，所述后端非线性优化单元包括滑动窗口模型优化单元，用于以滑动窗口模型为基础，在对先前数据帧进行边缘化的同时对视觉数据和惯性数据分别进行边缘化并转换为先验信息。
10.根据权利要求6所述的一种基于点线融合的视觉惯性SLAM系统，其特征在于，所述后端非线性优化单元包括边缘化优化单元，用于将最早帧和与其关联的惯性数据和观测到的路标点信息转换为先验信息，然后将先验信息合并到整体优化目标函数中。
...【技术特征摘要】
1.一种基于点线融合的视觉惯性slam方法，其特征在于，包括：
2.根据权利要求1所述的一种基于点线融合的视觉惯性slam方法，其特征在于，基于正、反向光流结合的跟踪算法对视觉数据进行点特征提取与跟踪，包括：
3.根据权利要求1所述的一种基于点线融合的视觉惯性slam方法，其特征在于，基于线特征选择与均匀化优化后的线段检测模型对视觉数据进行线特征选择和优化，包括：
4.根据权利要求1所述的一种基于点线融合的视觉惯性slam方法，其特征在于，基于滑动窗口模型对视觉数据和惯性数据分别进行边缘化并转化为先验信息，包括：以滑动窗口模型为基础，在对先前数据帧进行边缘化的同时对视觉数据和惯性数据分别进行边缘化并转换为先验信息。
5.根据权利要求1所述的一种基于点线融合的视觉惯性slam方法，其特征在于，基于分布式优化策略改进边缘化步骤，包括：将最早帧和与其关联的惯性数据和观测到的路标点信息转换为先验信息，然后将先验信息合并到整体优化目标函数中。
6.一种基于点线融合的视觉惯性slam系统，其特征在于，包括：
7.根据权利要求6所述的一种基于点线融合的视觉惯性slam系统，其特征在于，所述初始化单元包括特征点提取优化单元，用于基于特征点检测算法提取当前帧图像中的特征点；基于灰度不变假设，将当前帧与目标帧之间的差异最小求解转化为目标函数优化；基于目标函数构建雅可比矩阵；基于高斯牛顿法将点拓...
【专利技术属性】
技术研发人员：柴薪垚，刘知贵，李理，唐荣，彭章君，付聪，吴均，韩东轩，刘道广，周帅，李骧，曹越，杨秀，何凡，苑中旭，
申请(专利权)人：西南科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。