一种提高视觉惯导系统鲁棒性的方法、装置和机器人设备制造方法及图纸

本发明专利技术涉及视觉和惯导融合的同时定位与地图构建领域，特别是涉及一种提高视觉惯导系统鲁棒性的方法、装置和机器人设备，其中所述提供视觉惯导系统鲁棒性的方法，通过确定参考帧；对所述参考帧进行修正；根据最老帧和修正后的参考帧，对除了所述参考帧和最老帧之外的帧进行非线性优化，完成对图形在静止或匀速状态下，将新的视觉约束引入到系统中去，优化了现有的视觉约束和惯性约束机制，很好的解决了轨迹飘走的问题，显著提高了系统的鲁棒性。

【技术实现步骤摘要】
一种提高视觉惯导系统鲁棒性的方法、装置和机器人设备
本专利技术实施例涉及视觉和惯导融合的同时定位与地图构建领域，特别是涉及一种提高视觉惯导系统鲁棒性的方法、装置和机器人设备。
技术介绍
同时定位与地图构建系统(SLAM,Simultaneouslocalizationandmapping,以下简称SLAM)是指搭载特定传感器的主体，如机器人、无人机、AR设备等，在没有环境先验信息的情况下，于运动过程中建立环境的模型，同时估计自己运动的过程。SLAM中的传感器可以为视觉相机、IMU、GPS、激光雷达等，本文中讨论的传感器主要为视觉相机和IMU，通常称这种基于视觉和观星测量单元IMU(InertialMeasurementUnit)融合的SLAM系统为VINS(visual-inertialsystem)，或VIO(visual-inertialodometry)，即视觉惯导系统。VIO按照视觉和IMU的状态向量是否放在一起优化，可分为松耦合和紧耦合，在紧耦合VIO系统中，通过将视觉提供的重投影误差的视觉约束，和IMU提供的帧间约束，放到一个整体的目标函数中进行优化。但是，当出现快速旋转、快速移动、相机遮挡或无纹理等情况，会导致视觉约束丢失，这种情况在AR、机器人等中是经常会出现的，以手机等AR设备为例，当快速运动时，因为运动模糊等原因，会导致图像质量发生模糊，此时想在这种图像上进行视觉的特征点检测和跟踪将变得不现实。当视觉约束丢失时，VIO系统的整体目标函数中仅有IMU约束起作用，但是又因为IMU的累积误差，将导致计算的状态向量出现错误，当视觉丢失后静止不动时，相机轨迹仍会沿某个方向加速飘走。
技术实现思路
鉴于上述问题，提出了本专利技术实施例以便提供一种克服上述问题的方法、装置、机器人设备及计算机存储介质。为解决上述技术问题，本专利技术实施例采用的一个技术方案是：提供一种提高视觉惯导系统鲁棒性的方法，包括确定参考帧；对所述参考帧进行修正；根据最老帧和修正后的参考帧，对除了所述参考帧和最老帧之外的帧进行非线性优化。所述参考帧为相同帧的次新帧。所述确定参考帧，进一步包括确定需要边缘化的帧，包括：根据当前帧，判断最老帧是否是需要边缘化的帧；如果是，则将最老帧确定为需要边缘化的帧；如果不是，则进一步判断当前帧和次新帧是否相同，如果相同，则将次新帧确定为参考帧，并将最老帧确定为需要边缘化的帧。如果当前帧和次新帧不相同，则将次新帧确定为需要边缘化的帧，并在后续不对参考帧进行修正。所述判断当前帧和次新帧是否相同，具体为：判断当前帧和次新帧跟踪成功的点数是否小于预先设定的阈值，如果不小于，则认为当前帧和次新帧相同；如果小于，则认为当前帧和次新帧不同。所述修正参考帧，具体为对参考帧的速度和旋转进行修正。所述修正参考帧，具体为：将参考帧的速度设置为：将参考帧的旋转设置为：所述将除了最老帧和参考帧之外的其他帧进行非线性优化，进一步包括：判断需要边缘化的帧是否是最老帧，如果是，则在将除了最老帧和参考帧之外的其他帧进行线性化后，边缘化最老帧，将参考帧向最老帧方向平移一帧。所述将除了最老帧和参考帧之外的其他帧进行非线性优化，进一步包括：判断需要边缘化的帧是否是最老帧，如果不是，则在将除了最老帧和参考帧之外的其他帧进行非线性化后，边缘化次新帧。所述对除了参考帧和最老帧之外的帧进行非线性优化之前，进一步包括：判断所述参考帧是否在滑动窗口内，如果不在，则对所有帧进行非线性优化。本专利技术实施例还提出了一种提高视觉惯导系统鲁棒性的装置，包括：参考帧确定模块：用于确定当前滑动窗口内的参考帧；参考帧修正模块：用于对参考帧进行修正；非线性优化模块：用于根据最老帧和修正后的参考帧，对除了所述参考帧和最老帧之外的帧进行非线性优化。本专利技术实施例还提供一种机器人，包括处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上述实施例中所述提高视觉惯导系统鲁棒性的方法对应的操作。本专利技术实施例还提出了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行上述方法实施例中所述的提高视觉惯导系统鲁棒性的方法对应的操作。由上可知，本专利技术实施例通过对参考帧进行修正，然后固定住参考帧和最老帧，将新的视觉约束引入到系统中去，优化了现有的视觉约束和惯性约束机制，很好的解决了轨迹飘走的问题，显著提高了系统的鲁棒性。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施例。附图说明通过阅读下文优选实施例的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施例的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1是本专利技术实施例提供的滑动窗口内各帧状态一；图2是本专利技术实施例提供的滑动窗口内各帧状态二；图3是本专利技术实施例提供的滑动窗口内各帧状态三；图4是本专利技术实施例提供的滑动窗口内各帧状态四；图5是本专利技术实施例提供的提高视觉惯导系统系统鲁棒性的流程图一；图6是本专利技术实施例提供的提高视觉惯导系统系统鲁棒性的流程图二；图7-1是本专利技术实施例提供的滑动窗口内各帧状态五；图7-2是本专利技术实施例提供的滑动窗口内各帧状态六；图7-3是本专利技术实施例提供的滑动窗口内各帧状态七；图7-4是本专利技术实施例提供的滑动窗口内各帧状态八；图8-1是本专利技术实施例提供的滑动窗口内各帧状态九；图8-2是本专利技术实施例提供的滑动窗口内各帧状态十；图8-3是本专利技术实施例提供的滑动窗口内各帧状态十一；图9-1是本专利技术实施例提供的滑动窗口内各帧状态十二；图9-2是本专利技术实施例提供的滑动窗口内各帧状态十三；图9-3是本专利技术实施例提供的滑动窗口内各帧状态十四；图10是本专利技术实施例提供的提高视觉惯导系统鲁棒性的装置；图11是本专利技术实施例提供机器人结构图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。本专利技术实施例提供的技术方案，是当图像采集设备发生视觉丢失后静止不动时，通过添加新的视觉约束，修正静止图像帧的旋转矩阵，来阻止轨迹继续飘走。我们假设图像采集设备快速移动后会静止，而且该假设是合理的，比如在AR中，人们经常会拿着手机突然转向另外一个方向，并停止不动进行观察，我们的操作就发生在停止不动的过程中。下面将针对本专利技术实施例的工作背景进行说明。在VIO系统中，我们采用在一个滑动窗口内进行优化的思路，如图1所示，这里假设滑动窗口内能容纳5帧图像，圆型框表示相应第i帧的位置和旋转：其中，表示从IMU的局部坐标系bi到世界坐标系w的旋转，表示从IMU的局部坐标系bi到世界坐标系w的平移。方型框表示第i帧的速度和bias：其中，表示从IMU的局部坐标系bi到世界坐标系w本文档来自技高网...

【技术保护点】
1.一种提高视觉惯导系统鲁棒性的方法，其特征在于，包括：确定参考帧；对所述参考帧进行修正；根据最老帧和修正后的参考帧，对除了所述参考帧和最老帧之外的帧进行非线性优化。

【技术特征摘要】
1.一种提高视觉惯导系统鲁棒性的方法，其特征在于，包括：确定参考帧；对所述参考帧进行修正；根据最老帧和修正后的参考帧，对除了所述参考帧和最老帧之外的帧进行非线性优化。2.根据权利要求1所述的方法，其特征在于，所述参考帧为相同帧的次新帧。3.根据权利要求1所述的方法，其特征在于，所述确定参考帧，进一步包括确定需要边缘化的帧，包括：根据当前帧，判断最老帧是否是需要边缘化的帧；如果是，则将最老帧确定为需要边缘化的帧；如果不是，则进一步判断当前帧和次新帧是否相同，如果相同，则将次新帧确定为参考帧，并将最老帧确定为需要边缘化的帧。4.如权利要求3所述的方法，其特征在于，如果当前帧和次新帧不相同，则将次新帧确定为需要边缘化的帧，并在后续不对参考帧进行修正。5.根据权利要求3或4所述的方法，其特征在于，所述判断当前帧和次新帧是否相同，具体为：判断当前帧和次新帧跟踪成功的点数是否小于预先设定的阈值，如果不小于，则认为当前帧和次新帧相同；如果小于，则认为当前帧和次新帧不同。6.如权利要求1所述的方法，其特征在于，所述修正参考帧，具体为对参考帧的速度和旋转进行修正。7.如权利要求1或6所述的方法，其特征在于，所述修正参考帧，具体为：将参考帧的速度设置为：将参考帧的旋转设置为：8.根据权利要求1所述的方法，其特征在于，所述将除了最老帧和所述参考帧之外的其他帧进行非线性优化，进一步包括：判断需要边缘化的帧...

【专利技术属性】
技术研发人员：崔华坤，王恺，廉士国，
申请(专利权)人：达闼科技北京有限公司，
类型：发明
国别省市：北京,11