一种基于双目事件相机的SLAM方法及系统技术方案

本发明专利技术提供一种基于双目事件相机的SLAM方法及系统，包括对输入的左右事件相机数据，利用IMU辅助进行运动补偿，得到相应重建图像；所述利用IMU辅助进行运动补偿，通过IMU积分得到的相对位姿，将事件点的坐标投影到参考坐标系中，事件点的深度采用邻近三维空间点深度的中值代替；对左右事件相机输入的相应重建图像分别进行特征点检测和跟踪；对已经检测和跟踪到的特征点进行三角化计算，得到对应目标的三维坐标点以及图像之间的位姿变化，利用PnP方法计算相机位姿；结合IMU预积分进行后端BA优化，获得相机运动轨迹以及场景建图信息。本发明专利技术技术方案能应对光照变化较大和高速运动的场景，可用于解决现有SLAM系统中机器人运动或环境过于复杂时容易失效的问题。

【技术实现步骤摘要】
一种基于双目事件相机的SLAM方法及系统
本专利技术属于图像处理领域，特别涉及用双目事件相机实现SLAM的技术方案。
技术介绍
在过去几十年里，由于计算机视觉方法的研究与发展，人们对机器人感知的兴趣也日益增加。这种传统相机能够捕获相机周围环境的高信息内容，并且因为其低成本，普遍的特点而在各种应用中变得最流行。同时定位与地图构建(SimultaneousLocalization,SLAM)是机器人感知领域最重要的里程碑之一，并且在过去30年取得了瞩目的成就。单目事件相机SLAM由于无法无法真实地恢复尺度，并且单目相机需要一定的时间对相机进行初始化，否则将会得到错误的轨迹和建图的结果。现有的SLAM一般都是基于传统光学相机实现的，传统的基于帧的相机在设计上表现出一些限制，一方面，它以固定得帧速率输出图像，无论每个图像中存在的新得信息量如何，因此，传入的信息通常是有大量的冗余的，这些冗余的数据会浪费宝贵的计算资源。另一方面，高动态场景或相机运动会给传统图像帧带来运动模糊，并且会使续帧之间缺乏足够的重叠信息，因此基于传统相机的角点检测和跟踪效果变得很差，这也限制了SLAM的进一步发展。但是由于事件相机的特殊的数据格式，导致很多现有的成熟的SLAM方法无法直接应用在时间相机上，因此事件相机的应用还很有限。事件相机或动态视觉传感器(DynamicVisionSensor,DVS)通过芯片模拟视网膜，并响应由于运动引起的照明中的像素级变化而产生的脉冲。如图1所示是用事件相机和普通相机拍摄一个带有圆点的旋转圆盘，standcameraoutput表示普通相机的输出，它是在特定的时间点输出相机的亮度图像，而DVSoutput是事件相机输出的数据是一串事件流数据，更具体的说，在tj时刻，uj＝(xj,yj)像素位置上的亮度增量达到阈值±c(c＞0)，那么一个事件ej＝(xj,yj,tj,pj)将被触发，pj∈{+1,-1}表示事件的极性，正号表示亮度增加，负号表示亮度减小，因此事件相机输出的是异步事件流，如图1所示，并且由于事件仅仅记录增量变化，所以场景的绝对亮度值不再是直接可见的。与传统的基于帧的相机相比，事件相机可以以几乎无限的帧速率捕捉亮度变化，并记录特定时间点和图像位置的事件。特别是对于移动场景，事件相机在数据速率、速度和动态范围方面具有很大的优势，有望解决现有SLAM系统中运动过快而失效的问题。目前较新的事件相机比如DAVIS(DynamicandActive-pixelVisionSensor，主动像素视觉传感器)，带有IMU(InertialMeasurementUnit,惯性测量单元)模块，IMU可以测量三轴的线加速度和角速度，常常用来获取相机的三维运动信息，在SLAM(SimultaneousLocalizationandMapping，同时定位与地图构建)、导航等应用中用来自身定位，且能做到与事件点和亮度图像的时间同步。但是，在定位与地图构建方面仍然存在图像需要重建、双目图像时间对齐等技术难点。
技术实现思路
本专利技术针对现有的基于单目事件相机的SLAM方法中无法直接恢复出场景的真实深度信息问题，提出一种基于双目事件相机的SLAM方案。本专利技术技术方案提供一种基于双目事件相机的SLAM方法，包括以下步骤：步骤1，对输入的左右事件相机数据，利用IMU辅助进行运动补偿，得到相应重建图像；所述利用IMU辅助进行运动补偿，实现方式如下，设事件帧起始时间为进行运动补偿时，以事件帧起始为参考系，针对累计窗口内某一事件点ej，记相应时间戳为tj，通过IMU积分得到到tj的相对位姿将ej的坐标xj投影到参考坐标系中，投影后的坐标x′j为：其中，K为相机内参矩阵，K-1是其逆矩阵，Z(xj)为事件点的深度，本步骤采用邻近三维空间点深度的中值代替；步骤2，对左右事件相机输入的相应重建图像分别进行特征点检测和跟踪；步骤3，根据步骤2所得结果，对已经检测和跟踪到的特征点进行三角化计算，得到对应目标的三维坐标点以及图像之间的位姿变化，利用PnP方法计算相机位姿；步骤4，结合IMU预积分进行后端BA优化，获得相机运动轨迹以及场景建图信息。而且，步骤1中重建图像时进行时间对齐，实现如下，1)将左事件相机累积30ms时间事件点形成二值图像帧，进行运动补偿，将30ms内第一个事件点的时间值作为左事件相机重建图像帧时间戳；2)在右事件相机事件流数据中，搜索时间最接近左事件相机重建图像帧时间戳的事件点，并以搜索到的事件点相应时间作为起始时间，将右事件相机累积30ms时间事件点形成二值图像帧，进行运动补偿。而且，步骤2中，采用Shi-Tomasi方法实现特征点检测。而且，步骤2中，采用Kanade-Lucas-Tomasi方法实现跟踪。本专利技术还提供一种基于双目事件相机的SLAM系统，用于如上所述基于双目事件相机的SLAM方法。本专利技术主要利用事件相机具有的高时间分辨率高动态范围的特点，并且利用双目相机可以获取场景的真实深度的特点，避免了传统相机在高动态范围的场景中无法获取足够的图像特征的问题，并且也通过双目相机计算出场景的真实深度信息。在SLAM中使用本专利技术的基于双目事件相机的方法可以获得较高的轨迹估计精度。本专利技术技术方案能够应对光照变化较大和高速运动的场景，可用于解决现有SLAM系统中机器人运动或环境过于复杂时容易失效的问题。附图说明图1是传统相机和DVS相机数据对比示意图。图2是本专利技术实施例图像重建结果图，其中图2(a)为缓慢移动的场景固定时间间隔生成的事件图像，图2(b)为快速移动的场景固定时间间隔生成的事件图像，图2(c)为环境简单的场景固定事件点数生成的事件图像，图2(d)为环境复杂的场景固定事件点数生成的事件图像。图3是本专利技术使用的运动补偿的原理图。图4是本专利技术实施例运动补偿后图像重建结果，其中图4(a)为进行运动补偿图像，图4(b)为运动补偿之后图像。图5是本专利技术实施例三角化示意图。图6是本专利技术实施例后端BA优化示意图。图7是本专利技术实施例流程框架示意图。具体实施方式为了更清楚地了解本专利技术，下面结合附图和实施例具体介绍本专利技术技术方案。本专利技术将左右两个事件相机作为两个独立的线程同时进行运动补偿、时间对齐、特征点检测与跟踪，随后利用三角化求得特征点的三维坐标，结合特征点二维图像坐标以及对应的三维空间坐标利用PnP解算出相机位姿，再结合IMU预积分通过后端优化输出相机自身的运动轨迹和对周围地图的构建。参见图7，本专利技术实施例提供一种基于双目事件相机的SLAM方法，包括以下步骤：步骤1，对输入左右事件相机数据，利用IMU辅助进行运动补偿，得到重建的灰度值图像。首先输入左右事件相机数据和事件相机IMU。事件相机数据格式不同于普光相机，需要事件相机进行图像重建，可以根据等事件点个数和等时间间隔累积事件点生成图像。本文档来自技高网...

【技术保护点】
1.一种基于双目事件相机的SLAM方法，其特征在于，包括以下步骤：/n步骤1，对输入的左右事件相机数据，利用IMU辅助进行运动补偿，得到相应重建图像；所述利用IMU辅助进行运动补偿，实现方式如下，/n设事件帧起始时间为

【技术特征摘要】
1.一种基于双目事件相机的SLAM方法，其特征在于，包括以下步骤：
步骤1，对输入的左右事件相机数据，利用IMU辅助进行运动补偿，得到相应重建图像；所述利用IMU辅助进行运动补偿，实现方式如下，
设事件帧起始时间为进行运动补偿时，以事件帧起始为参考系，针对累计窗口内某一事件点ej，记相应时间戳为tj，通过IMU积分得到到tj的相对位姿将ej的坐标xj投影到参考坐标系中，投影后的坐标x′j为：



其中，K为相机内参矩阵，K-1是其逆矩阵，Z(xj)为事件点的深度，本步骤采用邻近三维空间点深度的中值代替；
步骤2，对左右事件相机输入的相应重建图像分别进行特征点检测和跟踪；
步骤3，根据步骤2所得结果，对已经检测和跟踪到的特征点进行三角化计算，得到对应目标的三维坐标点以及图像之间的位姿变化，利用PnP方法计算相机位姿；
步骤4，结合IMU预积分进行后端BA优化，获得相机运动轨迹以及场景建图信息。

【专利技术属性】
技术研发人员：余磊，周游龙，杨公宇，杨文，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42