基于天花板视觉的同步定位与地图绘制的方法技术

本发明专利技术属机器人同步定位与地图创建领域，涉及基于天花板的角点信息实现机器人定位及地图绘制的方法，该方法采用实时高效的角点选取算法，角点位于天花板上，由安装在机器人上且光轴与天花板垂直的摄像机进行拍摄，并从拍摄的图片中提取出角点；使用光流跟踪法跟踪连续两张图片中匹配的角点对，利用匹配的角点对来实现角点的三维重构；配合基于扩展卡尔曼滤波的同步定位与地图创建算法确定机器人每次拍摄时的位置和航向角，结合重构的路标信息不断完善地图。本发明专利技术实现了基于天花板视觉的同步定位与地图绘制，能较精确地描述机器人与周围环境的关系。

【技术实现步骤摘要】
基于天花板视觉的同步定位与地图绘制的方法
本专利技术属于机器人同步定位与地图创建(SLAM)领域，涉及基于天花板的角点信息实现机器人定位及地图绘制的方法。本方法中结合了数字图像处理技术、计算机视觉和扩展卡尔曼滤波技术等等。
技术介绍
同时定位与地图创建（SLAM）的技术是机器人领域比较经典的问题，通常SLAM问题可以描述为:机器人在未知环境中从一个未知位置开始移动,在移动过程中根据位置估计和地图进行自身定位,同时在自身定位的基础上建造增量式地图，实现机器人的自主定位和导航。影响SLAM问题的比较重要的因为环境噪声以及观测数据的相关联性，如果能够得到较高的数据相关联性将决定了对周围环境观测的正确性，进而影响到整个环境地图的创建。SlAM问题依赖于机器人对环境信息的感知，目前可以用于环境信息感知的传感器种类多样，主要有码盘、摄像机、激光雷达等等，其中视觉传感器价格低廉、信息量丰富，随着图像处理和机器视觉技术的发展，将越来越多地应用于机器人领域，基于视觉传感器的移动机器人同时定位与建图已经成为本领域比较热门的研究课题。本专利技术拟采用室内天花板的视觉信息作为研究对象，基于室内天花板兴趣点的获取与跟踪，以此得到的信息构建场景地图，用于机器人的定位与路径规划。
技术实现思路
本专利技术的目的是提供一种同时定位与地图创建（SLAM）的解决方案，涉及基于天花板视频信息的机器人定位与地图构建系统，尤其是基于天花板的角点信息实现机器人定位及地图绘制的方法。本系统中从特征点采集与匹配到基于扩展卡尔曼滤波的EKF-SLAM算法，由于特征点采集来自于图像角点，可以确保较高的数据相关性。本专利技术方法中，采用实时高效的角点选取算法，角点位于天花板上，由安装在机器人上且光轴与天花板垂直的摄像机进行拍摄，并从拍摄的图片中提取出角点；使用光流跟踪法跟踪连续两张图片中匹配的角点对，利用匹配的角点对实现角点的三维重构；配合上基于扩展卡尔曼滤波的同步定位与地图创建算法确定机器人每次拍摄时的位置和航向角，结合重构的路标信息不断完善地图。本专利技术提供了基于天花板视觉的同步定位与地图绘制的方法，其特征在于，通过安装在机器人上垂直于天花板的摄像头,由摄像头对天花板进行拍摄，将照片作为输入传给系统，经系统处理后输出当前更新的地图；所述的系统包括：机器人运动模块（1）、图像处理模块（2）、视觉信息处理模块（3）、基于扩展卡尔曼滤波的slam模块（4），其中，所述机器人运动模块（1）包括运动模块（1.1）和摄像模块（1.2），运动模块（1.1）控制机器人的运动，机器人的每次运动在接收速度和运动方向信号（即控制矩阵）后，经过分析后完成运动，并且给出运动的距离作为输入量传给视觉处理模块；摄像模块（1.3）由内嵌于机器人内部垂直向上的摄像头来完成对天花板的拍摄任务，并把图片传输到图像处理模块。所述图像处理模块（2）包括角点特征提取子模块（2.1）、通过光流跟踪子模块（2.2）；角点特征提取子模块（2.1）接收机器人每步中拍摄的照片，使用Harris角点检测法提取其中的角点；角点特征提取模块（2.1）中输出的角点像素信息作为输入传给光流跟踪子模块（2.2），经处理后输出连续图片中匹配的角点对。所述视觉信息处理模块（3）包括深度信息重构子模块（3.1）和三维重构子模块（3.2）；图像处理模块（2）得到的角点对做为输入传到深度信息子模块（3.1）中去，使用三角测量法进行深度信息重构；将得到的深度信息作为输入传给三维重构子模块（3.2），根据光学相关知识进行三维坐标的重构。所述基于扩展卡尔曼滤波的SLAM模块（4）包括预测子模块（4.1）、观测子模块（4.2）、更新子模块（4.3）和地图管理子模块（4.4）；预测子模块（4.1）根据预测模型以及先前系统状态推测出当前系统的状态；观测子模块（4.2）接收三维重构的数据，如果符合观测数据的要求，则将其作为观测数据处理；更新子模块（4.3），根据扩展卡尔曼滤波的更新公式进行矩阵运算；地图管理子模块（4.4），根据当前的状态以及观测数据，对地图实施添加、修改和删除等管理操作。本专利技术中：所述机器人运动模块（1.1），控制机器人的运动，机器人的每次运动在接收速度和运动方向信号（即控制矩阵）后，经过分析后完成运动，并且给出运动的距离作为输入量传给视觉处理模块。所述摄像模块（1.2）由内嵌于机器人内部垂直向上的摄像头来完成对天花板的拍摄任务，并把图片传输到图像处理模块。所述的角点特征提取子模块（2.1），根据Harris角点检测法提取角点，并存储角点像素坐标,本专利技术的实施例中，依据：第一，Harris角点相对于其他角点检测法速度较快而且准确率较高；第二，对光的敏感度较低等的原因，选取Harris角点检测法作为角点选取的方法。所述光流跟踪子模块（2.2），在前一帧获取的特征点周围基于光流金字塔，进行特征点匹配，如果匹配成功的特征点数目少于指定数目，则重新检测特征点；否则，将获取的特征点的中位数作为输出；所述深度信息重构子模块（3.1），采用三角测量法以及连续两祯图片中匹配的角点提取深度信息；其中的三角测量法，使用连续图片中匹配角点在运动方向的像素移动配合上标定出来的摄像头焦距能够得到有一定误差的深度信息，推导公式如下：其中f为焦距，T为拍摄这连续图片时机器人移动的位移，xl和xr分别为连续图片中匹配点的x像素坐标；所述三维重构子模块（3.2），利用标定出的内参数矩阵，结合当前像素坐标，实现三维坐标重构。所述预测模块（4.1）包括根据预测模型以及先前系统状态推测出当前系统的状态，预测部分分为机器人和角点位置的预测，机器人位置的预测由它的前进路线而定，而角点则是精致的所以预测中角点位置是不变的。所述观测模块（4.2）接收三维重构的数据，如果符合观测数据的要求，则将其作为观测数据处理。观测到的点如果已经在地图中且满足观测要求，则将其作为观测值来更新地图中点的位置；否则，重构出它的初始值，并将其加入到地图中去。所述更新模块（4.3）根据扩展卡尔曼滤波的更新公式进行矩阵运算，更新部分包括机器人位置更新、路标位置更新。所述地图管理模块（4.4）根据当前的状态以及观测数据，来对地图实施添加、修改和删除等管理操作。本专利技术采用室内天花板的视觉信息作为测试对象，基于室内天花板兴趣点的获取与跟踪，得到的信息构建场景地图，由于特征点采集来自于图像角点，可以确保较高的数据相关性，能较精确地描述机器人与周围环境的关系，较好的实现了基于天花板视觉的同步定位与地图绘制。附图说明图1是本专利技术的模块结构示意图。具体实施方式下面根据图1给出本专利技术的较好实施例，并予以详细说明，使能更好地理解本专利技术而不是用来限制本专利技术的范围。实施例1核心算法以及外围组成部分结构如图1所示。首先在机器人运动模块里面，接受输入的控制矩阵作为系统信号让机器人运动起来，在运动的过程中每过一段时间都由摄像模块来对天花板进行拍摄，同时，计算这段时间内行进的位移，拍摄完后的照片，传送到图像处理模块以及视觉处理模块进行处理；图像处理模块接收拍摄好的照片，对拍摄好的照片利用角点检测和跟踪来获得照片中的匹配的角点对；然后，视觉模块，则利用机器人运动模块输出的行进距离以及图像处理本文档来自技高网...

【技术保护点】
基于天花板视觉的同步定位与地图绘制的方法，其特征在于，通过安装在机器人上垂直于天花板的摄像头,由摄像头对天花板进行拍摄，经系统处理后输出当前更新的地图；所述系统包括：机器人运动模块（1）、图像处理模块（2）、视觉信息处理模块（3）、基于扩展卡尔曼滤波的SLAM模块（4）；其中，所述机器人运动模块（1）包括运动模块（1.1）和摄像模块（1.2），运动模块（1.1）控制机器人的运动，机器人的每次运动在接收速度和运动方向信号后，经过分析完成运动，并且给出运动的距离作为输入量传给视觉处理模块；摄像模块（1.2）由内嵌于机器人内部垂直向上的摄像头完成对天花板的拍摄任务，并将图片传输到图像处理模块；所述图像处理模块（2）包括角点特征提取子模块（2.1），通过光流跟踪子模块（2.2）；角点特征提取子模块（2.1）接收机器人移动过程中拍摄的照片，用Harris角点检测方法提取其中的角点；角点特征提取模块（2.1）中输出的角点像素信息作为输入传给光流跟踪子模块（2.2），经处理后输出连续图片中匹配的角点对；所述视觉信息处理模块（3）包括深度信息重构子模块（3.1）和三维重构子模块（3.2）；图像处理模块（2）得到的角点对做为输入传到深度信息子模块（3.1）中去，用三角测量法进行深度信息重构；将得到的深度信息作为输入传给三维重构子模块（3.2），根据光学相 关知识进行三维坐标的重构；所述基于扩展卡尔曼滤波的EKF‑SLAM模块（4）包括预测子模块（4.1）、观测子模块（4.2）、更新子模块（4.3）和地图管理子模块（4.4）；预测子模块（4.1）根据预测模型以及先前系统状态推测出当前系统的状态；观测子模块（4.2）接收三维重构的数据，其中，如果符合观测数据的要求，则将其作为观测数据处理；更新子模块（4.3），根据扩展卡尔曼滤波的更新公式进行矩阵运算；地图管理子模块（4.4），根据当前的状态以及观测数据，对地图实施添加、修改和删除管理操作。...

【技术特征摘要】
1.基于天花板视觉的同步定位与地图绘制的方法，其特征在于，通过安装在机器人上垂直于天花板的摄像头，对天花板进行拍摄，经系统处理后输出当前更新的地图；所述系统包括：机器人运动模块(1)、图像处理模块(2)、视觉处理模块(3)、基于扩展卡尔曼滤波的SLAM模块(4)；其中，所述机器人运动模块(1)包括运动模块(1.1)和摄像模块(1.2)，运动模块(1.1)控制机器人的运动，机器人的每次运动在接收速度和运动方向信号后，经过分析完成运动，并且给出运动的距离作为输入量传给视觉处理模块；摄像模块(1.2)由内嵌于机器人内部垂直向上的摄像头完成对天花板的拍摄任务，并将图片传输到图像处理模块；所述图像处理模块(2)包括角点特征提取子模块(2.1)和光流跟踪子模块(2.2)；角点特征提取子模块(2.1)接收机器人移动过程中拍摄的照片，用Harris角点检测方法提取其中的角点；角点特征提取子模块(2.1)中输出的角点像素信息作为输入传给光流跟踪子模块(2.2)，经处理后输出连续图片中匹配的角点对；其中：角点特征提取子模块(2.1)，根据Harris角点检测法提取角点，并存储角点像素坐标；光流跟踪子模块(2.2)，在前一帧获取的特征点周围基于光流金字塔，进行特征点匹配，如果匹配成功的特征点数目少于指定数目，则重新检测特征点；否则，将获取的特征点的中位数作为输出；所述视觉处理模块(3)包括深度信息子模块(3.1)和三维重构子模块(3.2)；图像处理模块(2)得到的角点对做为输入传到深度信息子模块(3.1)中去，用三角测量法进行深度信息重构；将得到的深度信息作为输入传给三维重构子模块(3.2)，根据光学相关知识进行三维...

【专利技术属性】
技术研发人员：张文强，付前忠，邱晓欣，何慧钧，张睿，薛向阳，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海;31