一种基于多相机视觉slam的室内AGV小车定位方法技术

本发明专利技术提供一种基于多相机视觉slam的室内AGV小车定位方法，包括以下步骤：建立多相机模型，将场景点投影到多相机系统坐标系，多相机系统上的各相机以任意方向配置在该坐标系中；利用多相机slam算法进行定位和地图建立，利用地图对自身位姿进行估计，在算法中使用多关键帧融合不同相机的图片；在小车行径中容易特征点丢失的位置布置人工信标，通过人工信标获得机器人位姿，并将获得的位姿和多相机slam获得的位姿通过卡尔曼滤波融合，获得AGV小车最终的位姿。本发明专利技术基于视觉slam技术通过采用多个相机感知环境，减少特征缺失情况，配合人工信标的方法，提高定位精度和鲁棒性。

【技术实现步骤摘要】
一种基于多相机视觉slam的室内AGV小车定位方法
本专利技术属于视觉定位
，具体涉及一种基于多相机视觉slam的室内AGV小车定位方法。
技术介绍
室内定位是机器人定位研究的热点。室内由于建筑物遮挡的原因，没有GPS信号，无法使用GPS定位。为了克服没有GPS信号的问题，往往会采用有源信标(蓝牙，wifi等)，但安装这类信标工程量大且不易安装。为了简化信标的安装，利用普通的信标，通过计算机视觉技术识别信标进行定位，但此方法对信标的安置要求较为严格，易受到观察方向的影响，且容易受光线等环境因素影响。近年来随着视觉slam技术的发展，越来越多的室内AGV小车采用此类方法进行定位。常用的定位方法有单目、双目和立体相机slam的方法，此类方法只需一个相机，无需其他设备配合，降低了定位成本，但AGV小车工作环境纹理较少，特征点不明显，往往容易特征点丢失而导致定位失败。一种AGV小车的定位装置及定位方法(公开号：CN108267139A)公开了一种包括AGV小车行走轨迹设定装置以及分别设置在AGV小车上的微控制器和光流传感器；AGV小车行走轨迹设定装置通过无线通信模块连接AGV小车上的微控制器；AGV小车上的光流传感器和其上的微控制器连接，AGV小车上的微控制器连接AGV小车的行走控制机构，用于根据AGV小车行走轨迹得出AGV小车需要行走的位移量，并且用于对光流传感器检测的AGV小车实际位移量和AGV小车需要行走的位移量进行比较，根据比较结果调节AGV小车左右轮的行走速度的方案。该专利技术可以提高AGV小车的行径精度，从而提高AGV小车的分拣效率。但方案采用kinect仪，行走轨迹设定装置通过WIFI通信模块或蓝牙模块连接微控制器，需要安装有源信标，安装这类信标工程量大且不易安装，且易受到干扰，无法适用于室内障碍物干扰环境。专利一种用于AGV小车的全局引导系统及其方法(公开号：CN109213156A)公开了一种包括覆盖整个工作区域的多个摄像头，按照每个摄像头覆盖的观察区域大小均匀布置在AGV工作区域的上空，该多个摄像头与系统中央处理器之间通讯连接，系统中央处理器再通过显示器将小车的位置以坐标的形式展现，本专利技术还公开了一种用于AGV小车全局引导系统的引导方法，通过将AGV小车在屏幕中的平面坐标和摄像头的恒定高度相结合，从而计算出AGV小车的世界坐标传输于系统中；采用本技术方案，通过摄像头视频中的小车的屏幕位置来映射到真实场景中的位置，以实现AGV的引导工作。该专利技术中采用多个摄像头覆盖安装在工作区域，通过映射引导，虽然能够实现正确路径引导，但在工作区域安装多个摄像头受环境限制，安装连接成本高，不适用于实际使用。
技术实现思路
本专利技术的目的是提供一种基于多相机视觉slam的室内AGV小车定位方法，基于视觉slam技术通过采用多个相机感知环境，减少特征缺失情况，配合人工信标的方法，提高定位精度和鲁棒性。本专利技术提供了如下的技术方案：一种基于多相机视觉slam的室内AGV小车定位方法，包括以下步骤：建立多相机模型，将场景点投影到多相机系统坐标系，多相机系统上的各相机以任意方向配置在该坐标系中；利用多相机slam算法进行定位和地图建立，利用地图对自身位姿进行估计，在算法中使用多关键帧融合不同相机的图片；在小车行径中容易特征点丢失的位置布置人工信标，通过人工信标获得机器人位姿，并将获得的位姿和多相机slam获得的位姿通过卡尔曼滤波融合，获得AGV小车最终的位姿。优选的，所述多关键帧为一个关键帧上包含了多个相机同时获取的图像的关键帧。优选的，多相机slam算法包括：位姿跟踪线程，对多个相机的图像进行ORB特征提取，进行初始姿态估或重定位，同时跟踪局部地图，最后判断插入新的多关键帧；局部地图构建线程，利用插入的多关键帧，剔除最近地图点，然后从多相机中三角化生成地图点并进行多相机的局部BA优化，最后进行多关键帧剔除；闭环检测线程，进行闭环矫正和全局BA优化。优选的，当新的相机图片采集后，位姿跟踪线程立即从图片中提取ORB特征点，用于随后在多关键帧中识别和匹配特征点，然后，使用最近两帧的相对位姿来预测AGV小车的当前位姿，局部地图点投影到多相机系统中，与从当前帧提取的特征点匹配，在经过基于多相机模型的初始位姿优化后，假定的位姿中仍保留足够的匹配，跟踪线程就开始在局部地图中搜索更多匹配，以及决定是否插入新的多关键帧并把新的多关键帧传输到局部地图构建线程；如果初始位姿估计失败，则使用EPnP和RANSAC算法执行多关键帧的重定位。优选的，每次位姿跟踪线程将一个新的多关键帧传到局部地图构建线程，一些最近创建但不满足特定条件的地图点就从地图中删除；然后，最新插入的相邻多关键帧间三角化生成新的地图点，其中相邻多关键帧由共视图决定；最后，执行局部BA优化以调整局部地图中的多关键帧位姿以及地图点，并判断多关键帧是否冗余并从地图中删除。优选的，利用多相机slam方法进行定位，记录下容易定位失败的位置，为特征点容易丢失的位置，在这些位置布置人工信标。优选的，利用多相机slam算法获得机器人的位姿，如果AGV小车工作时未观察到人工信标，则直接将多相机slam算法输出的位姿作为定位结果；当相机观察到人工信标时，利用人工信标估计机器人位姿，将多相机slam算法输出的位姿和人工信标估计的位姿使用卡尔曼滤波融合，将融合后的位姿作为AGV小车的最终位姿。本专利技术的有益效果是：小车定位通过采用多相机来扩大感知范围，增加鲁棒性，减少特征缺失情况增加观察到的特征点数，同时，在关键处增加人工信标，通过人工信标来矫正偏差，提高定位精度和稳定性。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1是本专利技术多相机slam算法流程图；图2是本专利技术人工信标使用流程图。具体实施方式如图1所示，一种基于多相机视觉slam的室内AGV小车定位方法，本方案采用两个双目相机，两个双目相机可以多角度放置，分别观察一侧的情况。首先建立多相机模型，将场景点投影到多相机系统坐标系，多相机系统上的各相机以任意方向配置在该坐标系中。整个算法分为3部分，分别为位姿跟踪线程、局部地图构建线程和闭环检测线程。在算法中使用多关键帧(一个关键帧上包含了多个相机同时获取的图像)方法来融合不同相机的图片。当新的相机图片采集后，跟踪线程立即从图片中提取ORB特征点，用于随后在多关键帧中识别和匹配特征点。然后，使用最近两帧的相对位姿来预测AGV小车的当前位姿。局部地图点投影到多相机系统中，与从当前帧提取的特征点匹配。在经过基于多相机模型的初始位姿优化后，假定的位姿中仍保留足够的匹配，跟踪线程就开始在局部地图中搜索更多匹配，以及决定是否插入新的多关键帧并把新的多关键帧传输到建图线程。如果初始位姿估计失败，则使用EPnP和RANSAC算法执行多关键帧的重定位。...

【技术保护点】
1.一种基于多相机视觉slam的室内AGV小车定位方法，其特征在于，包括以下步骤：/n建立多相机模型，将场景点投影到多相机系统坐标系，多相机系统上的各相机以任意方向配置在该坐标系中；/n利用多相机slam算法进行定位和地图建立，利用地图对自身位姿进行估计，在算法中使用多关键帧融合不同相机的图片；/n在小车行径中容易特征点丢失的位置布置人工信标，通过人工信标获得机器人位姿，并将获得的位姿和多相机slam获得的位姿通过卡尔曼滤波融合，获得AGV小车最终的位姿。/n

【技术特征摘要】
1.一种基于多相机视觉slam的室内AGV小车定位方法，其特征在于，包括以下步骤：
建立多相机模型，将场景点投影到多相机系统坐标系，多相机系统上的各相机以任意方向配置在该坐标系中；
利用多相机slam算法进行定位和地图建立，利用地图对自身位姿进行估计，在算法中使用多关键帧融合不同相机的图片；
在小车行径中容易特征点丢失的位置布置人工信标，通过人工信标获得机器人位姿，并将获得的位姿和多相机slam获得的位姿通过卡尔曼滤波融合，获得AGV小车最终的位姿。


2.根据权利要求1所述的一种基于多相机视觉slam的室内AGV小车定位方法，其特征在于，所述多关键帧为一个关键帧上包含了多个相机同时获取的图像的关键帧。


3.根据权利要求1所述的一种基于多相机视觉slam的室内AGV小车定位方法，其特征在于，多相机slam算法包括：
位姿跟踪线程，对多个相机的图像进行ORB特征提取，进行初始姿态估或重定位，同时跟踪局部地图，最后判断插入新的多关键帧；
局部地图构建线程，利用插入的多关键帧，剔除最近地图点，然后从多相机中三角化生成地图点并进行多相机的局部BA优化，最后进行多关键帧剔除；
闭环检测线程，进行闭环矫正和全局BA优化。


4.根据权利要求3所述的一种基于多相机视觉slam的室内AGV小车定位方法，其特征在于，当新的相机图片采集后，位姿跟踪线程立即从图片中提取ORB特征点，用于随后在多关键帧中识别和匹配特征点，然后，使用最近两帧的相对位姿来预测A...

【专利技术属性】
技术研发人员：刘爽，夏乔阳，庞鲁超，
申请(专利权)人：数字孪生镇江装备科技有限公司，
类型：发明
国别省市：江苏;32