一种双目相机和激光雷达联合的机器人定位方法技术

本发明专利技术提供了一种双目相机和激光雷达联合的机器人定位方法，环境识别传感器将采集的外部环境信息传递给工控机并绘制环境地图，通过相互之间的配合来判断机器人自身的位姿以及是否移动到目标的区域，通过传感器数据的配合使用可以对机器人进行良好的定位。通过双目相机和激光雷达的配合使用，向机器人传达了更丰富的环境信息，解决了二维激光环境信息少，三维激光成本高的问题，同时也提供了更加准确的室外定位信息。

A binocular camera and laser radar joint robot localization method

The invention provides a robot positioning method combining a binocular camera and a lidar. The environment recognition sensor transmits the collected external environment information to the industrial computer and draws the environment map. The position and pose of the robot itself and whether it moves to the target area can be judged by the coordination among the sensors. It can be used to locate the robot well. Through the combination of binocular camera and lidar, more abundant environmental information is transmitted to the robot, which solves the problems of less two-dimensional laser environmental information and high cost of three-dimensional laser, and provides more accurate outdoor positioning information.

【技术实现步骤摘要】
一种双目相机和激光雷达联合的机器人定位方法
本专利技术涉及一种机器人定位方法，具体涉及双目相机和激光雷达联合的机器人定位方法。
技术介绍
随着计算能力和传感器等技术的不断增强，室外巡逻型和安防型机器人的功能也变得日益增大，与此同时，多传感器数据的混合使用也变得日益多样。此时，机器人不再局限于单一的传感器的使用，而可以通过多传感器数据的相互配合从而获得更加准备的环境以及位姿信息。多传感器数据的相互配合使用做位机器人定位的重要手段，需要比较强的计算能力，现在计算机的发展正好为此条件提供了良好的基础。现有的机器人定位方法大多使用多个二维传感器获取环境信息，多个二维传感器配合使用的必然缺陷导致机器人定位精度不是很高，这样的机器人会出现在导航定位中的效果相对较差，且可拓展性也不足的问题；获取三维环境信息的三维激光成本又高。
技术实现思路
有鉴于此，本专利技术提供了一种双目相机和激光雷达联合的机器人定位方法，通过双目相机和激光雷达的配合使用，向机器人传达了更丰富的环境信息，解决了二维激光环境信息少，三维激光成本高的问题，同时也提供了更加准确的室外定位信息。一种双目相机和激光雷达联合的机器人定位方法，定位步骤如下：步骤一：将双目相机和激光雷达联合标定，得到双目相机的内参、外参以及双目相机相对于激光雷达的旋转和平移阵以纠正双目相机的畸变偏差；步骤三：工控机对离线二维环境栅格地图和离线三维特征环境信息进行映射匹配处理，得到激光雷达和双目相机的匹配关系K1；步骤四：将激光雷达扫描的实时二维环境信息S1传递给工控机，工控机利用激光雷达和双目相机的匹配关系K1对实时二维环境信息S1进行处理，得到关键帧位姿信息S1′；将双目相机扫描的实时三维环境信息S2传递给工控机；步骤五：对关键帧位姿信息S1′和实时三维环境信息S2进行加权处理，得到机器人的当前定位姿态信息S。进一步地，所述映射匹配为非线性化映射匹配或局部线性映射匹配。进一步地，所述激光雷达的扫描角度满足不能扫描到机器人本体。进一步地，所述激光雷达和双目相机的扫描频率一致。有益效果：1、本专利技术中双目相机使机器人可以获取三维环境信息，激光雷达可以获取二维环境信息，通过双目相机和激光雷达数据的配合使用，向机器人传达了更丰富的环境信息，解决了二维激光环境信息少，三维激光成本高的问题，并且可以在单一传感器失效的情况下另外一个传感器也能继续完成任务，能够满足室外安防机器人定位的需要，同时也提供了更加准确的室外定位信息。2、本专利技术采用多样性的算法应用与双目相机结合起来，使得其对机器人定位有一定的可扩展性。3、本专利技术采用非线性映射匹配或局部线性映射，是为了保证位于同一个坐标系下，并且提高了鲁棒性。4、本专利技术设置激光雷达的扫描角度保证获取外部环境信息的精确性。5、本专利技术激光雷达和双目相机的扫描频率一致，保证采集外部环境信息的精确性。附图说明附图为本专利技术的结构原理图。具体实施方式下面结合附图并举实施例，对本专利技术进行详细描述。本专利技术提供了一种双目相机和激光雷达联合的机器人定位方法，如附图所示，环境识别传感器将采集的外部环境信息传递给工控机并绘制环境地图，通过相互之间的配合来判断机器人自身的位姿以及是否移动到目标的区域，通过传感器数据的配合使用可以对机器人进行良好的定位。本专利技术的环境识别传感器包括：激光雷达和双目相机。具体定位步骤如下：步骤一：将双目相机和激光雷达联合标定，得到双目相机的内参、外参以及双目相机相对于激光雷达的旋转和平移阵以纠正双目相机的畸变偏差；步骤二：将激光雷达的扫描频率设为10hz，扫描角度设置为180度；将双目相机的扫描的频率同样设为10hz，双目相机的广角采用70度；编译ORBSLAM，采用建图模式对外部信息进行离线建特征点图，激光雷达和双目相机同时采集机器人外部的二维环境信息和三维环境信息并传递给工控机，采用建图模式，分别建立完整的离线二维环境栅格地图和离线三维特征环境信息；步骤三：工控机对离线二维环境栅格地图和离线三维特征环境信息进行非线性化映射匹配处理，得到激光雷达和双目相机的匹配关系K1；此处的映射匹配方法也可以采用局部线性映射匹配，需要先将离线二维环境栅格地图、离线三维特征环境信息及离线环境位姿信息进行分块处理，然后再进行局部线性映射匹配，实现功能与非线性化映射匹配相同，保证进行映射的坐标系位于同一个坐标系下；步骤四：将匹配关系带入双目相机中，目的是为了让双目相机和其他传感器的坐标系一致，得到最终双目相机的输出结果；在定位模式下，将激光雷达扫描的实时二维环境信息S1传递给工控机，工控机利用激光雷达和双目相机的匹配关系K1对实时二维环境信息S1进行处理，得到关键帧位姿信息S1′；将双目相机扫描的实时三维环境信息S2传递给工控机；步骤五：对关键帧位姿信息S1′和实时三维环境信息S2进行加权处理，得到机器人的当前定位姿态信息S。此时得到的当前定位姿态信息S较为精确。综上所述，以上仅为本专利技术的较佳实施例而已，并非用于限定本专利技术的保护范围。凡在本专利技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
1.一种双目相机和激光雷达联合的机器人定位方法，其特征在于，定位步骤如下：步骤一：将双目相机和激光雷达联合标定，得到双目相机的内参、外参以及双目相机相对于激光雷达的旋转和平移阵以纠正双目相机的畸变偏差；步骤二：激光雷达和双目相机同时采集机器人外部的二维环境信息和三维环境信息并传递给工控机，分别建立完整的离线二维环境栅格地图和离线三维特征环境信息；步骤三：工控机对离线二维环境栅格地图和离线三维特征环境信息进行映射匹配处理，得到激光雷达和双目相机的匹配关系K1；步骤四：将激光雷达扫描的实时二维环境信息S1传递给工控机，工控机利用激光雷达和双目相机的匹配关系K1对实时二维环境信息S1进行处理，得到关键帧位姿信息S1′；将双目相机扫描的实时三维环境信息S2传递给工控机；步骤五：对关键帧位姿信息S1′和实时三维环境信息S2进行加权处理，得到机器人的当前定位姿态信息S。

【技术特征摘要】
1.一种双目相机和激光雷达联合的机器人定位方法，其特征在于，定位步骤如下：步骤一：将双目相机和激光雷达联合标定，得到双目相机的内参、外参以及双目相机相对于激光雷达的旋转和平移阵以纠正双目相机的畸变偏差；步骤二：激光雷达和双目相机同时采集机器人外部的二维环境信息和三维环境信息并传递给工控机，分别建立完整的离线二维环境栅格地图和离线三维特征环境信息；步骤三：工控机对离线二维环境栅格地图和离线三维特征环境信息进行映射匹配处理，得到激光雷达和双目相机的匹配关系K1；步骤四：将激光雷达扫描的实时二维环境信息S1传递给工控机，工控机利用激光雷达和双目相机的匹配关系K1...

【专利技术属性】
技术研发人员：沈俊，韩锐，王坤，
申请(专利权)人：北京克路德人工智能科技有限公司，
类型：发明
国别省市：北京,11