一种基于IMU预积分的自动驾驶系统激光雷达在线标定方法技术方案

本发明专利技术公开了一种基于IMU预积分的自动驾驶系统激光雷达外参估计方法，其目的是：基于自动驾驶系统原有车载传感器，提供一种端到端的激光雷达外参在线标定方法，避免复杂的数学模型推导和优化，利用深度卷积神经网络的数据分析能力处理激光雷达的点云数据和车辆状态轨迹数据，在线实时估计出激光雷达的外参误差，从而实现对激光雷达外参的实时修正，提升自动驾驶系统环境感知功能的准确性和稳定性，保证自动驾驶系统的行车安全。

An online calibration method for automatic driving system lidar based on IMU preintegration

【技术实现步骤摘要】
一种基于IMU预积分的自动驾驶系统激光雷达在线标定方法
本专利技术涉及一种面向自动驾驶系统的激光雷达外参估计方法，特别是关于一种基于IMU预积分的自动驾驶系统激光雷达在线标定方法。
技术介绍
自动驾驶系统可以解放驾驶员的双手，给乘客带来安全、高效、舒适的乘坐新体验，是汽车和交通运输行业的新增长点，受到了世界各国的重视。世界各大汽车厂商，如戴姆勒集团、大众集团、通用集团等均已推出自动驾驶系统的量产计划，互联网公司，如谷歌、优步、百度也陆续成立了自己的自动驾驶事业部，推出自动驾驶研发平台和共享出行计划。为准确感知环境信息，自动驾驶系统目前最常用的传感器之一是激光雷达，如谷歌的自动驾驶出租车、百度的自动驾驶出租车和优步的共享出行出租车，均使用激光雷达作为环境感知的主要手段。激光雷达获取点云数据并识别障碍物后，需要通过外参将其转换到车辆坐标系下，才能为决策系统所用。但不幸的是，在车辆行驶过程中，会因颠簸、载荷不均等因素造成激光雷达外参的暂时性变动。同时，激光雷达设备的安装支架也会在使用过程中逐步产生形变，导致其外参永久性变动。这些因素都会导致激光雷达所识别的障碍物无法正确转换到车辆坐标系下，从而影响自动驾驶系统的正常决策，甚至引起决策误判，威胁车辆行驶安全。目前激光雷达外参估计方面的研究多针对静态场景，即，系统使用前事先在特定的场地，使用特殊的设备采集特殊工况下的数据，然后离线计算或迭代优化出外参参数。这种方式有如下缺陷：1)需要实现布置特定的场景，使用区域受限；2)需要特殊设备，增加额外成本；3)需要采集特殊工况下的数据，灵活性受限；4)只能离线进行，不能在线实时地纠正激光雷达的外参误差。激光雷达外参的在线实时估计能保证自动驾驶系统环境感知功能的正常、准确工作，但在线估计功能既不能使用特殊工具，也不能依赖特定场景，给算法的处理带来挑战，静态外参估计的算法不再适用。近年来兴起的深度卷积神经网络技术具有强非线性拟合能力和学习能力，易于从大数据中自动分离出关键特征，从而实现端到端的模式识别。将深度卷积神经网络技术与自动驾驶系统激光雷达的外参估计相结合，有望在不额外增加设备的情况下实现激光雷达外参的在线实时估计。但相关工作目前仍为空白。
技术实现思路
针对现有技术存在的不足，本专利技术的目的在于提供一种基于IMU预积分的自动驾驶系统激光雷达外参估计方法，利用深度卷积神经网络的数据分析能力处理激光雷达的点云数据和IMU数据，在线实时估计出激光雷达的外参误差，从而实现对激光雷达外参的实时修正，保证自动驾驶系统的正常工作。为实现上述目的，本专利技术提供了如下技术方案：一种基于IMU预积分的自动驾驶系统激光雷达在线标定方法，包括如下步骤：步骤1，采集并预处理传感器数据，所涉及的传感器包括激光雷达和IMU，将传感器数据转换为算法常用格式；步骤2，进行预积分与状态轨迹计算，即对IMU数据流进行滑动窗口预积分，并求取车辆状态轨迹；步骤3，将激光点云数据和车辆状态轨迹分别转为深度图，然后将二者融合为混合深度图；步骤4，缓存历史混合深度图，将若干帧混合深度图融合为大深度图，输入给深度卷积神经网络，通过深度卷积神经网络计算出激光雷达外参误差。作为本专利技术的进一步改进，所述步骤1中的IMU设备包括加速度计和角速度计两部分，二者分别测量车辆的三轴加速度和三轴角速度后输出。作为本专利技术的进一步改进，所述步骤2中的预积分的计算方式为：以激光雷达数据到来的时刻k为边界，将k到k+1时刻的IMU数据预先积分并存储起来，具体公司如下：式中，表示t时刻由IMU测量得到的三轴加速度向量，表示由IMU测量的四元数形式三轴角速度向量，表示从tk时刻到t时刻范围内车辆的空间角度变化，Δvk，k+1为车辆速度的预积分值，Δpk，k+1为车辆位置的预积分值，Δqk，k+1为车辆角度的预积分值。作为本专利技术的进一步改进，所述步骤2中的车辆状态轨迹由以下步骤计算得出：步骤21，取k时刻的车辆位姿增广为下式所示：于是整个数据流中的车辆状态轨迹可由如下变量表示，其中N表示激光雷达数据的总帧数：步骤22，使用列文伯格-马夸尔特方法从IMU数据流中优化得到最优的车辆状态轨迹，其中定义的代价函数如下：其中：注意，上式中，g为重力向量，Δt＝tk-tk-1。作为本专利技术的进一步改进，所述步骤3中将激光点云数据和车辆状态轨迹分别转为深度图，然后将二者融合为混合深度图的具体步骤如下：步骤31，将激光点云转换为深度图，以便与卷积神经网络结合；步骤32，将车辆位姿数据转换为深度图，以便与激光点云数据和卷积神经网络结合；步骤33，将激光深度图与车辆位姿深度图结合为分层深度图，即混合深度图，以便卷积神经网络处理；步骤34，将多帧混合深度图拼接为一幅大深度图，以便融合历史信息，获得对激光雷达外参的准确估计。本专利技术的有益效果，1)不需要人为推导激光雷达的外参偏差变化数学模型，易于工程实用；2)进行外参误差估计所需的第三方设备为IMU，该设备在自动驾驶系统中是必备的，所以本专利技术未增加额外设备，易于应用在现有自动驾驶系统中；3)本专利技术实现了激光雷达外参的实时在线标定，能为自动驾驶系统提供实时的外参修正，从而提升了自动驾驶系统的环境感知精度和可靠性，进而提升了自动驾驶系统的安全性；4)本专利技术中使用的第三方设备为IMU，该设备在汽车行业已经成熟，成本低廉，所以本专利技术的方案是低成本解决方案。5)使用范围广，不局限于地形开阔地区，在地下停车场等封闭区域也能使用。附图说明图1是本专利技术的硬件拓扑示意图；图2是本专利技术的大数据引擎架构示意图；图3是本专利技术的预积分模型示意图；图4是本专利技术的模型训练架构示意图；图5是本专利技术的深度卷积神经网络模型示意图；图6是本专利技术的模型部署应用架构示意图。具体实施方式下面将结合附图所给出的实施例对本专利技术做进一步的详述。如图1所示，本专利技术所涉及的自动驾驶相关硬件包括激光雷达、IMU(InertialMeasurementUnit，惯性测量单元)和计算单元。其中激光雷达在自动驾驶系统中用于障碍物检测，他会实时向自动驾驶系统反馈所检测到的点云信息，自动驾驶的障碍物检测算法基于点云信息分析障碍物的类别和位置。IMU设备通常包含加速度计和角速度计两部分，二者分别测量车辆的三轴(x、y和z轴，分别指向车辆前进方向、车辆左侧和天空)加速度和三轴角速度(分别绕x、y和z轴的角速度)。计算单元中运行着自动驾驶系统的核心算法，进行障碍物检测、可通行区域识别、决策规划，以及车辆动力学控制。激光雷达是本专利技术的研究对象，本专利技术所计算的外参误差即为激光雷达的位姿标定偏差。IMU为本专利技术的算法提供辅助信息，本专利技术通过神经网络计算激光雷达外参误差的本质是：连续多帧激光点云变化所对应的车辆轨迹应与IMU本文档来自技高网...

【技术保护点】
1.一种基于IMU预积分的自动驾驶系统激光雷达在线标定方法，其特征在于：包括如下步骤：/n步骤1，采集并预处理传感器数据，所涉及的传感器包括激光雷达和IMU，将传感器数据转换为算法常用格式；/n步骤2，进行预积分与状态轨迹计算，即对IMU数据流进行滑动窗口预积分，并求取车辆状态轨迹；/n步骤3，将激光点云数据和车辆状态轨迹分别转为深度图，然后将二者融合为混合深度图；/n步骤4，缓存历史混合深度图，将若干帧混合深度图融合为大深度图，输入给深度卷积神经网络，通过深度卷积神经网络计算出激光雷达外参误差。/n

【技术特征摘要】
1.一种基于IMU预积分的自动驾驶系统激光雷达在线标定方法，其特征在于：包括如下步骤：
步骤1，采集并预处理传感器数据，所涉及的传感器包括激光雷达和IMU，将传感器数据转换为算法常用格式；
步骤2，进行预积分与状态轨迹计算，即对IMU数据流进行滑动窗口预积分，并求取车辆状态轨迹；
步骤3，将激光点云数据和车辆状态轨迹分别转为深度图，然后将二者融合为混合深度图；
步骤4，缓存历史混合深度图，将若干帧混合深度图融合为大深度图，输入给深度卷积神经网络，通过深度卷积神经网络计算出激光雷达外参误差。


2.根据权利要求1所述的基于IMU预积分的自动驾驶系统激光雷达在线标定方法，其特征在于：所述步骤1中的IMU设备包括加速度计和角速度计两部分，二者分别测量车辆的三轴加速度和三轴角速度后输出。


3.根据权利要求2所述的基于IMU预积分的自动驾驶系统激光雷达在线标定方法，其特征在于：所述步骤2中的预积分的计算方式为：以激光雷达数据到来的时刻k为边界，将k到k+1时刻的IMU数据预先积分并存储起来，具体公司如下：









式中，表示t时刻由IMU测量得到的三轴加速度向量，表示由IMU测量的四元数形式三轴角速度向量，表示从tk时刻到t时刻范围内车辆的空间角度变化，Δvk，k+1为车辆速度的预积分值，Δpk，k+1...

【专利技术属性】
技术研发人员：秦晓辉，王晓伟，边有钢，徐彪，谢国涛，胡满江，杨泽宇，胡展溢，周华健，钟志华，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11