一种多元定位传感器联合标定方法和系统技术方案

本发明专利技术公开了一种多元定位传感器联合标定方法，其包括步骤：100：对安装在车辆上的若干个定位传感器的时间进行同步，传感器至少包括摄像头、激光雷达和惯性导航；200：车辆以设定的恒速度行驶的第一状态下，采集激光雷达的第一点云数据和惯性导航的惯性测量单元的数据；在车辆静止的第二状态下，采集激光雷达的第二点云数据和摄像头的图像数据；300：由采集的第一点云数据和惯性测量单元数据，对激光雷达和惯性测量单元进行标定，获得激光雷达与惯性测量单元的外参矩阵；基于采集的第二点云数据和图像数据，标定激光雷达和摄像头，获得激光雷达的点云数据到摄像头的图像数据的变换矩阵；400：基于外参矩阵和变换矩阵，进行摄像头与惯性导航的标定。

【技术实现步骤摘要】
一种多元定位传感器联合标定方法和系统
本专利技术涉及一种标定方法和系统，尤其涉及一种自动驾驶车辆的传感器标定方法和系统。
技术介绍
近年来，随着自动驾驶技术的快速发展，自动驾驶系统的逐步完善和改进，自动驾驶车辆运用在日常生活中的可能性也越来越大。自动驾驶是一个非常庞大的系统，其中定位是最重要的功能之一，涉及非常多的定位传感器，如激光雷达、摄像机、惯性导航等。每种传感器都能输出相应的信息或者结果，但是一般不同的传感器输出的信息格式或者种类不同，使用者也会根据每种传感器的适用场景和硬件成本赋予他们不同的工作任务。摄像头有很突出的检测和识别能力，但是它易受环境光线的限制，并且不能获取目标准确的三维信息；激光雷达的探测距离远，有准确的三维距离信息，鲁棒性强，受环境影响小，但是它的成本高，对于多纹理和不同颜色的环境的检测能力差。为了获得更好的结果，研究人员一般会进行多传感器的信息融合，从而将每种传感器的优点进行结合以获得更准确和更稳定的结果。每一个传感器都拥有独立的坐标系，每一个传感器输出的信息或者结果都是基于各自的坐标系。在进行不同传感器之间的信息融合之前，需要将所有的信息转换到一个相同的坐标系下。但是由于不同的传感器有不同的安装要求，因此它们一般安装在车辆的不同位置，例如激光雷达一般安装在车辆的天窗顶部，摄像头安装在车辆的前挡风玻璃处，IMU安装在车辆后轴中心处。因此，在进行多传感器信息融合之前，需要获取传感器之间的相对位置信息，即传感器之间的外参联合标定。此外，各个传感器能够得到不同精度的定位结果，对环境的要求也不一样。为了弥补不同传感器在特定环境下的缺陷，获得较为精准的定位，通常会采用融合定位算法，对激光雷达、摄像机和惯性导航采集到的数据进行定位。实现融合定位算法的第一步，就是要对不同的传感器进行标定，得出它们之间的相对位置关系。目前，学术界和工程界对融合算法中的传感器已有多种不同的标定方法，但采用现有标定方法进行标定的结果都并非十分理想，并且，已提出的标定方法多适用于无人机领域，对于车辆的传感器的联合标定，还没有一种较好的方案。基于此，针对现有技术中存在的缺陷，本专利技术期望获得一种新的多元定位传感器联合标定方法，该多元定位传感器联合标定方法可以快速准确地标定出激光雷达与惯性测量单元的外参，其处理速度和标定结果精度上胜于现有的方法，可以有效用于当前自动驾驶车辆上各车载传感器的标定。
技术实现思路
本专利技术的目的之一在于提供一种多元定位传感器联合标定方法，该多元定位传感器联合标定方法可以快速准确地标定出激光雷达与惯性测量单元的外参，其处理速度和标定结果精度上胜于现有的方法，可以有效用于当前自动驾驶车辆上各车载传感器的标定，具有良好的推广前景和应用价值。为了实现上述目的，本专利技术提出了一种多元定位传感器联合标定方法，其包括步骤：100：对安装在车辆上的若干个定位传感器的时间进行同步，所述若干个定位传感器至少包括摄像头、激光雷达和惯性导航；200：在车辆以设定的恒速度行驶的第一状态下，对激光雷达的第一点云数据和惯性导航的惯性测量单元的数据进行采集；在车辆静止的第二状态下，对激光雷达的第二点云数据和摄像头的图像数据进行采集；300：基于采集的第一点云数据和惯性测量单元的数据，对激光雷达和惯性测量单元进行标定，以获得激光雷达与惯性测量单元的外参矩阵；基于采集的第二点云数据和图像数据，对激光雷达和摄像头进行标定，以获得激光雷达的点云数据到摄像头的图像数据的变换矩阵；400：基于所述外参矩阵和变换矩阵，进行摄像头与惯性导航的标定。进一步地，在本专利技术所述的多元定位传感器联合标定方法中，在步骤100中，采用GPS模块对若干个定位传感器的时间进行同步。进一步地，在本专利技术所述的多元定位传感器联合标定方法中，在步骤100中，采用GPS模块输出带有GPS时间戳的GPGGA格式信息和PPS脉冲作为激光雷达和摄像头的输入，当激光雷达和摄像头开始运行时，接收到来自GPS模块的时间输入后，激光雷达和摄像头内置的授时模块进行授时，以使激光雷达和摄像头输出带有GPS时间戳的数据；所述惯性导航中设有GPS模块，以使惯性导航输出带有GPS时间戳的数据。进一步地，在本专利技术所述的多元定位传感器联合标定方法中，采用惯性导航中的GPS模块输出的带有GPS时间戳的GPGGA格式信息作为激光雷达的输入，采用另一外接的GPS模块输出带有GPS时间戳的PPS脉冲作为摄像头的输入。进一步地，在本专利技术所述的多元定位传感器联合标定方法中，在步骤300中，基于下述公式获得激光雷达与惯性测量单元的外参矩阵：AX＝XB其中，其中X表示需要标定的所述外参矩阵，A和B为观测矩阵，其中A为激光雷达在T时刻相对其初始位姿的位姿增量，B为惯性测量单元在T时刻相对其初始位姿的位姿增量。进一步地，在本专利技术所述的多元定位传感器联合标定方法中，在步骤300中，采用手眼标定方法求解得到激光雷达与惯性测量单元的外参矩阵X。进一步地，在本专利技术所述的多元定位传感器联合标定方法中，在步骤200中：采用激光雷达和摄像头对作为标定板的矩形棋盘格进行数据采集。进一步地，在本专利技术所述的多元定位传感器联合标定方法中，在步骤300中，基于下述步骤获得激光雷达的点云数据到摄像头的图像数据的变换矩阵：基于摄像头的图像数据获得所述标定板的四个顶点的像素坐标以及标定板上所有黑白色块交接的角点的像素坐标；基于第二点云数据获得标定板所在的点云平面，获取该点云平面的四个顶点的激光点云坐标以及标定板的所有角点的激光点云坐标；对像素坐标和激光点云坐标基于EPnP算法进行求解，求出两者之间的变换矩阵；利用该变换矩阵对其他图像数据和点云数据进行投影，以检查点云数据是否能正确的投影到图像数据中的标定板范围之内，并根据偏差微调变换矩阵，直至所有角点的激光点云坐标均投影至相应的图像数据上；根据下式求得投影误差，并对该误差函数进行优化求解，求出使得投影误差最小的变换矩阵：argmin‖KTPL-Puv‖2其中K为摄像头的内参矩阵，T表示激光雷达到摄像头的变换矩阵，KTPL为点云数据投影到图像数据的像素坐标上的结果，Puv表示标定板的图像数据中的像素坐标。相应地，本专利技术的另一目的在于提供一种多元定位传感器联合标定系统，该多元定位传感器联合标定系统可以用于实施本专利技术上述的多元定位传感器联合标定方法。为了实现上述目的，本专利技术提出了一种多元定位传感器联合标定系统，包括摄像头、激光雷达、惯性导航和时间同步模块，其中所述多元定位传感器联合标定系统执行本专利技术上述的多元定位传感器联合标定方法。本专利技术所述的多元定位传感器联合标定方法和系统相较于现有技术具有如下所述的优点和有益效果：本专利技术所述的多元定位传感器联合标定方法不同于以往的开源方法，其仅需使用简单地用于摄像头标定的棋盘格，即可实现激光雷达与摄像头的标定。该方法无须对棋盘格进行改造，通过采集少量的摄像头图像数据和本文档来自技高网...

【技术保护点】
1.一种多元定位传感器联合标定方法，其特征在于，包括步骤：/n100：对安装在车辆上的若干个定位传感器的时间进行同步，所述若干个定位传感器至少包括摄像头、激光雷达和惯性导航；/n200：在车辆以设定的恒速度行驶的第一状态下，对激光雷达的第一点云数据和惯性导航的惯性测量单元的数据进行采集；在车辆静止的第二状态下，对激光雷达的第二点云数据和摄像头的图像数据进行采集；/n300：基于采集的第一点云数据和惯性测量单元的数据，对激光雷达和惯性测量单元进行标定，以获得激光雷达与惯性测量单元的外参矩阵；基于采集的第二点云数据和图像数据，对激光雷达和摄像头进行标定，以获得激光雷达的点云数据到摄像头的图像数据的变换矩阵；/n400：基于所述外参矩阵和变换矩阵，进行摄像头与惯性导航的标定。/n

【技术特征摘要】
1.一种多元定位传感器联合标定方法，其特征在于，包括步骤：
100：对安装在车辆上的若干个定位传感器的时间进行同步，所述若干个定位传感器至少包括摄像头、激光雷达和惯性导航；
200：在车辆以设定的恒速度行驶的第一状态下，对激光雷达的第一点云数据和惯性导航的惯性测量单元的数据进行采集；在车辆静止的第二状态下，对激光雷达的第二点云数据和摄像头的图像数据进行采集；
300：基于采集的第一点云数据和惯性测量单元的数据，对激光雷达和惯性测量单元进行标定，以获得激光雷达与惯性测量单元的外参矩阵；基于采集的第二点云数据和图像数据，对激光雷达和摄像头进行标定，以获得激光雷达的点云数据到摄像头的图像数据的变换矩阵；
400：基于所述外参矩阵和变换矩阵，进行摄像头与惯性导航的标定。


2.如权利要求1所述的多元定位传感器联合标定方法，其特征在于，在步骤100中，采用GPS模块对若干个定位传感器的时间进行同步。


3.如权利要求2所述的多元定位传感器联合标定方法，其特征在于，在步骤100中，采用GPS模块输出带有GPS时间戳的GPGGA格式信息和PPS脉冲作为激光雷达和摄像头的输入，当激光雷达和摄像头开始运行时，接收到来自GPS模块的时间输入后，激光雷达和摄像头内置的授时模块进行授时，以使激光雷达和摄像头输出带有GPS时间戳的数据；所述惯性导航中设有GPS模块，以使惯性导航输出带有GPS时间戳的数据。


4.如权利要求3所述的多元定位传感器联合标定方法，其特征在于，采用惯性导航中的GPS模块输出的带有GPS时间戳的GPGGA格式信息作为激光雷达的输入，采用另一外接的GPS模块输出带有GPS时间戳的PPS脉冲作为摄像头的输入。


5.如权利要求1所述的多元定位传感器联合标定方法，其特征在于，在步骤300中，基于下述公式获得激光雷达与惯性测量单元的外参矩阵：
A...

【专利技术属性】
技术研发人员：蒋亚妮，郭晋峰，姚明江，涂曙光，
申请(专利权)人：上汽大众汽车有限公司，
类型：发明
国别省市：上海;31