一种激光雷达和相机外参的标定方法、装置及电子设备制造方法及图纸

本发明专利技术提供一种激光雷达和相机外参的标定方法、装置及电子设备，涉及设备标定技术领域，以解决现有技术中点云分布不均匀，3D角点特征提取困难的问题。该方法包括：基于粗提取的3D角点，在二维坐标系内构建标准网格，基于迭代优化方法，使标准网格与2D角点上的网格特征对齐，获得标准网格与2D角点的对齐位姿；基于标准网格与2D角点的对齐位姿，将对齐的2D角点从二维坐标系转换到激光雷达坐标系，以获得精提取的3D角点，基于精提取的3D角点和二维图像角点形成3D

【技术实现步骤摘要】
一种激光雷达和相机外参的标定方法、装置及电子设备


[0001]本专利技术涉及设备标定
，尤其涉及一种激光雷达和相机外参的标定方法、装置及电子设备。

技术介绍

[0002]激光雷达
‑
相机系统常用于自主导航行业，近几十年来，用于商业应用的多传感器融合技术的部署经历了快速增长。自主导航和遥感等许多任务对感知的可靠性提出了很高的要求。多传感器融合在解决这些需求方面具有重要价值，因此受到广泛关注。激光雷达和光学相机的组合是一个备受欢迎的方案，因为其传感器之间具有优势互补的特性。具体来说，一方面激光雷达
‑
相机系统可以从视觉传感器获取场景丰富的强度和纹理信息，另一方面可以通过激光雷达进行光照不变的精准3D感知，实现远距离和高鲁棒性的感知。然而，要充分发挥这些优越特性的潜力，高精度的外参校准是最关键的先决条件。
[0003]目前，大多数现有的激光雷达和相机外参校准算法是针对具有重复扫描模式的典型多线机械旋转LiDAR设计的，例如Velodyne VLP
‑
16、HDL
‑
32e和 HDL
‑
64e。这种激光雷达已广泛应用于自动驾驶和摄影测量行业。同时，这些行业的高需求催生一系列具有不规则扫描模式的轻型激光雷达，即非重复扫描模式激光雷达。轻型激光雷达可以通过在时域中累积扫描探测来获得高分辨率的点云。具有代表性的是2019年上市的DJI Livox Mid
‑
40系列激光雷达，以其探测距离远、测距精度高、代价极低等优势，为激光雷达应用带来了新的机遇。
[0004]尽管其具有许多优点，但在校准非重复扫描激光雷达多传感器系统的外部参数方面存在挑战。解决LiDAR
‑
Camera外参标定问题可以概括为从2D图像和 3D点提取的特征的对齐。然而，对于非重复扫描模式激光雷达，其得出的场景点云分布不均匀，从中提取3D特征很困难。此外，LiDAR的小视场FoV容易导致对外部参数求解的约束不足，从而得出次优的外参估计。

技术实现思路

[0005]为解决上述技术问题，本专利技术提供一种激光雷达和相机外参的标定方法、装置及电子设备，通过将标准网格与2D角点上的网格特征对齐，基于标准网格与2D角点的对齐位姿，将对齐的2D角点从二维坐标系转换到激光雷达坐标系，以获得精提取的3D角点，进而形成3D
‑
2D匹配点，基于3D
‑
2D匹配点，利用PnP方法求解激光雷达和相机外参。
[0006]本专利技术提供一种激光雷达和相机外参的标定方法，该方法，包括：
[0007]获取激光雷达扫描标定板得到的标定板点云，以及相机拍摄标定板得到的二维图像；对二维图像进行角点提取，获得二维图像角点；对标定板点云上的角点进行粗提取，获得粗提取的3D角点；
[0008]在标定板点云所在平面上构建二维坐标系，并在二维坐标系内将标定板点云转换为2D角点；
[0009]基于粗提取的3D角点，在二维坐标系内构建标准网格，基于迭代优化方法，使标准网格与2D角点上的网格特征对齐，获得标准网格与2D角点的对齐位姿；
[0010]基于标准网格与2D角点的对齐位姿，将对齐的2D角点从二维坐标系转换到激光雷达坐标系，以获得精提取的3D角点，基于精提取的3D角点和二维图像角点形成3D
‑
2D匹配点；
[0011]基于3D
‑
2D匹配点，利用PnP方法求解激光雷达和相机外参。
[0012]优选地，所述对标定板点云上的角点进行粗提取，获得粗提取的3D角点，包括：
[0013]基于平面聚类的方法对标定板点云进行提取，获得初步的标定板原始点云；对初步的标定板原始点云进行基于反射强度的粗提取，获得粗提取的3D 角点。
[0014]优选地，所述在标定板点云所在平面上构建二维坐标系，并在二维坐标系内将标定板点云转化为2D角点，包括：
[0015]在标定板点云所在平面上构建二维坐标系；
[0016]将激光雷达坐标系下的标定板点云转换为二维坐标系下的2D角点，转换矩阵T
bl
满足：
[0017][0018][0019]其中，T
bl
表示标定板点云由激光雷达坐标系到二维坐标系的变换矩阵， R
lb
表示对应的旋转矩阵，t
lb
表示对应的平移向量,P
m，n
表示第m行n列的粗提取3D角点，表示第m行所有角点拟合直线的方向向量，n
board
表示标定板点云拟合平面法向量。
[0020]优选地，所述中基于粗提取的3D角点，在二维坐标系内构建标准网格，基于迭代优化方法，使标准网格与2D角点的网格特征对齐，获得标准网格与 2D角点的对齐位姿，包括：
[0021]以粗提取的3D角点作为参考，在二维坐标系内构建标准网格；
[0022]使标准网格与2D角点的网格特征初步对齐；
[0023]以反射强度梯度为代价对标准网格进行拟合，基于迭代优化方法，使标准网格与2D角点的网格特征对齐，获得标准网格与2D角点的对齐位姿。
[0024]优选地，所述代价满足：
[0025][0026][0027]其中，其中，γ为常数。
[0028]优选地，所述基于标准网格与2D角点的对齐位姿，将对齐的2D角点从二维坐标系
转换到激光雷达坐标系，以获得精提取的3D角点，包括：
[0029]根据标准网格与2D角点的对齐位姿以及转换矩阵T
bl
，将标准网格上对齐的2D角点位置坐标变换反解求出雷达坐标系下的三维坐标，以获得精提取的 3D角点。
[0030]优选地，标准网格与2D角点的对齐位姿满足：
[0031][0032][0033]其中，ξ为二维转换位姿，t是指标准网格在对齐标定板点云过程中，在二维坐标系下的平移向量，Δx，Δy分别是指在x轴和y周方向的位移，θ是值标准网格围绕z轴旋转的角度。
[0034]优选地，所述基于3D
‑
2D匹配点，利用PnP方法求解激光雷达和相机外参，包括：
[0035]基于3D
‑
2D匹配点，通过PnP方法获得非线性优化的初始外参；
[0036]计算3D
‑
2D匹配点之间的重投影误差；
[0037]基于重投影误差，进行迭代优化，获得最优外参。
[0038]与现有技术相比，本专利技术提供的一种激光雷达和相机外参的标定方法具有如下有益效果：首先获取激光雷达扫描标定板得到的标定板点云，以及相机拍摄标定板得到的二维图像；对二维图像进行角点提取，获得二维图像角点；对标定板点云上的角点进行粗提取，获得粗提取的3D角点。然后，在标定板点云所在平面上构建二维坐标系，并在二维坐标系内将标定板点云转换为2D坐标点；基于粗提取的3D角点，在二维坐标系内构建标准网格，基于迭代优化方法，使标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种激光雷达和相机外参的标定方法，其特征在于，包括：获取激光雷达扫描标定板得到的标定板点云，以及相机拍摄标定板得到的二维图像；对二维图像进行角点提取，获得二维图像角点；对标定板点云上的角点进行粗提取，获得粗提取的3D角点；在标定板点云所在平面上构建二维坐标系，并在二维坐标系内将标定板点云转换为2D角点；基于粗提取的3D角点，在二维坐标系内构建标准网格，基于迭代优化方法，使标准网格与2D角点上的网格特征对齐，获得标准网格与2D角点的对齐位姿；基于标准网格与2D角点的对齐位姿，将对齐的2D角点从二维坐标系转换到激光雷达坐标系，以获得精提取的3D角点，基于精提取的3D角点和二维图像角点形成3D
‑
2D匹配点；基于3D
‑
2D匹配点，利用PnP方法求解激光雷达和相机外参。2.根据权利要求1所述的一种激光雷达和相机外参的标定方法，其特征在于，所述对标定板点云上的角点进行粗提取，获得粗提取的3D角点，包括：基于平面聚类的方法对标定板点云进行提取，获得初步的标定板原始点云；对初步的标定板原始点云进行基于反射强度的粗提取，获得粗提取的3D角点。3.根据权利要求1所述的一种激光雷达和相机外参的标定方法，其特征在于，所述在标定板点云所在平面上构建二维坐标系，并在二维坐标系内将标定板点云转化为2D角点，包括：在标定板点云所在平面上构建二维坐标系；将激光雷达坐标系下的标定板点云转换为二维坐标系下的2D角点，转换矩阵T
bl
满足：满足：其中，T
bl
表示标定板点云由激光雷达坐标系到二维坐标系的变换矩阵，R
lb
表示对应的旋转矩阵，t
lb
表示对应的平移向量,P
m，n
表示第m行n列的粗提取3D角点，表示第m行所有角点拟合直线的方向向量，n
board
表示标定板点云拟合平面法向量。4.根据权利要求1所述的一种激光雷达和相机外参的标定方法，其特征在于，所述基于粗提取的3D角点，在二维坐标系内构建标准网格，基于迭代优化方法，使标准网格与2D角点的网格特征对齐，获得标准网格与2D角点的对齐位姿，包括：以粗提取的3D角点作为参考，在二维坐标系内构建标准网格；使标准网格与2D角点的网格特征初步对齐；以反射强度梯度为代价对标准网格进行拟合，基于迭代优化方法，使标准网格与2D角点的网格特征对齐，获得标准网格与2D角点的对齐位姿。5.根据权利要求4所述的一种激光雷达和相机外参的标定方法，其特征在于，所述代价满足：
其中，其中...

【专利技术属性】
技术研发人员：韩绍坤，赖正超，郭尚伟，李俊，王悦，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：