一种基于激光雷达间和单目相机的联合标定方法技术

本发明专利技术提供了一种基于激光雷达间和单目相机的联合标定方法，包括以下步骤：步骤1，进行图像预处理；步骤2，进行点云预处理；步骤3，进行激光雷达相机联合标定。本发明专利技术采用黑白格标定板，基于标定板顶点信息在二维图像数据与三维点云数据中的特征不变性得到激光雷达和相机之间的旋转矩阵和平移矩阵，进而可以实现通过该旋转平移矩阵对激光雷达和相机的数据的联合标定。的联合标定。的联合标定。

【技术实现步骤摘要】
一种基于激光雷达间和单目相机的联合标定方法


[0001]本专利技术属于高级辅助驾驶领域(ADAS)，特别涉及一种基于激光雷达间和单目相机的联合标定方法。

技术介绍

[0002]实现ADAS的技术主要有三类，分别是基于视觉传感器、毫米波雷达和激光雷达。
[0003]激光雷达和相机作为广泛使用的传感器，有各自的优势和不足。激光雷达可以直接获得较高精度的距离信息，但无法感知物体表面纹理色彩；相机可以提供丰富的纹理色彩信息，易于识别分割，但是无法直接感知物体的空间位置。融合两者的信息、取长补短，是当前研究的重要内容。
[0004]激光雷达与相机的联合标定，其本质上是获取足够的位于二维像素坐标系中像点坐标和与之对应的三维激光雷达坐标系下的点云坐标，建立约束关系，优化求解的过程，也被可称为PNP(perspective
‑
n
‑
point)问题。现阶段对于自动驾驶的激光雷达与相机联合标定可分为离线标定和在线标定。在线标定是指，自动驾驶车辆运行的过程中根据参照物实时对自身的传感器进行外参矩阵的校准，用以修正运行过程中因车辆颠簸等缘由出现的累计偏差，Heidarsson H K等人提出一种在线标定的方法，包括从航空影像中定位环境中合适的标定地点，导航到这些地点，收集标定数据并从数据中估计所需的参数。
‑
GARAVITO等人提出了一种两个传感器之间进行相互校准的算法，仅需要一个用于俯仰和滚动校准的平坦表面，并且对于两个传感器而言都可以看到一个障碍物来确定偏航角，不需要任何特定形状来将其定位在车辆的前方。
[0005]但在实际情况中，其往往需要获取一个运算的初始值来获得更快的收敛效果，而初始值常常是由离线标定获得的。因此需要一种准确的，稳定的离线标定方法来完成激光雷达与相机的联合标定。

技术实现思路

[0006]专利技术目的：本专利技术的目的在于克服现有技术的缺陷，提出激光雷达和相机间的联合标定方法，通过黑白标定板二维灰度特征提取和三维平面拟合和法线计算，本专利技术可以实现激光雷达和相机间的快速准确的标定。
[0007]为了解决上述技术问题，本专利技术包括如下步骤：
[0008]步骤1，进行图像预处理；
[0009]步骤2，进行点云预处理；
[0010]步骤3，进行激光雷达相机联合标定。
[0011]步骤1包括如下步骤：
[0012]步骤1
‑
1，对图像进行二值化，转变为灰度图；
[0013]步骤1
‑
2，使用sobel边缘检测算法获得标定板的特征，sobel卷积算子从x轴y轴两个方向计算灰度图的新灰度值G，公式如下：
[0014][0015][0016][0017]其中，G
x
、G
y
分别为像素点在x轴方向上的卷积核和y轴方向上的卷积核；
[0018]步骤1
‑
3，根据标定板边缘信息，通过最小二乘法拟合平面的平移向量t旋转矩阵R，再计算出相机坐标系下的空间法线N
c
，计算公式为：
[0019][0020]其中的R3表示为旋转矩阵R的第三列向量，T表示矩阵转置。
[0021]步骤2包括如下步骤：
[0022]步骤2
‑
1，对场景点云进行体素质心滤波操作：对场景中存在的噪点进行去噪，
[0023]步骤2
‑
2，通过欧式聚类算法进行自动拟合处理，获得准确含标定板的点云图；
[0024]步骤2
‑
3，根据标定板实际尺寸、标定板每行每列黑白方块个数，通过随机采样一致性算法计算出标定板标定板的平面方程Ax+By+Cz+D＝0，通过空间几何关系计算出空间法线向量N
L
为：
[0025][0026]步骤2
‑
1包括如下步骤：
[0027]步骤2
‑1‑
1，依据点云数据集合，求取x轴方向的最大值x
max
、x轴方向的最小值x
min
、y轴方向的最大值y
max
、y轴方向的最小值y
min
、z轴方向的最大值z
max
、z轴方向的最小值z
min
，并求得点云最小包围盒的边长，点云最小包围盒的边长在x轴、y轴、z轴分别记为：I
x
、I
y
、I
z
；
[0028]步骤2
‑1‑
2，设置体素栅格边长r；
[0029]步骤2
‑1‑
3，计算体素网格在x轴、y轴、z轴尺寸长度D
x
、D
y
、D
z
：
[0030][0031]步骤2
‑1‑
4，计算点云中每一个点在体素栅格中的索引h：
[0032][0033]其中，x、y、z分别表示点云数据在x轴方向的坐标、点云数据在y轴方向的坐标、点云数据在z轴方向的坐标；h
x
、h
y
、h
z
分别表示点云数据在x轴方向的索引、点云数据在y轴方向的索引、点云数据在z轴方向的索引；
[0034]步骤2
‑1‑
5，将h中的元素按从大到小排序计算每个栅格中的质心，并用距离质心
最近的点代替栅格内所有的点。
[0035]步骤2
‑
2包括：对点云中的一点P，搜索其邻域点集合Q直至与P点距离大于设定阈值，该阈值一般由点云的实际物理尺寸设定，对Q中的所有点重复此步骤直至不再增加，此时集合Q中的数目如果满足大于预先设置的最小值，表示聚类成功。
[0036]步骤3包括如下步骤：
[0037]步骤3
‑
1，在空旷且光线良好的标定场地使用激光雷达与相机采集不同位姿的起算数据；
[0038]步骤3
‑
2，根据相机的内参和外参和步骤1的方法求取标定板的空间法线N
C
；
[0039]步骤3
‑
3，使用步骤2的方法计算出标定板平面并求取标定板的空间法线向量N
L
；
[0040]步骤3
‑
4，按照如下约束函数求取从激光雷达坐标到相机坐标的旋转矩阵R和平移向量T的初始解：
[0041]‖N
L
‖
‑
‖N
C
‖＝TN
L
[0042][0043]步骤3
‑
5，依据LM(Levenberg
–
Marquardt)梯度优化函数对R和T进行迭代优化，求取最优解。
[0044]本专利技术还提供了一种存储介质，存储有计算机程序或指令，当所述计算机程序或指令被运行时，实现所述一种基于激光雷达间和单目相机的联合标定方法。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于激光雷达间和单目相机的联合标定方法，其特征在于，包括以下步骤：步骤1，进行图像预处理；步骤2，进行点云预处理；步骤3，进行激光雷达相机联合标定。2.根据权利要求1所述的方法，其特征在于，步骤1包括如下步骤：步骤1
‑
1，对图像进行二值化，转变为灰度图；步骤1
‑
2，使用sobel边缘检测算法获得标定板的特征，sobel卷积算子从x轴y轴两个方向计算灰度图的新灰度值G，公式如下：向计算灰度图的新灰度值G，公式如下：向计算灰度图的新灰度值G，公式如下：其中，G
x
、G
y
分别为像素点在x轴方向上的卷积核和y轴方向上的卷积核；步骤1
‑
3，根据标定板边缘信息，通过最小二乘法拟合平面的平移向量t旋转矩阵R，再计算出相机坐标系下的空间法线N
C
，计算公式为：其中的R3表示为旋转矩阵R的第三列向量，T表示矩阵转置。3.根据权利要求2所述的方法，其特征在于，步骤2包括如下步骤：步骤2
‑
1，对场景点云进行体素质心滤波操作：对场景中存在的噪点进行去噪，步骤2
‑
2，通过欧式聚类算法进行自动拟合处理，获得准确含标定板的点云图；步骤2
‑
3，根据标定板实际尺寸、标定板每行每列黑白方块个数，通过随机采样一致性算法计算出标定板标定板的平面方程Ax+By+Cz+D＝0，通过空间几何关系计算出空间法线向量N
L
为：4.根据权利要求3所述的方法，其特征在于，步骤2
‑
1包括如下步骤：步骤2
‑1‑
1，依据点云数据集合，求取x轴方向的最大值x
max
、x轴方向的最小值x
min
、y轴方向的最大值y
max
、y轴方向的最小值y
min
、z轴方向的最大值z
max
、z轴方向的最小值z
min
，并求得点云最小包围盒的边长，点云最小包围盒的边长在x轴、y轴、z轴分别记为：I
x
、I
y
、I
z
；步...

【专利技术属性】
技术研发人员：甘欣辉，姚连喜，宋亮，郭贺，储俊，周锴，张雅杰，汪文，付元炳，
申请(专利权)人：江苏和正特种装备有限公司，
类型：发明
国别省市：