一种实时的激光雷达和摄像头标定误差自修正方法及系统技术方案

本发明专利技术公开了一种实时的激光雷达和摄像头标定误差自修正方法及系统，获取已标定的激光雷达和摄像头的点云和图像，预处理后得到边缘图像和边缘点云，计算初始标定矩阵的准确度以此检测出错误标定帧，由错误标定帧向前取多个正确标定帧，正确标定帧与错误标定帧构成一对进行配准得到刚性变换矩阵，利用刚性变换矩阵对错误标定帧的初始标定矩阵进行修正，将准确度最高的作为新标定矩阵，对比新标定矩阵和初始标定矩阵的准确度，选择准确度高的进行标定。本发明专利技术专注对错误标定进行快速修正，而非进行重新标定，可以实时地检测错误标定并将错误标定修正为正确标定，解决激光雷达和摄像头因位置或视角变化时继续使用原标定矩阵而导致标定错误的问题。致标定错误的问题。致标定错误的问题。

【技术实现步骤摘要】
一种实时的激光雷达和摄像头标定误差自修正方法及系统


[0001]本专利技术涉及激光雷达和摄像头的融合
，尤其涉及一种实时的激光雷达和摄像头标定误差自修正方法及系统。

技术介绍

[0002]无论是自动驾驶还是智慧道路，感知能力被重点关注。目前，在感知领域，为了提高感知性能与可靠性，激光雷达和摄像头融合被广泛使用。激光雷达传感器的大部分缺点都可以通过相机进行补偿，反之亦然，因此，通常利用激光雷达和摄像头融合用于检测物体、重建场景等任务。为了使激光雷达和摄像头一起工作，需要先进行外部参数矩阵标定，将二者处于同一坐标系下，然后再通过设计融合感知算法实现目标识别、追踪等任务。
[0003]在初步解决激光雷达和摄像头的标定之后，由于激光雷达和摄像头存在不可见的移动，若使用最初的标定参数会扩大标定的误差。在这种情况下，如果不及时对标定进行修正，会导致后续融合感知任务出错，因此，需要重新标定。然而，重新进行动态的在线标定方法或离线标定方法是完全不可行的，这是由于在线标定方法不仅精度低，而且需要消耗大量的算力，离线标定方法需要各种标定参照物，如方形棋格盘、特定平面等，在实际应用中耗费人力且耗时严重。

技术实现思路

[0004]有鉴于此，本专利技术提供了一种实时的激光雷达和摄像头标定误差自修正方法及系统，用以解决因激光雷达和摄像头可见或不可见的移动造成标定出现错误的问题，实现了对错误标定的检测与修正。
[0005]本专利技术提供的一种实时的激光雷达和摄像头标定误差自修正方法，包括如下步骤：
[0006]S1：对已完成标定的激光雷达和摄像头的输出进行降采样，获取每帧的点云和图像；
[0007]S2：对获取的每帧图像依次进行灰度化、边缘提取和逆距离变换，得到每帧的边缘图像；
[0008]S3：对获取的每帧点云进行边缘提取，得到每帧的边缘点云；
[0009]S4：计算每帧的边缘图像和边缘点云的初始标定矩阵C的准确度，判断每帧的初始标定矩阵C的准确度是否大于或等于阈值；若是，则该帧为正确标定帧；若否，则该帧为错误标定帧；
[0010]S5：对于错误标定帧，由错误标定帧向前取w个正确标定帧，w个正确标定帧与错误标定帧构成以错误标定帧为结尾、大小为1+w的时间窗；
[0011]S6：将w个正确标定帧中的每一帧分别与错误标定帧构成一对，总共产生w对；利用配准方法，对每对中的两帧图像进行配准，对每对中的两帧点云进行配准，计算得到每对中的两帧间的刚性变换矩阵，共产生w个，每个刚性变换矩阵被记为G
m
,m＝1,2,
…
,w；
[0012]S7：利用w个刚性变换矩阵G
m
对错误标定帧的初始标定矩阵C进行修正，得到错误标定帧的w个候选标定矩阵，记为计算错误标定帧的候选标定矩阵的准确度，将准确度最高的候选标定矩阵作为错误标定帧的新标定矩阵
[0013]S8：判断错误标定帧的新标定矩阵C
*
的准确度是否大于错误标定帧的初始标定矩阵C的准确度；若是，则对错误标定帧应用新标定矩阵C
*
，若否，则对错误标定帧应用初始标定矩阵C。
[0014]在一种可能的实现方式中，在本专利技术提供的上述实时的激光雷达和摄像头标定误差自修正方法中，步骤S2中，对获取的每帧图像进行边缘提取，具体包括：
[0015]对于图像中的每个像素点，将该像素点周围8个邻居像素点的像素值与该像素点的像素值作差，取差值绝对值的最大值，作为该像素点的像素值。
[0016]在一种可能的实现方式中，在本专利技术提供的上述实时的激光雷达和摄像头标定误差自修正方法中，步骤S2中，对获取的每帧图像进行逆距离变换，具体包括：
[0017]对图像中第i行第j列像素点的像素值D
i，j
进行如下计算：
[0018]D
i，j
＝α
·
E
i，j
+(1
‑
α)
·
max
x，y
E
x，y
·
θ
max(|x＝i|，|y
‑
i|)
ꢀꢀ
(1)
[0019]其中，α表示第i行第j列像素点的像素值的调节参数，E
i，j
表示边缘图像E的第i行第j列像素点的像素值，第x行第y列像素点是第i行第j列像素点周围8个邻居像素点中与第i行第j列像素点的像素值的差值绝对值最大的像素点，E
x，y
表示边缘图像E的第x行第y列像素点的像素值，θ
max(|x
‑
i|，|y
‑
i|)
表示第x行第y列像素点的像素值的调节参数。
[0020]在一种可能的实现方式中，在本专利技术提供的上述实时的激光雷达和摄像头标定误差自修正方法中，步骤S3，具体包括：
[0021]利用如下公式计算点云中每个点的深度值，得到边缘点云：
[0022][0023]其中，表示p点在边缘点云中的深度值，p
‑
1点和p+1点分别为与p点左右相邻的点；表示p
‑
1点在原始点云中的深度值，表示p点在原始点云中的深度值，表示p+1点在原始点云中的深度值。
[0024]在一种可能的实现方式中，在本专利技术提供的上述实时的激光雷达和摄像头标定误差自修正方法中，步骤S4中，按照如下公式计算第k帧的边缘图像和边缘点云的初始标定矩阵C的准确度：
[0025][0026]其中，n为点云中的点的数量，p点与图像中第i行第j列像素点对应。
[0027]在一种可能的实现方式中，在本专利技术提供的上述实时的激光雷达和摄像头标定误差自修正方法中，步骤S4中，设定阈值为其中，表示阈值
调节参数，表示第k帧的初始标定矩阵C的准确度。
[0028]在一种可能的实现方式中，在本专利技术提供的上述实时的激光雷达和摄像头标定误差自修正方法中，步骤S7，具体包括：
[0029]标定矩阵C
*
的旋转矩阵C
*
R和平移矩阵C
*
T的计算方式如下：
[0030]C
*
R＝G
m
R
×
CR
ꢀꢀ
(4)
[0031]C
*
T＝G
m
R
×
CT+G
m
T
ꢀꢀ
(5)
[0032]其中，G
m
R表示刚性变换矩阵G
m
的旋转矩阵，G
m
T表示刚性变换矩阵G
m
的平移矩阵；CR表示标定矩阵C的旋转矩阵，CT表示标定矩阵C的平移矩阵。
[0033]本专利技术还提供了一种实时的激光雷达和摄像头标定误差自修正系统，包括：数据预处理模块、错误标定检测模块和错误标定修正模块；其中，
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时的激光雷达和摄像头标定误差自修正方法，其特征在于，包括如下步骤：S1：对已完成标定的激光雷达和摄像头的输出进行降采样，获取每帧的点云和图像；S2：对获取的每帧图像依次进行灰度化、边缘提取和逆距离变换，得到每帧的边缘图像；S3：对获取的每帧点云进行边缘提取，得到每帧的边缘点云；S4：计算每帧的边缘图像和边缘点云的初始标定矩阵C的准确度，判断每帧的初始标定矩阵C的准确度是否大于或等于阈值；若是，则该帧为正确标定帧；若否，则该帧为错误标定帧；S5：对于错误标定帧，由错误标定帧向前取w个正确标定帧，w个正确标定帧与错误标定帧构成以错误标定帧为结尾、大小为1+w的时间窗；S6：将w个正确标定帧中的每一帧分别与错误标定帧构成一对，总共产生w对；利用配准方法，对每对中的两帧图像进行配准，对每对中的两帧点云进行配准，计算得到每对中的两帧间的刚性变换矩阵，共产生w个，每个刚性变换矩阵被记为G
m
，m＝1，2，
…
，w；S7：利用w个刚性变换矩阵G
m
对错误标定帧的初始标定矩阵C进行修正，得到错误标定帧的w个候选标定矩阵，记为计算错误标定帧的候选标定矩阵的准确度，将准确度最高的候选标定矩阵作为错误标定帧的新标定矩阵S8：判断错误标定帧的新标定矩阵C
*
的准确度是否大于错误标定帧的初始标定矩阵C的准确度；若是，则对错误标定帧应用新标定矩阵C
*
，若否，则对错误标定帧应用初始标定矩阵C。2.如权利要求1所述的实时的激光雷达和摄像头标定误差自修正方法，其特征在于，步骤S2中，对获取的每帧图像进行边缘提取，具体包括：对于图像中的每个像素点，将该像素点周围8个邻居像素点的像素值与该像素点的像素值作差，取差值绝对值的最大值，作为该像素点的像素值。3.如权利要求1所述的实时的激光雷达和摄像头标定误差自修正方法，其特征在于，步骤S2中，对获取的每帧图像进行逆距离变换，具体包括：对图像中第i行第j列像素点的像素值D
i，j
进行如下计算：D
i，j
＝α
·
E
i，j
+(1
‑
α)
·
max
x，y
E
x，y
·
θ
max(|x
‑
i|，|y
‑
i|)
ꢀꢀꢀ
(1)其中，α表示第i行第j列像素点的像素值的调节参数，E
i，j
表示边缘图像E的第i行第j列像素点的像素值，第x行第y列像素点是第i行第j列像素点周围8个邻居像素点中与第i行第j列像素点的像素值的差值绝对值最大的像素点，E
x，y
表示边缘图像E的第x行第y列像素点的像素值，θ
max(|x
‑
i|，|y＝i|)
表示第x行第y列像素点的像素值的调节参数。4.如权利要求3所述的实时的激光雷达和摄像头标定误差自修正方法，其特征在于，步骤S3，具体包括：利用如下公式计算点云中每个点的...

【专利技术属性】
技术研发人员：于海洋，晁文杰，任毅龙，姜涵，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：