基于对应掩模的端到端的摄像头与激光雷达外参标定方法技术

本发明专利技术公开了基于对应掩模的端到端的摄像头与激光雷达外参标定方法，包括以下步骤：获取点云和图像序列数据；提取图像中棋盘格的角点、并结合棋盘格固有参数估计出棋盘格的掩模，从而生成棋盘格掩模的欧式距离变换；将点云数据剔除地面点和背景点后，进行点云分割，并提取棋盘格点云；对棋盘格2D掩模距离变换与棋盘格点云构造后向投影在距离变换场上的能量函数；通过遗传算法得到满足将3D点云投射到像平面区域的外参初值，并通过LM方法对外参初值进一步优化。本发明专利技术提供了一种图像中的掩模与激光点云中的点簇的对应关系，这一对应关系整体是明确的、但细节是模糊的特性，极大提高了其抗噪能力与鲁棒性，简化了外参标定过程，达到了很高的精度。

【技术实现步骤摘要】
基于对应掩模的端到端的摄像头与激光雷达外参标定方法
本专利技术涉及摄像头与激光雷达的外参数标定方法，属于多传感器融合感知领域。特别是一种基于对应掩模的端到端的摄像头与激光雷达外参标定方法。
技术介绍
摄像头传感器具有成本低、纹理语义信息丰富以及帧率高等优点，但容易受到光照条件的限制并很难恢复出精确的几何信息。激光雷达传感器拥有客观的几何测量精度且基本不受光照条件的限制，但是其空间分辨率低、语义信息难以提取以及帧率较低。将两者具有互补特性的传感器结合起来应用，在目前3D重建、增强现实与虚拟现实以及无人驾驶的3D目标探测、多层次高精度地图构建与定位等领域吸引了大量的研究注意力并取得了不错的成果。随着无人驾驶技术的不断发展以及应用落地，低成本激光雷达不断被研究开发出来，给量产车辆使用激光与视觉融合的解决方法提供了可能。另一方面，随着深度学习的不断发展，单目深度感知等研究课题不断取得新成果，这一任务依赖海量带有深度信息标注的图像样本，而这些样本的标注需要借助激光雷达。得到准确的摄像头与激光雷达的外参关系是实现视觉与激光点云融合应用的前提与关键，因此实现准确而鲁棒的摄像头与激光雷达标定至关重要。仅仅通过对传感器安装位置的量测不可能得到精密的外参数，要得到精度满足应用要求的外参数需要借助传感器得到的影像与激光点云数据。通过影像和对应激光点云进行外参标定的过程实际上就是寻求一个变换矩阵在两个坐标系之间相互转换的过程。激光点云与图像数据在语义、分辨率以及几何关系上存在较大的差距，利用这些多模数据进行变换关系求解的过程实质上是寻找一个测度弥补这些鸿沟的过程。其中一种思路是寻求一组3D-3D或者3D-2D的特征对，这些特征可能是点、线段或者平面的对象，这种方法往往需要借助特殊的场景和标志物。另一种方法是寻求图像和激光点云之间的相关性信息，例如使用图像光度与激光雷达反射率、图像光度不连续性与激光雷达深度不连续性等，该方法一般不依赖于标定物而只需要自然场景中的目标，所以往往可以在线标定。利用相关性信息的方法因其具有不确定性，标定精度严重依赖场景，并且无法在比较大范围的初始参数收敛到正确值，因而目前无法应用于数据采集车、车厂量产车等需要鲁棒、高精度以及自动化的场景中。本专利技术所研究的方法是基于标定物的精确鲁棒标定。基于标定物的方法往往需要设计各式各样的标定板、标定球、标定孔或者其他标志等实验设备，提取的大多数具有确定性关系的3D-3D对应点对、3D-3D对应法向或者3D-2D的对应点，这些方法因为需要得到这些对应关系，所以往往需要对实验设置进行限制或者人工干预，并且优化的精度取决于对3D-3D或者3D-2D对应点、线的精确提取，极容易受到噪声干扰，且会随着实验条件的恶化而失去鲁棒性。正是基于这一点考虑，本专利技术寻求了一种图像中的掩模与激光点云中的点簇的对应关系，这一对应关系从整体上是明确的，但对于细节是模糊的，这一特性极大提高了系统抗噪能力与鲁棒性，简化了实验设置和步骤，达到了很高的精度。与本专利技术较为接近的是基于棋盘格标定板的3D-2D的点对的方法，但是该方法利用棋盘格生成的是确定性对应关系，当环境复杂或噪声变大时，可能提取不到正确的对应点关系甚至提取不到棋盘格点云。与本专利技术接近的方法还有基于轮廓配准的自然场景的外参校准，但是该方法所依赖的自然景物具有极大的不确定性，自然景物图像以及激光点云轮廓的提取的精度严重影响最后外参标定的结果，这将给标定带来不确定性。本专利技术提供的外参标定方法使用棋盘格点云簇与棋盘格掩模区域的对象级3D-2D对应关系，并且设计了有效的提取棋盘格点云的方法，可以保证算法的精度、稳定性、抗噪性以及减少对环境的依赖。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于对应掩模的端到端的摄像头与激光雷达外参标定方法，以解决上述技术背景中提出的问题。为实现上述目的，本专利技术通过以下技术方案来实现：基于对应掩模的端到端的摄像头与激光雷达外参标定方法，包括以下步骤：步骤一、获取通过激光雷达得到的点云数据，以及通过摄像头得到的图像序列数据；步骤二、通过提取步骤一中摄像头所得的图像中棋盘格的角点、并结合棋盘格固有的参数，估计出棋盘格的掩模，然后根据棋盘格掩模进一步生成棋盘格掩模的欧式距离变换，即得棋盘格2D掩模距离变换；步骤三、将步骤一中激光雷达获取的目标点云与背景点云进行地面点剔除，然后通过点云差分的方式去除背景点；即对剔除地面点后的点云对进行基于KD树的KNN最近邻搜索匹配，从而去除背景点云；步骤四、对步骤三中去除了背景点云与地面点云的剩下点云，进行基于距离图深度连续性测度的点云分割，将具有空间相关性的点云簇分割开；然后对分割开的各个点云簇分别进行基于RANSAC的平面提取，并给出相应的包含平面显著性的置信度得分，且将置信度得分最高的点云簇作为棋盘格候选点云簇；接着再对棋盘格候选点云簇，根据提取的平面方程生成该点云簇的距离图，将距离图进行二值化后删除离散的小的联通区域以消除位于平面上但不属于棋盘格的外点，即得棋盘格点云，也叫棋盘格的3D激光雷达点云；步骤五、对步骤二得到棋盘格2D掩模距离变换与步骤四得到的棋盘格点云构造后向投影在距离变换场上的能量函数的损失函数，建立3D点集与2D区域的对应关系；步骤六、基于步骤五所建立的3D点集与2D区域对应关系、并通过遗传算法，得到满足将3D点云投射到像平面区域的外参初值，然后通过LM方法对外参初值进一步优化得到精确的外参。上述技术方案中，步骤二中，棋盘格掩模的具体估计方法为：获得摄像头所得图像中棋盘格的角点后，根据角点的像平面(u,v)坐标值以及棋盘格的固有参数计算棋盘格外围边框顶点的像平面坐标，即得棋盘格的二值掩模图；其中，棋盘格外围边框顶点的UV坐标由下式所示：当棋盘格无外边框时，的uv坐标可以简化为下式：式(1)、(2)中，分别是点P1、P1+N以及P2的像平面UV坐标；P1、P1+N、P2、P2+N分别是左上角顶点附近自动提取的棋盘格角点，其中N是棋盘格坐标系Y方向上角点的个数，Δs是棋盘格正方形边长，是待求的棋盘格左上角外边框顶点，是该顶点距离棋盘格图案左上角顶点在X轴方向上的偏移，是该顶点距离棋盘格图案左上角顶点在Y轴方向上的偏移。上述计算方案中，步骤三中，进行地面点剔除的具体方法为：将无序的激光点云有序化，生成距离图，在距离图的每列上进行地面点的判定；同一列相邻行上的两点所构成的向量与水平面的夹角将用来衡量该点是否为地面点的重要依据，其判断依据如下式所示：式(3)中集合为地面点的集合，ΘK为PK与PK+1所生成向量与水平面的夹角，ΘT为地面点判断的阈值，实验中一般取为2度；PK-1、PK、PK+1为同一列上的激光点云。上述技术方案中，步骤三中，通过点云差分的方式去除背景点的干扰，具体方法为：对剔除地面点后的点云对构建背景点云的KD树，并基于KD树使用KNN方法寻找目标点云中与原始点云距离最近的点对，最近邻点对距离大于阈值本文档来自技高网...

【技术保护点】
1.基于对应掩模的端到端的摄像头与激光雷达外参标定方法，其特征在于，包括以下步骤：/n步骤一、获取通过激光雷达得到的点云数据，以及通过摄像头得到的图像序列数据；/n步骤二、通过提取步骤一中摄像头所得的图像中棋盘格的角点、并结合棋盘格固有的参数，估计出棋盘格的掩模，然后根据棋盘格掩模进一步生成棋盘格掩模的欧式距离变换，即得棋盘格2D掩模距离变换；/n步骤三、将步骤一中激光雷达获取的目标点云与背景点云进行地面点剔除，然后通过点云差分的方式去除背景点；/n步骤四、对步骤三中去除了背景点云与地面点云的剩下点云，进行基于距离图深度连续性测度的点云分割，将具有空间相关性的点云簇分割开；然后对分割开的各个点云簇分别进行基于RANSAC的平面提取，并给出相应的包含平面显著性的置信度得分，且将置信度得分最高的点云簇作为棋盘格候选点云簇；接着再对棋盘格候选点云簇，根据提取的平面方程生成该点云簇的距离图，将距离图进行二值化后删除离散的小的联通区域以消除位于平面上但不属于棋盘格的外点，即得棋盘格点云；/n步骤五、对步骤二得到棋盘格2D掩模距离变换与步骤四得到的棋盘格点云构造后向投影在距离变换场上的能量损失函数，建立3D点集与2D区域的对应关系；/n步骤六、基于步骤五所建立的3D点集与2D区域对应关系、并通过遗传算法，得到满足将3D点云投射到像平面区域的外参初值，然后通过LM方法对外参初值进一步优化得到精确的外参。/n...

【技术特征摘要】
1.基于对应掩模的端到端的摄像头与激光雷达外参标定方法，其特征在于，包括以下步骤：
步骤一、获取通过激光雷达得到的点云数据，以及通过摄像头得到的图像序列数据；
步骤二、通过提取步骤一中摄像头所得的图像中棋盘格的角点、并结合棋盘格固有的参数，估计出棋盘格的掩模，然后根据棋盘格掩模进一步生成棋盘格掩模的欧式距离变换，即得棋盘格2D掩模距离变换；
步骤三、将步骤一中激光雷达获取的目标点云与背景点云进行地面点剔除，然后通过点云差分的方式去除背景点；
步骤四、对步骤三中去除了背景点云与地面点云的剩下点云，进行基于距离图深度连续性测度的点云分割，将具有空间相关性的点云簇分割开；然后对分割开的各个点云簇分别进行基于RANSAC的平面提取，并给出相应的包含平面显著性的置信度得分，且将置信度得分最高的点云簇作为棋盘格候选点云簇；接着再对棋盘格候选点云簇，根据提取的平面方程生成该点云簇的距离图，将距离图进行二值化后删除离散的小的联通区域以消除位于平面上但不属于棋盘格的外点，即得棋盘格点云；
步骤五、对步骤二得到棋盘格2D掩模距离变换与步骤四得到的棋盘格点云构造后向投影在距离变换场上的能量损失函数，建立3D点集与2D区域的对应关系；
步骤六、基于步骤五所建立的3D点集与2D区域对应关系、并通过遗传算法，得到满足将3D点云投射到像平面区域的外参初值，然后通过LM方法对外参初值进一步优化得到精确的外参。


2.根据权利要求1所述的基于对应掩模的端到端的摄像头与激光雷达外参标定方法，其特征在于，步骤二中，棋盘格掩模的具体估计方法为：获得摄像头所得图像中棋盘格的角点后，根据角点的像平面(u,v)坐标值以及棋盘格的固有参数计算棋盘格外围边框顶点的像平面坐标，即得棋盘格的二值掩模图；
其中，棋盘格外围边框顶点的UV坐标由下式所示：



当棋盘格无外边框时，的uv坐标可以简化为下式：



式(1)、(2)中，分别是点P1、P1+N以及P2的像平面UV坐标；P1、P1+N、P2、P2+N分别是左上角顶点附近自动提取的棋盘格角点，其中N是棋盘格坐标系Y方向上角点的个数，Δs是棋盘格正方形边长，是待求的棋盘格左上角外边框顶点，是该顶点距离棋盘格图案左上角顶点在X轴方向上的偏移，是该顶点距离棋盘格图案左上角顶点在Y轴方向上的偏移。


3.根据权利要求2所述的基于对应掩模的端到端的摄像头与激光雷达外参标定方法，其特征在于，步骤三中，进行地面点剔除，具体方法为：将无序的激光点云有序化，生成距离图，在距离图的每列上进行地面点的判定；
同一列相邻行上的两点所构成的向量与水平面的夹角将用来衡量该点是否为地面点的重要依据，其判断依据如下式所示：



式(3)中集合为地面点的集合，ΘK为PK与PK+1所生成向量与水平面的夹角，ΘT为地面点判断的阈值，实验中一般取为2度；PK-1、PK、PK+1为同一列上的激光点云。


4.根据权利要求3所述的基于对应掩模的端到端的摄像头与激光雷达外参标定方法，其特征在于，步骤三中，通过点云差分的方式去除背景点，具体方法为：对剔除地面点后的点云对构建背景点云的KD树，并基于KD树使用KNN方法寻找目标点云中与原始点云距离最近的点对...

【专利技术属性】
技术研发人员：尹露，罗斌，王伟，赵青，王晨捷，李成源，
申请(专利权)人：武汉斌果科技有限公司，
类型：发明
国别省市：湖北;42