【技术实现步骤摘要】
本专利技术涉及光学雷达，具体提供一种基于中介相机坐标转换的联合标定方法及装置。
技术介绍
1、光学相控阵(opa)激光雷达是一种以光学相控阵单元作为核心扫描部件的激光雷达系统，通过控制光信号的相位能够实现波束指向的灵活控制。在自动驾驶等智能感知系统中，需要将opa激光雷达与相机进行融合使用，以发挥各自的优势。然而，传感器融合的前提是对opa激光雷达与相机进行联合标定，实现空间上的坐标转换。目前已有的联合标定方案主要是通过激光雷达和相机分别检测目标物(通常是棋盘格标定板)的特定点位以进行特征匹配，这种标定方法的主要问题是在标定过程中激光雷达需要按照固定点位次序对场景进行扫描，并且由于扫描结果中包含了全部场景的点云数据，通常需要手动选择感兴趣区点云，以进行特征匹配。因此，传统标定方案存在采集数据量大，对标定物和标定环境要求高以及标定过程复杂的问题。另外，在传统激光雷达采集标定板点云数据时，往往无法精确采集标定板特征角点位置上的点云，需要根据所采集的标定板点云进行特征角点拟合，该过程中产生的误差也会导致标定效果变差。
2、现有技术中使用激光雷达和相机分别采集多组位姿下包含棋盘格标定板场景的三维点云与二维图像数据，选取标定板区域的点云作为感兴趣区，利用棋盘格的角点像素坐标和三维空间坐标作为对应点对，进行特征匹配，计算相机坐标系到激光雷达坐标系的旋转矩阵和平移矩阵。
3、上述现有技术至少存在一下缺点，具体包括：
4、缺点1、传统标定方法利用棋盘格标定板作为标定物，标定板的特征点通常只有其4个顶点，即每个
5、缺点2、在传统标定方法中，受限于传统激光雷达工作原理的限制，激光雷达在采集标定物点云时，需要按照特定顺序对场景进行全局扫描，再选取标定物所处的感兴趣区，滤除场景中大量与标定物无关的点云数据，以进行与图像间的特征点匹配。因此，在标定过程中，激光雷达采集了大量与标定特征点无关的冗余数据，导致标定过程复杂，数据梳理难度大的问题。
6、缺点3、在传统标定方法中，激光雷达往往无法精准的采集标定板的角点，需要在采集标定板点云数据后，根据标定板点云进行特征角点拟合，这就导致在角点拟合和判断过程中会存在误差，进而增大标定结果中的误差。
技术实现思路
1、本专利技术为解决上述问题，提供了一种基于中介相机坐标转换的联合标定方法及装置，可以实现opa激光雷达到中介相机的外参标定，进而实现激光雷达到可见光相机的外参标定，显著减少标定过程中需要采集的数据量，同时在获取特征点对时，精准地采集特征点位置处的三维点云数据，进一步地降低标定误差。
2、本专利技术提供一种基于中介相机坐标转换的联合标定方法，包括：
3、保持可见光相机、中介红外相机、opa激光雷达的相对固定状态，保持所述opa激光雷达与所述可见光相机与所述中介红外相机的相对位置不变，保持所述opa激光雷达与所述可见光相机的重合视野达到相机视野的目标阈值；
4、对所述中介红外相机与所述可见光相机进行外参标定，获得可见光相机坐标系到红外相机坐标系的第一旋转矩阵r1与第一平移矩阵t1；
5、对所述中介红外相机与所述opa激光雷达进行外参标定，获得中介红外相机坐标系到opa激光雷达坐标系的第二旋转矩阵r2与第二平移矩阵t2；
6、根据所述第一旋转矩阵r1、所述第一平移矩阵t1，所述第二旋转矩阵r2以及所述第二平移矩阵t2确定所述可见光相机到所述opa激光雷达的外参，完成联合标定。
7、作为一种优选的方案，所述对所述中介红外相机与所述可见光相机进行外参标定，包括：
8、利用张正友标定法，基于棋盘格标定板对所述可见光相机和所述中介红外相机进行外参标定。
9、作为一种优选的方案，所述利用张正友标定法，基于棋盘格标定板对可见光相机和中介红外相机进行外参标定，包括：
10、选择在可见光和红外谱段下均有反差的棋盘格；
11、使用混合光源照明棋盘格使得所述可见光相机和所述中介红外相机均可获得符合清晰度阈值的采集图像，所述采集图像中具有棋盘格图案；
12、对所述采集图像进行图像增强提升棋盘格图案的可辨识度；
13、通过外参标定获得可见光相机坐标系到红外相机坐标系的第一旋转矩阵r1与第二平移矩阵t1：
14、
15、其中，为目标点在所述红外相机坐标系下的相机坐标，为目标点在所述可见光相机坐标系下的相机坐标。
16、作为一种优选的方案，所述对所述中介红外相机与所述opa激光雷达进行外参标定，获得中介红外相机坐标系到opa激光雷达坐标系的第二旋转矩阵r2与第二平移矩阵t2，包括：
17、利用pnp算法对所述中介红外相机与所述opa激光雷达进行外参标定，获得中介红外相机坐标系到opa激光雷达坐标系的第二旋转矩阵r2与第二平移矩阵t2。
18、作为一种优选的方案，所述利用pnp算法对所述中介红外相机与所述opa激光雷达进行外参标定，获得中介红外相机坐标系到opa激光雷达坐标系的第二旋转矩阵r2与第二平移矩阵t2，包括：
19、控制所述opa激光雷达向场景中投射光束，获得n个非共线空间点在激光雷达坐标系下的三维坐标，其中n≥3且为正整数；
20、利用所述中介红外相机获得每次投点时刻的场景红外谱段图像，确定相应n个投点光斑中心点的像素坐标；
21、根据n个投点光斑中心点对应的三维空间坐标与二维像素坐标，构成特征匹配点对，利用pnp算法确定所述红外相机与所述opa激光雷达的外参，并计算红外相机坐标系到opa激光雷达坐标系的第二旋转矩阵r2与第二平移矩阵t2，获得坐标转换关系：
22、
23、其中，为目标点在所述opa激光雷达坐标系下的三维坐标，是目标点在所述中介红外相机坐标系下的相机坐标。
24、作为一种优选的方案，所述根据所述第一旋转矩阵r1、所述第一平移矩阵t1，所述第二旋转矩阵r2以及所述第二平移矩阵t2确定所述可见光相机到所述opa激光雷达的外参，完成联合标定，包括：
25、根据式(3)计算得到所述可见光相机与所述opa激光雷达的外参，得到第三旋转矩阵r3和第三平移矩阵t3：
26、
27、r3＝r2r1 (4)
28、t3＝r2t1+t2 (5)
29、其中，为目标点在所述opa激光雷达坐标系下的三维坐标，为目标点在所述可见光相机坐标系下的相机坐标。
30、本专利技术还提供一种基于中介相机坐标转换的联合标定装置，包括：
31、保持单元，用于保持可见光相机、中介红外相机、opa激光雷达的相对固定状态，本文档来自技高网...
【技术保护点】
1.一种基于中介相机坐标转换的联合标定方法，其特征在于，包括：
2.如权利要求1所述的基于中介相机坐标转换的联合标定方法，其特征在于，所述对所述中介红外相机与所述可见光相机进行外参标定，包括：
3.如权利要求2所述的基于中介相机坐标转换的联合标定方法，其特征在于，所述利用张正友标定法，基于棋盘格标定板对可见光相机和中介红外相机进行外参标定，包括：
4.如权利要求1所述的基于中介相机坐标转换的联合标定方法，其特征在于，所述对所述中介红外相机与所述OPA激光雷达进行外参标定，获得中介红外相机坐标系到OPA激光雷达坐标系的第二旋转矩阵R2与第二平移矩阵t2，包括：
5.如权利要求4所述的基于中介相机坐标转换的联合标定方法，其特征在于，所述利用PNP算法对所述中介红外相机与所述OPA激光雷达进行外参标定，获得中介红外相机坐标系到OPA激光雷达坐标系的第二旋转矩阵R2与第二平移矩阵t2，包括：
6.如权利要求1至5中任一项所述的基于中介相机坐标转换的联合标定方法，其特征在于，所述根据所述第一旋转矩阵R1、所述第一平移矩阵t1，所述
7.一种基于中介相机坐标转换的联合标定装置，其特征在于，包括：
...【技术特征摘要】
1.一种基于中介相机坐标转换的联合标定方法，其特征在于，包括：
2.如权利要求1所述的基于中介相机坐标转换的联合标定方法，其特征在于，所述对所述中介红外相机与所述可见光相机进行外参标定，包括：
3.如权利要求2所述的基于中介相机坐标转换的联合标定方法，其特征在于，所述利用张正友标定法，基于棋盘格标定板对可见光相机和中介红外相机进行外参标定，包括：
4.如权利要求1所述的基于中介相机坐标转换的联合标定方法，其特征在于，所述对所述中介红外相机与所述opa激光雷达进行外参标定，获得中介红外相机坐标系到opa激光雷达坐标系的第二旋转矩阵r2与第二平移矩阵...
【专利技术属性】
技术研发人员：胡小龙，赵浩阳，岳文强，付云浩，邱鹏，陈柏松，宋俊峰，
申请(专利权)人：吉林大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。