本发明专利技术涉及自动驾驶感知领域，涉及一种面向弱约束环境下的LIDAR与CAMERA联合标定方法，包括以下步骤：确定标定场地，在车辆前方设置第一标定板、第二标定板，第一标定板为一个具有圆孔的棋盘格二维码标定板，第二标定板为多个二维码标定板估计第二标定板的位姿，基于第二标定板的位姿，获取长焦相机和鱼眼相机的外参；基于所述第一标定板求解长焦相机和激光雷达的外参，基于所述第二标定板对长焦相机和激光雷达的外参进行优化；获取长焦相机、鱼眼相机和激光雷达数据中的交通标志牌特征，基于所述交通标志牌特征判定长焦相机、鱼眼相机和激光雷达的外参是否异常；本发明专利技术能够提高弱约束场景下激光雷达与相机的标定性能。
【技术实现步骤摘要】
本专利技术涉及自动驾驶感知领域，具体涉及一种弱约束环境下的lidar与camera联合标定方法、装置。
技术介绍
1、激光雷达与相机外参标定是一种常用于多传感器融合应用的关键技术。它的目的是确定激光雷达与相机之间的几何关系，以实现精确的传感器数据融合和场景重建。激光雷达提供了高精度的三维点云数据，而相机则提供了丰富的纹理信息，两者结合可以实现更全面和准确的环境感知。
2、在激光雷达与相机外参标定方法中，常见的技术包括基于特定标定板的标定方法和基于场景特征的标定方法。
3、基于特定标定板的标定方法需要在场景中放置一个特定的标定板，标定板上有特定的标记物，例如棋盘格等。通过在不同位置和姿态下拍摄标定板，并利用激光雷达和相机的数据，可以计算出其之间的外部参数。这种方法的优点是标定过程简单，准确度高。公告号为cn113253246b的中国专利技术专利描述了一种将标定板的边缘点转换到伪相机坐标系下，并投影到伪相机的成像平面上，得到投影图像，从投影图像中找到标定板的角点位于伪相机坐标系下坐标的方法。申请号为cn202111350523.5的中国专利技术专利描述了一种利用特殊标定板和图像处理方法进行激光雷达与相机标定的方法，在整个过程中能够自动进行设备参数调整、数据帧选择以及标定结果的计算，无需人工干预。
4、基于场景特征的标定方法则利用场景中的特征点或特征平面来计算激光雷达与相机之间的外部参数。这种方法不需要特定的标定板，适用于实际场景中的标定。
技术实现思路
<
p>1、本专利技术提供了一种弱约束环境下的lidar与camera联合标定方法、装置、设备和介质，解决了现有技术中激光雷达和相机标定速度慢、精度差并且难以进行自动校验的问题。2、第一方面，本申请实施例提供了一种弱约束环境下的lidar与camera联合标定方法，包括：
3、步骤s1、确定标定场地，包括：在车辆前方设置第一标定板、第二标定板，所述第一标定板为一个具有圆孔的棋盘格二维码标定板，所述第二标定板为多个二维码标定板，所述第二标定板放置于第一标定板两侧；
4、步骤s2、对车辆的长焦相机和鱼眼相机进行标定，包括：估计所述第二标定板的位姿，基于第二标定板的位姿，获取长焦相机和鱼眼相机的标定外参；
5、步骤s3、对车辆的长焦相机和激光雷达进行标定，包括：基于所述第一标定板求解长焦相机和激光雷达的标定外参，基于所述第二标定板对长焦相机和激光雷达的标定外参进行优化。
6、优选地，所述具有圆孔的棋盘格二维码标定板为可调整角度的带有四个圆孔的charuco标定板，所述四个圆孔以对称的方式设置于charuco标定板的四个角，所述多个二维码标定板为4个或8个可调整角度的aruco标定板。
7、优选地，所述步骤s2中，估计所述第二标定板的位姿，基于第二标定板的位姿，获取长焦相机和鱼眼相机的标定外参具体包括：
8、步骤s2-1、分别采用长焦相机和鱼眼相机获取第二标定板图像，检测图像中aruco标定板角点及角点id，根据角点id进行aruco标定板区分；基于每个aruco标定板上角点的像素坐标与角点在世界坐标系下的三维坐标估计aruco标定板的相对位姿；
9、步骤s2-2、基于步骤s2-1所得角点id对两张第二标定板图像进行aruco标定板匹配，若aruco标定板中被检测到两个以上角点，则确定为有效匹配标定板；然后基于每个有效匹配标定板的相对位姿分别计算长焦相机和鱼眼相机外参；最后，取均值作为最终的标定结果。
10、优选地，基于所述第一标定板求解长焦相机和激光雷达的标定外参包括：
11、步骤s3-1、利用初始外参将激光雷达坐标系下的3d圆心点投影到长焦相机拍摄的图像上；
12、步骤s3-2、检测图像中的2d圆心点，并将所述3d圆心点的投影点与检测的2d圆心点形成优化点对；
13、步骤s3-3、利用所述优化点对之间的欧氏距离作为优化目标，使用优化算法对所述初始外参进行优化。
14、优选地，所述2d圆心点为charuco标定板的图像中圆孔对应的圆心；所述3d圆心点为charuco标定板的点云中圆孔对应的圆心；
15、所述2d圆心点的获取方式包括：检测charuco标定板的角点；根据所述角点在世界坐标系下的3d坐标和像素坐标系下的2d坐标，求解从世界坐标系到相机坐标系的变换矩阵；计算世界坐标系下的圆心3d坐标；利用所述世界坐标系下相机的位姿、相机的内参和畸变系数，将所述圆心3d坐标投影到像素坐标系下；
16、所述3d圆心点的获取方式包括：提取charuco标定板附近的区域的多帧感兴趣点云；分割出charuco标定板的平面点云；将所述平面点云变换为2d平面点，并对点云进行排序；查询右下角点的行列值，删除下方的非面点；根据所述右下角点和charuco标定板尺寸算出四个点云中圆孔对应的圆心点的初值；获取圆心点的初值周围的位置的随机取点；对以所述随机取点为圆心、半径为20cm的圆内的点进行遍历，获取圆内点的数量，确定圆内点的数量最少的圆的中心点；针对多帧感兴趣点云中各帧的圆内点的数量最少的圆的中心点，计算多帧感兴趣点云的所述中心点的平均值，确定为最终的3d圆心点，并将其变换至激光雷达坐标系下。
17、优选地，所述步骤s3中，基于所述第二标定板对长焦相机和激光雷达的标定外参进行优化，包括：
18、步骤s3-4、检测图像中aruco标定板的角点；利用角点信息和pnp算法求解各aruco标定板在相机坐标系下的位姿；根据所述标定板的尺寸和位姿，确定各aruco标定板四个角在像素坐标系下的位置，分割出各aruco标定板对应的像素区域；
19、步骤s3-5、分割出地面点云和非地面点云；对非地面点云进行聚类处理，以识别aruco标定板点云；对每个聚类得到的点云簇，分割出对应的aruco标定板平面点云；基于所述求解得到的长焦相机和激光雷达的标定外参，将所述平面点云投影至所述分割出的aruco标定板对应的像素区域；基于投影点与图像之间的重投影误差，优化长焦相机与激光雷达之间的标定外参；
20、优选地，该方法还包括：步骤s4、对标定效果进行校验，包括：获取长焦相机、鱼眼相机和激光雷达数据中的交通标志牌特征，基于所述交通标志牌特征判定长焦相机、鱼眼相机和激光雷达的外参是否异常。
21、优选地，交通标志牌特征包括交通标志牌图像特征和交通标志牌点云特征；
22、获取所述数据中的交通标志牌图像特征，包括：对图像进行基于rgb或hsv色彩的蓝色、黄色和红色区域分割，以提取相应颜色的区域；对所述分割区域应用中值滤波，以减少图像中的噪点；执行形态学操作，包括腐蚀和膨胀；计算图像中的轮廓及其最小矩形包围盒，去除相互包含的较小矩形框；根据交通标志牌的长宽比和轮廓面积筛选出符合标准的矩形框，作为交通标志牌图像特征；
23、或，采用基于cityscapes数据集本文档来自技高网
...
【技术保护点】
1.一种弱约束环境下的LIDAR与CAMERA联合标定方法，包括：
2.如权利要求1所述的LIDAR与CAMERA联合标定方法，其特征在于：所述具有圆孔的棋盘格二维码标定板为可调整角度的带有四个圆孔的ChArUco标定板，所述四个圆孔以对称的方式设置于ChArUco标定板的四个角，所述多个二维码标定板为4个或8个可调整角度的ArUco标定板。
3.如权利要求2所述的LIDAR与CAMERA联合标定方法，其特征在于：所述步骤S2中，估计所述第二标定板的位姿，基于第二标定板的位姿，获取长焦相机和鱼眼相机的标定外参，具体包括：
4.如权利要求2所述的LIDAR与CAMERA联合标定方法，其特征在于：所述步骤S3中，基于所述第一标定板求解长焦相机和激光雷达的标定外参包括：
5.如权利要求4所述的LIDAR与CAMERA联合标定方法，其特征在于：
6.如权利要求5所述的LIDAR与CAMERA联合标定方法，其特征在于：所述步骤S3中，基于所述第二标定板对长焦相机和激光雷达的标定外参进行优化，包括：
7.如权利要求2所述的LIDAR与CAMERA联合标定方法，其特征在于该方法还包括：
8.如权利要求7所述的LIDAR与CAMERA联合标定方法，其特征在于：交通标志牌特征包括交通标志牌图像特征和交通标志牌点云特征；
9.如权利要求8所述的LIDAR与CAMERA联合标定方法，其特征在于：基于所述交通标志牌特征判定长焦相机、鱼眼相机和激光雷达的外参是否异常包括：
10.一种弱约束环境下的LIDAR与CAMERA联合标定装置，包括：
...
【技术特征摘要】
1.一种弱约束环境下的lidar与camera联合标定方法，包括：
2.如权利要求1所述的lidar与camera联合标定方法，其特征在于：所述具有圆孔的棋盘格二维码标定板为可调整角度的带有四个圆孔的charuco标定板，所述四个圆孔以对称的方式设置于charuco标定板的四个角，所述多个二维码标定板为4个或8个可调整角度的aruco标定板。
3.如权利要求2所述的lidar与camera联合标定方法，其特征在于：所述步骤s2中，估计所述第二标定板的位姿，基于第二标定板的位姿，获取长焦相机和鱼眼相机的标定外参，具体包括：
4.如权利要求2所述的lidar与camera联合标定方法，其特征在于：所述步骤s3中，基于所述第一标定板求解长焦相机和激光雷达的标定外参包括：
...
【专利技术属性】
技术研发人员：王章宇，王杰，李华志，赵嘉瑞，余贵珍，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。