【技术实现步骤摘要】
本专利技术涉及传感器空间同步和机器人感知领域，尤其涉及一种基于3d-3d匹配点对的相机-激光雷达联合标定方法和装置。
技术介绍
1、标定技术是当前机器人和无人驾驶领域广泛采用的多传感器信息融合的基础。多传感器信息融合采用多个传感器提供冗余信息，减少错误测量，提高自动控制或远程控制的实时性、鲁棒性和准确性。相机和激光雷达信息融合是多传感器信息融合的一种，相机-激光雷达联合标定则用于融合相机和激光雷达数据，获得相机和激光雷达之间的外部参数。
2、相机和激光雷达联合标定的主要目的在于计算相机和激光雷达之间的外部参数，即两传感器坐标系的旋转平移矩阵。在实时场景，例如自动驾驶领域，要求高精度标定技术以达到最小误差的外部校准，错误的校准会导致错误的融合数据，这对车辆本身和周边其他车辆或行人都是致命的。目前，在各种复杂环境如室内外大风、强光等未知因素较多的场景下进行高效率、高精度相机-激光雷达联合标定并检测其标定质量仍然是专家学者们研究的热点。
3、目前针对高精度的相机和激光雷达联合标定问题，存在的方法有：
4、[1]文献(dhall，ankit，et al.″lidar-camera calibration using 3d-3d pointcorrespondences."arxivpreprintarxiv：1705.09785(2017).)提出了一种针对激光雷达和视觉相机的3d配对方法，其创新性的引入了通过aruco码以得到视觉相机相对于标定板的3d位姿信息的方法，但其后端处理未考虑因传感器噪声等
5、[2]文献(martin velas，michal spanel，zdenek matema，adam heroutcalibration of rgbcamera with velodyne lidar.https：//www.github.com/robofit/but velodyne/)提出了一种仅采用一帧数据的激光雷达与视觉相机外参标定方法，该方法具有较高的精确度，但其泛化性较差，表现在其对输入数据稠密度要求较高，因而只适用于激光点云数据稠密的64线激光雷达，无法适用于广泛应用的32线以及16线激光雷达。
6、总结检索到相关领域的现有技术可知，现有的解决高精度的相机和激光雷达联合标定问题的方法存在以下问题：1、未考虑因传感器噪声等干扰所产生的杂点，标定结果可靠性较差、精确度较低，不能对标定结果的准确度进行有效评价；2、泛化性较差。
技术实现思路
1、有鉴于此，本专利技术提供了一种基于3d-3d匹配点对的相机和激光雷达联合标定方法及装置，用于解决现有相机和激光雷达联合标定中存在的易受噪声干扰、鲁棒性差、标定耗时长、精确度低、手动操作复杂等问题。
2、为了实现上述目的，现提出的方案如下：
3、一种基于3d-3d匹配点对的相机-激光雷达联合标定方法，包括：
4、获取两块具有特定形状和大小的标定板，每块标定板上带有用于相机姿态估计的二进制方形基准标记；
5、识别标定板上的二进制方形基准标记及其角点，基于所述二进制方形基准标记及其角点，得到方形基准标记中心与相机光心的变换矩阵，得到相机坐标系下方形基准标记角点的坐标信息；
6、通过雷达获取所述方形基准标记初始点云信息，对所述方形基准标记初始点云信息的雷达反射强度进行滤波，得到方形基准标记边缘点云信息；
7、基于方形基准标记边缘点云信息，得到雷达坐标系下方形基准标记角点的坐标信息；
8、基于相机坐标系下与雷达坐标系下方形基准标记角点的坐标信息，得到相机坐标系和雷达坐标系之间的旋转平移矩阵。
9、根据本专利技术提供的基于3d-3d匹配点对的相机-激光雷达联合标定方法，所述标定板上用于相机姿态估计的二进制方形基准标记为aruco标记，所述识别标定板上的二进制方形基准标记及其角点，基于所述二进制方形基准标记及其角点得到方形基准标记中心与相机光心的变换矩阵，得到相机坐标系下方形基准标记角点的坐标信息，包括：
10、指定字典存放aruco标记的尺寸信息和编码信息，并创建aruco标记；
11、通过相机识别aruco标记的角点列表和aruco标记的id；
12、对aruco标记的边缘进行提取，得到以aruco标记中心为原点的坐标系和以相机光心为原点的坐标系的变换矩阵；
13、基于所述变换矩阵，得到相机坐标系下方形基准标记即aruco标记角点的坐标信息。
14、根据本专利技术提供的基于3d-3d匹配点对的相机-激光雷达联合标定方法，所述通过雷达获取所述方形基准标记初始点云信息，对所述方形基准标记初始点云信息的雷达反射强度进行滤波，得到方形基准标记边缘点云信息，包括：
15、对通过雷达获取的方形基准标记初始点云信息依据其反射强度进行滤波，当其反射强度发生明显变化时，判断其为方形基准标记边缘，从而得到滤波后的方形基准标记边缘点云数据集合cfiltered。
16、根据本专利技术提供的基于3d-3d匹配点对的相机-激光雷达联合标定方法，所述基于方形基准标记边缘点云信息，得到雷达坐标系下方形基准标记角点的坐标信息，包括：
17、去除cfiltered中位置重叠点云，得到去除重叠点云后的点云数据集合cdelet；
18、采用ransac平面拟合法对去除重叠点云后的点云数据集合cdelet进行去噪处理，得到去噪处理后的点云数据集合cransac；
19、将去噪处理后的点云数据集合cransac通过投影矩阵matproj投影到相机2d平面上；
20、在2d平面上标记线段，选取雷达边缘点，通过在每个线段周围绘制四边形来标记线段，得到方形基准标记边缘附近的点云数据集合cselected；
21、基于点云数据集合cselected，采用ransac线拟合，得到雷达坐标系下方形基准标记角点的坐标信息。
22、根据本专利技术提供的基于3d-3d匹配点对的相机-激光雷达联合标定方法，所述基于相机坐标系下与雷达坐标系下方形基准标记角点的坐标信息，得到相机和雷达之间的旋转平移矩阵，包括：
23、分别从相机坐标系下与雷达坐标系下方形基准标记角点中选择最小样本点数，利用随机选择方法得到一个最小样本点数的最小点集sm；
24、利用迭代最近点方法估计符合所述最小点集sm的模型；
25、将所述模型推广至总点集，计算在预设阈值内符合该模型的点集数量，即内点数量；
26、在所述内点数量实际占输入点集总点数比例大于设定的比例常数时，比较运行次数和所述运行次数上限，当达到所述运行次数上限k，则将存储的两个坐标系下的最小样本点集运行结果取平均值并输出内点占输入点集总点数的比例，即内点率；...
【技术保护点】
1.一种基于3D-3D匹配点对的相机-激光雷达联合标定方法，其特征在于，该方法包括：
2.根据权利要求1所述的基于3D-3D匹配点对的相机-激光雷达联合标定方法，其特征在于，所述标定板上用于相机姿态估计的二进制方形基准标记为ArUco标记，所述识别标定板上的二进制方形基准标记及其角点，基于所述二进制方形基准标记及其角点得到方形基准标记中心与相机光心的变换矩阵，得到相机坐标系下方形基准标记角点的坐标信息，包括：
3.根据权利要求1所述的基于3D-3D匹配点对的相机-激光雷达联合标定方法，其特征还在于，所述通过雷达获取所述方形基准标记初始点云信息，对所述方形基准标记初始点云信息的雷达反射强度进行滤波，得到方形基准标记边缘点云信息，包括：
4.根据权利要求3所述的基于3D-3D匹配点对的相机-激光雷达联合标定方法，其特征在于，所述基于方形基准标记边缘点云信息，得到雷达坐标系下方形基准标记角点的坐标信息，包括：
5.根据权利要求1所述的基于3D-3D匹配点对的相机-激光雷达联合标定方法，其特征在于，所述基于相机坐标系下与雷达坐标系下方形基准
6.根据权利要求2所述的基于3D-3D匹配点对的相机-激光雷达联合标定方法，其特征还在于，在得到相机坐标系下方形基准标记角点的坐标信息后，还包括：通过对识别的ArUco标记进行位姿估计，计算所述变换矩阵最后一列的平移，以判断方形基准标记中心与相机光心的真实距离是否存在较大误差。
7.根据权利要求4所述的基于3D-3D匹配点对的相机-激光雷达联合标定方法，其特征在于，
8.根据权利要求4所述的基于3D-3D匹配点对的相机-激光雷达联合标定方法，其特征还在于，所述在2D平面上标记线段，选取雷达边缘点，通过在每个线段周围绘制四边形来标记线段，得到方形基准标记边缘附近的点云数据集合Cselected，包括：
9.根据权利要求1所述的基于3D-3D匹配点对的相机-激光雷达联合标定方法，其特征在于，所述基于相机坐标系下与雷达坐标系下方形基准标记角点的坐标信息，得到相机坐标系和雷达坐标系之间的旋转平移矩阵后，还包括：
10.根据权利要求9所述的基于3D-3D匹配点对的相机-激光雷达联合标定方法，其特征在于，得到相机坐标系和雷达坐标系之间去除无关外点后的旋转平移矩阵以及标定误差值后，通过重投影判断标定结果的准确度。
11.根据权利要求10所述的基于3D-3D匹配点对的相机-激光雷达联合标定方法，其特征在于，所述通过重投影判断标定结果的准确度，包括：
12.一种基于3D-3D匹配点对的相机-激光雷达联合标定装置，其特征在于，所述装置包括：
13.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至11任一项所述的基于3D-3D匹配点对的相机-激光雷达联合标定方法。
14.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至11任一项所述的基于3D-3D匹配点对的相机-激光雷达联合标定方法。
...【技术特征摘要】
1.一种基于3d-3d匹配点对的相机-激光雷达联合标定方法，其特征在于，该方法包括：
2.根据权利要求1所述的基于3d-3d匹配点对的相机-激光雷达联合标定方法，其特征在于，所述标定板上用于相机姿态估计的二进制方形基准标记为aruco标记，所述识别标定板上的二进制方形基准标记及其角点，基于所述二进制方形基准标记及其角点得到方形基准标记中心与相机光心的变换矩阵，得到相机坐标系下方形基准标记角点的坐标信息，包括：
3.根据权利要求1所述的基于3d-3d匹配点对的相机-激光雷达联合标定方法，其特征还在于，所述通过雷达获取所述方形基准标记初始点云信息，对所述方形基准标记初始点云信息的雷达反射强度进行滤波，得到方形基准标记边缘点云信息，包括：
4.根据权利要求3所述的基于3d-3d匹配点对的相机-激光雷达联合标定方法，其特征在于，所述基于方形基准标记边缘点云信息，得到雷达坐标系下方形基准标记角点的坐标信息，包括：
5.根据权利要求1所述的基于3d-3d匹配点对的相机-激光雷达联合标定方法，其特征在于，所述基于相机坐标系下与雷达坐标系下方形基准标记角点的坐标信息，得到相机和雷达之间的旋转平移矩阵，包括：
6.根据权利要求2所述的基于3d-3d匹配点对的相机-激光雷达联合标定方法，其特征还在于，在得到相机坐标系下方形基准标记角点的坐标信息后，还包括：通过对识别的aruco标记进行位姿估计，计算所述变换矩阵最后一列的平移，以判断方形基准标记中心与相机光心的真实距离是否存在较大误差。
7.根据权利要求4所述的基于3d-3d匹...
【专利技术属性】
技术研发人员：高汛，郑可凡，李云魏，封蕴籍，王煜安，陈泰然，郑路洁，王延朋，唐营聪，宋睿宸，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。