一种低分辨率毫米波雷达与光学相机的标定方法技术

本发明专利技术公开一种低分辨率毫米波雷达与光学相机的标定方法，将毫米波雷达采集的单帧雷达点云信息与位姿传感器采集的位姿信息融合，输出包含标定板位置信息的点云地图；利用点云滤波算法以及聚类算法对点云地图进行处理，以提取出标定板的毫米波雷达点云；使用目标分割算法分割出标定板在原始图像信息中的二维边缘特征点位置信息；通过标定板的结构先验构建其三维模型，并将其与毫米波雷达点云块进行配准，从而得到拟合后的标定板三维边缘特征点位置信息，并与分割出的二维边缘特征点位置信息进行匹配，得到多组二维与三维的匹配特征点对信息；将多组二维与三维的匹配特征点对信息，作为PnP算法的输入，计算得到用于毫米波雷达与相机标定的外参矩阵。与相机标定的外参矩阵。与相机标定的外参矩阵。

【技术实现步骤摘要】
一种低分辨率毫米波雷达与光学相机的标定方法


[0001]本专利技术涉及多传感器融合的外参标定
，具体涉及一种低分辨率毫米波雷达与光学相机的标定方法。

技术介绍

[0002]三维环境感知一直是无人车定位、路径规划导航、三维重建等任务的关键，在三维环境感知的任务中激光雷达、毫米波雷达以及光学相机等传感器都扮演着重要的角色。相比于雷达，光学相机因其可以拿到稠密的场景RGB信息而受到广泛关注，但是无论是单目还是双目相机都无法拿到场景准确的三维信息。因此在实际应用中常与其他测距传感器例如激光雷达进行融合，用于完成具有尺度的三维重建、实时定位与建图等工作。近年来，毫米波雷达因其可以用于大雾、大雨等殊环境而受到国内外学者的高度关注，产生了许多毫米波雷达的相关研究成果。但是目前市面上的毫米波雷达相比与激光雷达依然有着很多缺点，例如：单帧的点云数据稀疏、精度低、易受干扰、杂点多等。这也使得毫米波雷达与其他传感器的空间标定任务更加困难。而多传感器的空间标定通常是完成多源信息融合感知算法的关键一环。
[0003]毫米波雷达与相机的标定工作一般使用雷达所测得目标的速度、距离以及水平方位角信息与图像或图像流进行信息的匹配，例如基于强反射标定物并在标定方程中添加了几何约束实现360
°
的毫米波雷达与相机的配准的方法，使用雷达所测目标的速度维信息，并在图像序列中寻找对应的目标来对毫米波雷达与相机进行标定的方法等。但是上述标定工作主要用于大型室外环境的三维重建，上述标定工作采用的毫米波雷达分辨率较高，标定方案也不具有普适性，在实际工程中，限于价格，在大多数应用场景中都采用数据较为稀疏的毫米波雷达，使得在毫米波雷达与光学相机空间标定工作中无法使用上述的标定方法来完成毫米波雷达与相机的标定。

技术实现思路

[0004]本专利技术的目的在于提供一种低分辨率毫米波雷达与光学相机的标定方法，标定结果的准确率高，且在较为空旷的环境以及杂物较多的环境具有有效性与鲁棒性，应用场景广泛。
[0005]为实现以上目的，本专利技术采用以下技术方案：
[0006]一种低分辨率毫米波雷达与光学相机的标定方法，包括步骤：
[0007]S1、搭建标定板以及标定采集设备，标定采集设备包括相机、毫米波雷达、位姿传感器；
[0008]S2、相机采集标定板原始图像信息，毫米波雷达采集标定板单帧雷达点云信息，位姿传感器采集移动平台的位姿信息；
[0009]S3、将单帧雷达点云信息与位姿信息融合，输出包含标定板位置信息的点云地图；
[0010]S4、利用点云滤波算法以及聚类算法对点云地图进行处理，以提取出标定板的毫
米波雷达点云块；
[0011]S5、使用目标分割算法分割出标定板在原始图像信息中的二维边缘特征点位置信息；
[0012]S6、通过标定板的结构先验构建其三维模型，并将其与毫米波雷达点云块进行配准，从而得到拟合后的标定板三维边缘特征点位置信息，并与步骤S5中的二维边缘特征点位置信息进行匹配，以得到多组二维与三维的匹配特征点对信息；
[0013]S7、将多组二维与三维的匹配特征点对信息，作为PnP算法的输入，以计算得到用于毫米波雷达与相机标定的外参矩阵。
[0014]作为优选方案，步骤S3中，包括步骤：
[0015]S3.1、划定雷达点云信息中的有效区域，并滤除其单帧的低精度点；
[0016]S3.2、基于预设的CFAR阈值滤除毫米波雷达噪点；
[0017]S3.3、根据每一帧雷达点云信息对应的位姿信息，将雷达点云信息统一至全局坐标系下；
[0018]S3.4、使用概率模型，判断给定测量值时体素被占据的概率大小来确定地图点是否采用；
[0019]S3.5、根据步骤S3.4中被采用的地图点，完成毫米波雷达建图，输出包含标定板位置信息的点云地图。
[0020]作为优选方案，步骤S3.3中所述根据每一帧雷达点云信息对应的位姿信息，将雷达点云信息统一至全局坐标系下，采用的计算公式为：
[0021][0022]其中，表示t时刻下毫米波雷达检测得到的在全局坐标系下的单帧雷达点云坐标，表示t时刻下毫米波雷达检测得到的在局部坐标系下的单帧雷达点云坐标，表示t时刻下位全局坐标系到相机坐标系的三维旋转矩阵，表示t时刻下全局坐标系到相机坐标系的三维平移向量。
[0023]作为优选方案，步骤S3.4使用的概率模型为：
[0024][0025]其中为t时刻之前给定测量值时节点n被占据的概率，P(n)为先验概率，为t
‑
1时刻给定测量值时节点n被占据的概率，表示t时刻给定测量值时节点n被占据的概率，表示t时刻之前毫米波雷达检测得到的在全局坐标系下的所有帧的雷达点云坐标。
[0026]作为优选方案，步骤S4中，包括步骤：
[0027]S4.1、对点云地图进行下采样，并利用点云滤波算法滤除离群点；
[0028]S4.2、使用欧式聚类算法对点云地图中的不同部分进行聚类；
[0029]S4.3、根据每个点云类的边缘特征以及面特征，从中提取出标定板的毫米波雷达
点云块。
[0030]作为优选方案，步骤S1具体为：
[0031]使用两块成90
°
夹角的反射板作为标定板，在移动平台上固定安装毫米波雷达以及相机。
[0032]作为优选方案，步骤S6中所述三维模型基于标定板的真实尺寸以及夹角进行构建。
[0033]作为优选方案，步骤S6中，采用迭代最近点算法将标定板三维模型与毫米波雷达点云块进行匹配。
[0034]作为优选方案，位姿传感器采用轮式里程计。
[0035]作为优选方案，步骤S7中，包括步骤：
[0036]S7.1、构建优化问题：
[0037][0038]S7.2、将外参矩阵的求解转换为非线性最小二乘问题：
[0039][0040]S7.3、使用LM优化方法求解标定矩阵；
[0041]其中，z
c
为尺度因子，M为相机的内参矩阵，R为毫米波雷达坐标系坐标到相机坐标系坐标的三维旋转矩阵，T为毫米波雷达坐标系与相机坐标系的三维平移向量，p'
P
为二维边缘特征点坐标估计值，P
r
为标定板三维边缘特征点位置坐标，p
r
为二维边缘特征点坐标。
[0042]本专利技术的有益效果是：
[0043]1、本专利技术将毫米波雷达采集的单帧雷达点云信息与位姿传感器采集的位姿信息融合，输出包含标定板位置信息的点云地图；利用点云滤波算法以及聚类算法对点云地图进行处理，以提取出标定板的毫米波雷达点云；使用目标分割算法分割出标定板在原始图像信息中的二维边缘特征点位置信息；通过标定板的结构先验构建其三维模型，并将其与毫米波雷达点云块进行配准，从而得到拟合后的标定板三维边缘特征点位置信息，并与分割出的二维边缘特征点位置信息进行匹配，得到多组二维与三维的匹配特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种低分辨率毫米波雷达与光学相机的标定方法，其特征在于，包括步骤：S1、搭建标定板以及标定采集设备，标定采集设备包括相机、毫米波雷达、位姿传感器；S2、相机采集标定板原始图像信息，毫米波雷达采集标定板单帧雷达点云信息，位姿传感器采集移动平台的位姿信息；S3、将单帧雷达点云信息与位姿信息融合，输出包含标定板位置信息的点云地图；S4、利用点云滤波算法以及聚类算法对点云地图进行处理，以提取出标定板的毫米波雷达点云块；S5、使用目标分割算法分割出标定板在原始图像信息中的二维边缘特征点位置信息；S6、通过标定板的结构先验构建其三维模型，并将其与毫米波雷达点云块进行配准，从而得到拟合后的标定板三维边缘特征点位置信息，并与步骤S5中的二维边缘特征点位置信息进行匹配，以得到多组二维与三维的匹配特征点对信息；S7、将多组二维与三维的匹配特征点对信息，作为PnP算法的输入，以计算得到用于毫米波雷达与相机标定的外参矩阵。2.根据权利要求1所述的一种低分辨率毫米波雷达与光学相机的标定方法，其特征在于，步骤S3中，包括步骤：S3.1、划定雷达点云信息中的有效区域，并滤除其单帧的低精度点；S3.2、基于预设的CFAR阈值滤除毫米波雷达噪点；S3.3、根据每一帧雷达点云信息对应的位姿信息，将雷达点云信息统一至全局坐标系下；S3.4、使用概率模型，判断给定测量值时体素被占据的概率大小来确定地图点是否采用；S3.5、根据步骤S3.4中被采用的地图点，完成毫米波雷达建图，输出包含标定板位置信息的点云地图。3.根据权利要求2所述的一种低分辨率毫米波雷达与光学相机的标定方法，其特征在于，步骤S3.3中所述根据每一帧雷达点云信息对应的位姿信息，将雷达点云信息统一至全局坐标系下，采用的计算公式为：其中，表示t时刻下毫米波雷达检测得到的在全局坐标系下的单帧雷达点云坐标，表示t时刻下毫米波雷达检测得到的在局部坐标系下的单帧雷达点云坐标，表示t时刻下位全局坐标系到相机坐标系的三维旋转矩阵，T
tO
表示t时刻下全局坐标系到相机坐标系的三维平移向量。4.根据权利要求3所述的一种低分辨率毫米波雷达与光学相机的...

【专利技术属性】
技术研发人员：周叶剑，李琛玮，李冰凝，陈法龙，彭同友，陈博，张文安，
申请(专利权)人：中国人民解放军六一一九一部队，
类型：发明
国别省市：