一种自动驾驶传感器联合标定靶和标定方法技术

本发明专利技术公开了一种自动驾驶传感器联合标定靶和标定方法，可以同时被可见光相机、激光雷达、毫米波雷达感知相同特征点的联合标定靶。利用该联合标定靶，可以容易地在所述三种模态数据中提取同一个特征点。利用这些特征点，对各个模态所提取的特征点置信度进行分析，实现关键点位置的精准化，最终得到精确的联合标定结果。

【技术实现步骤摘要】
一种自动驾驶传感器联合标定靶和标定方法
本专利技术涉及自动驾驶传感器
，具体的说是一种自动驾驶传感器联合标定靶和标定方法。
技术介绍
传感器标定是自动驾驶的基本需求，自动驾驶常见传感器组中的传感器包含可见光相机、激光雷达、毫米波雷达几种传感器，这些传感器具有不同的特点，并有着不同的和使用范围。其中，可见光相机擅长捕捉场景中的纹理细节，并有着较长的工作距离，但是其容易受到光照条件的干扰。激光雷达可以获取三维的点云数据，但其工作受天气和大气影响较大。毫米波雷达穿透雾、烟、灰尘的能力强，但是其易受金属物体干扰且提供的信息量有限。标定的目的是找到传感器的外参和内参。通常标定的过程涉及在个模态数据中提取场景中的关键点，并使用相应算法对提取的关键点进行运算。由于各个模态的数据形式相差较大，场景中的不同的点在不同模态中提取难度不同。例如，黑板上的一个白色粉笔点可以较为容易地在可见光图像中被提取，却很难在激光雷达点云和毫米波雷达数据中被提取。另一方面，目前涉及到所述三种传感器标定时，更多的是做两两之间的标定，例如，可将光相机和激光雷达的标定。同时联合三种模态的传感器进行标定的工作非常有限。
技术实现思路
为了解决现有技术中的不足，本专利技术提供一种自动驾驶传感器联合标定靶和标定方法，旨在将三种模态的传感器进行联合标定。为了实现上述目的，本专利技术采用的具体方案为：一种自动驾驶传感器联合标定靶，包括承载板，承载板上呈并排分布有若干用于反射毫米波雷达信号的角反射器，同时角反射器易被激光雷达和可见光相机捕获，承载板的表面涂抹有用于吸收毫米波的涂层。一种自动驾驶传感器联合标定方法：包括以下步骤：以权利要求1所述的联合标定靶为目标，通过数据采集模块进行数据采集，其中数据采集模块包括可见光相机、激光雷达和毫米波雷达；使用数据预处理模块对采集到的数据进行数据预处理；使用标定求解模块对预处理后的数据进行联合标定求解，以得到联合标定结果。作为上述技术方案的进一步优化：所述数据预处理模块对采集到的数据进行数据预处理包括以下步骤：可见光图像预处理，处理可见光图像数据；激光雷达点云预处理，处理激光雷达点云数据；毫米波雷达数据预处理，处理毫米波雷达数据。作为上述技术方案的进一步优化：所述可见光图像预处理包括以下子步骤：图像去畸变，针对可见光图像的径向畸变，进行畸变矫正；图像降噪与增强，运行降噪算法对图像进行降噪增强处理；标定靶可见光关键点提取，通过寻找角反射器中心三线段交点提取可见光图像中的特征点。作为上述技术方案的进一步优化：所述图像去畸变包括：建立表征畸变的数学模型：其中(u,v)和(u′,v′)分别是无畸变和有畸变情况下场景在图像中的归一坐标位置，f(r)是的函数，选择f(r)＝1+k1r2+k2r4+k3r6并对参数估计来恢复畸变，其中r为图像上的一点到图像光轴正中心点的距离，k为模型各阶的系数。作为上述技术方案的进一步优化：所述激光雷达点云预处理包括以下子步骤：点云去畸变，去除激光雷达的运动畸变；点云滤波，采用双边滤波平滑三维个点；标定靶点云关键点提取，在角反射器内部区域提取曲率最大的点作为特征点。作为上述技术方案的进一步优化：所述点云去畸变包括：为各激光雷达的激光束射出位置估计出一个对应的激光雷达姿态，将其表示为激光雷达的局部坐标系；将每帧后续扫描到的激光点在当前激光雷达的局部坐标系的坐标，变换到该帧初始时刻的激光雷达局部坐标系中的坐标。作为上述技术方案的进一步优化：所述毫米波雷达数据预处理包括以下子步骤：数据滤波，采用区域剪裁的方法滤除非标定靶区域的雷达回波；标定靶雷达数据关键点提取，标定靶区域的角反射器位置即雷达回波最强的位置，以此作为特征点。作为上述技术方案的进一步优化：所述标定求解模块包括以下步骤：对各个模态提取的特征点进行置信度分析；结合置信度高的模态中关键点位置，联立更新各个模态所有关键点位置，实现关键点位置精准化；基于加权最小二乘的各模态关键点关系求解，求解出各模态之间变换误差的总和最小的矩阵作为标定的结果。作为上述技术方案的进一步优化：所述基于加权最小二乘的各模态关键点关系求解，求解出各模态之间变换误差的总和最小的矩阵作为标定的结果包括：对各个模态中所有对应的关键点，同一点在激光雷达数据点云的坐标(x,y,z)到可见光图像的点(u,v)满足如下关系：其中，为从激光雷达坐标系到可见光相机坐标系的变换，R为旋转量，t为平移量，M为相乘合并后的系数矩阵，为相机坐标系中点到二维图像的投影变换，fu、fv为相机内参的作用系数，u0、v0为相机外参的作用系数，标定过程是对矩阵和估计的过程；毫米波雷达数据和可见光图像中对应点的变换关系建模为：其中xRa＝rsinα，yRa＝rcosα，r和α对应毫米波雷达输出的目标点半径和方位角，HRaR为毫米波雷达转换到激光雷达的变换矩阵；标定过程是对矩阵进行估计的过程，基于加权最小二乘的各模态关键点关系求解，同时考虑矩阵和求解出使两两模态的变换误差的总和最小的矩阵作为联合标定的结果。与现有技术相比，本专利技术的有益效果如下：本专利技术设计一种可以同时被可见光相机、激光雷达、毫米波雷达感知相同特征点的联合标定靶。利用该联合标定靶，可以容易地在所述三种模态数据中提取同一个特征点。利用这些特征点，对各个模态所提取的特征点置信度进行分析，实现关键点位置的精准化，最终得到精确的联合标定结果。附图说明图1为本专利技术联合标定靶示意图；图2为本专利技术联合标定流程图；图3为本专利技术联合标定数据处理流程图；附图说明：1、承载板，2、角反射器，3、数据采集模块，301、可见光相机，302、激光雷达，303、毫米波雷达，4、数据预处理模块，401、可见光图像预处理，4011、图像去畸变，4012、图像降噪与增强，4013、标定靶可见光关键点提取，402、激光雷达点云预处理，4021、点云去畸变，4022、点云滤波，4023、标定靶点云关键点提取，403、毫米波雷达数据预处理，4031、数据滤波，4032、标定靶雷达数据关键点提取，5、标定求解模块。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅附图，一种自动驾驶传感器联合标定靶，包括承载板1，承载板1上呈并排分布有若干用于反射毫米波雷达303信号的角反射器2，同时该角反射器2易被激光雷达302和可见光相机301捕获，承载板1的表面均匀涂抹有用于吸收毫米波的涂层，其中承载板1为厚度10m本文档来自技高网...

【技术保护点】
1.一种自动驾驶传感器联合标定靶，其特征在于：包括承载板(1)，承载板(1)上呈并排分布有若干用于反射毫米波雷达(303)信号的角反射器(2)，同时角反射器(2)易被激光雷达(302)和可见光相机(301)捕获，承载板(1)的表面涂抹有用于吸收毫米波的涂层。/n

【技术特征摘要】
1.一种自动驾驶传感器联合标定靶，其特征在于：包括承载板(1)，承载板(1)上呈并排分布有若干用于反射毫米波雷达(303)信号的角反射器(2)，同时角反射器(2)易被激光雷达(302)和可见光相机(301)捕获，承载板(1)的表面涂抹有用于吸收毫米波的涂层。


2.一种自动驾驶传感器联合标定方法，其特征在于：包括以下步骤：
以权利要求1所述的联合标定靶为目标，通过数据采集模块(3)进行数据采集，其中数据采集模块(3)包括可见光相机(301)、激光雷达(302)和毫米波雷达(303)；
使用数据预处理模块(4)对采集到的数据进行数据预处理；
使用标定求解模块(5)对预处理后的数据进行联合标定求解，以得到联合标定结果。


3.如权利要求2所述的一种自动驾驶传感器联合标定方法，其特征在于：所述数据预处理模块(4)对采集到的数据进行数据预处理包括以下步骤：
可见光图像预处理(401)，处理可见光图像数据；
激光雷达点云预处理(402)，处理激光雷达(302)点云数据；
毫米波雷达数据预处理(403)，处理毫米波雷达(303)数据。


4.如权利要求3所述的一种自动驾驶传感器联合标定方法，其特征在于：所述可见光图像预处理(401)包括以下子步骤：
图像去畸变(4011)，针对可见光图像的径向畸变，进行畸变矫正；
图像降噪与增强(4012)，运行降噪算法对图像进行降噪增强处理；
标定靶可见光关键点提取(4013)，通过寻找角反射器(2)中心三线段交点提取可见光图像中的特征点。


5.如权利要求4所述的一种自动驾驶传感器联合标定方法，其特征在于：所述图像去畸变(4011)包括：
建立表征畸变的数学模型：其中(u,v)和(u′,v′)分别是无畸变和有畸变情况下场景在图像中的归一坐标位置，f(r)是的函数，选择f(r)＝1+k1r2+k2r4+k3r6并对参数估计来恢复畸变，其中r为图像上的一点到图像光轴正中心点的距离，k为模型各阶的系数。


6.如权利要求3所述的一种自动驾驶传感器联合标定方法，其特征在于：所述激光雷达点云预处理(402)包括以下子步骤：
点云去畸变(4021)，去除激光雷达(302)的运动畸变；
点云滤波(4022)，采用双边滤波平滑三维个点；
标定靶点云关键点提取(4023)，在角反射器(2)内部区域提取曲...

【专利技术属性】
技术研发人员：付主木，马超，陶发展，司鹏举，冀保峰，董永生，张平，
申请(专利权)人：河南科技大学，
类型：发明
国别省市：河南;41