一种基于摄像头和3D激光雷达的联合标定方法技术

本发明专利技术涉及一种基于摄像头和3D激光雷达的联合标定方法，属于机器人或无人车技术领域。本发明专利技术首先对3D激光雷达的点云数据进行聚类分析，然后，通过3D‑2D投影方法，将点云数据聚类分析结果投影至摄像头采集的图像序列中，最后，通过调整动态配置中的旋转欧拉角，并利用ros环境下的可视化工具rviz，使目标物体的聚类点云数据投影结果和图像序列中的目标物体相互一致对应，实现3D激光雷达和摄像头间的空间旋转矩阵。该方法通过基于摄像头和3D激光雷达的联合标定，能够简单、快速地确定摄像头和3D激光雷达坐标系之间的空间变换关系。

【技术实现步骤摘要】
一种基于摄像头和3D激光雷达的联合标定方法
本专利技术属于机器人或无人车
，具体涉及一种基于摄像头和3D激光雷达的联合标定方法。
技术介绍
移动机器人主要通过安装各种传感器感知周围的环境信息，其中，摄像头和3D激光雷达是目前环境感知获取环境信息中最重要的两种不同类型的传感器。摄像头是一种在视场内可以获得目标物体二维图像信息的传感器，而3D激光雷达是一种能够获取目标物体的三维轮廓信息的传感器。因此，融合这两种信息互补的传感器观测信息可以提升目标物体信息的完整性，而在融合两类传感器信息前，必须对两类传感器进行联合标定。联合标定主要是指确定摄像头坐标系和3D激光雷达坐标系间的空间变换关系，而空间变换关系主要由空间旋转矩阵和空间平移向量组成，空间平移向量可以根据移动机器人中两传感器自身的安装位置确定，所以，联合标定主要是确定空间旋转矩阵的过程。
技术实现思路
(一)要解决的技术问题本专利技术要解决的技术问题是：如何设计一种基于摄像头和3D激光雷达的联合标定方法，以简单、快速地确定摄像头坐标系和3D激光雷达坐标系间的空间旋转关系。(二)技术方案为了解决上述技术问题，本专利技术提供了一种基于摄像头和3D激光雷达的联合标定方法，包括以下步骤：步骤1：根据3D激光雷达得到的点云数据，进行点云数据聚类分析；步骤2：通过3D-2D投影，将聚类分析结果投影到摄像头得到的图像序列；步骤3：基于步骤2，动态调整欧拉角，并判断可视化的标定结果是否满意，如果满意，保存标定结果；否则继续调整欧拉角，直至满意。优选地，步骤1中，点云数据聚类分析是将3D激光雷达扫描得到的点云数据中的点集根据一定的判断准则进行类别划分，每个类别分别对应不同的目标物体。优选地，步骤1中，点云数据聚类分析具体采用的方法如下：(1)创建Kd-tree数据结构描述点云数据集P；(2)设置一个空聚类列表C以及一个含检测点的队列Q；(3)对于集合P中的每一个点Pi，作如下操作：(3.1)添加点Pi至当前队列Q；(3.2)对于集合P中的每一个点Pj，j！＝i，作如下操作：(3.2.1)计算点Pi和点Pj之间的欧式距离r，为式(1)，如果满足r<距离阈值dth，则将点Pj添加至其邻域列表N；(3.2.2)对N中的每一个领域ni，检查该点Pj是否已经被处理过，如果没有，添加该点至队列Q；否则，针对集合P中的下一个点返回步骤3.2.1继续处理；(3.2.3)添加队列Q至聚类列表C；(3.3)重置Q为空队列，直至集合P中所有的点被处理完毕。优选地，步骤2中，3D-2D投影的方法如下：(1)计算点云数据聚类分析结果中点云数据相对于摄像头图像垂直方向的差分航向角，具体公式为式(2)：yaw_diff＝|arctan(Py,Px)-yaw-90|(2)其中，Px，Py分别为点云数据在3D激光雷达坐标系X，Y轴上坐标值，yaw是摄像头的原始偏航角；(2)设定差分航向角阈值th1，统计满足yaw_diff<预设阈值th1的点云数据个数pt_c；(3)根据点云数据聚类分析结果中点云数据的大小，设定pt_c的阈值th2，如果pt_c≥th2，则将点云数据投影到图像中。优选地，步骤3中，根据动态配置文件，生成欧拉角配置窗口，同时，在ros环境下通过可视化工具rviz，生成可视化图像窗口，并将点云数据聚类分析结果投影至该可视化窗口，然后，对3D激光雷达坐标系到摄像头坐标系所对应的旋转欧拉角进行动态调整，直至步骤2得到的目标物体的聚类点云数据投影结果和图像序列中的目标物体相互一致对应，最后，保存标定结果。优选地，步骤3中，在保存标定结果的同时，还根据欧拉角和空间旋转矩阵的转换关系计算3D激光雷达坐标系到摄像头坐标系的空间旋转矩阵。优选地，步骤3中，在保存标定结果的同时，还根据由式(3)表示的欧拉角和空间旋转矩阵的转换关系计算3D激光雷达坐标系到摄像头坐标系的空间旋转矩阵；其中，rl、ph、yw分别为绕3D激光雷达坐标系X、Y、Z轴旋转的偏航角、俯仰角和横滚角。本专利技术还提供了一种所述的方法在机器人
中的应用。本专利技术还提供了一种所述的方法在无人车
中的应用。(三)有益效果本专利技术首先对3D激光雷达的点云数据进行聚类分析，然后，通过3D-2D投影方法，将点云数据聚类分析结果投影至摄像头采集的图像序列中，最后，通过调整动态配置中的旋转欧拉角，并利用ros环境下的可视化工具rviz，使目标物体的聚类点云数据投影结果和图像序列中的目标物体相互一致对应，实现3D激光雷达和摄像头间的空间旋转矩阵。该方法通过基于摄像头和3D激光雷达的联合标定，能够简单、快速地确定摄像头和3D激光雷达坐标系之间的空间变换关系。附图说明图1为本专利技术的摄像头和3D激光雷达联合标定示意图。具体实施方式为使本专利技术的目的、内容、和优点更加清楚，下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。如图1所示，本专利技术提供的一种基于摄像头和3D激光雷达的联合标定方法，在该方法中，首先根据3D激光雷达得到的点云数据展开聚类分析，将点云数据进行分类；然后，根据聚类分析的结果，将点云数据投影到摄像头采集的图像序列中；最后，通过动态调整欧拉角(由偏航角、俯仰角和横滚角组成)，将目标物体的点云数据的投影结果和图像序列中目标物体相互一一对应，进而确定摄像头坐标系和3D激光雷达坐标系间的空间旋转关系，实现两传感器间的联合标定。具体而言，该方法包括以下步骤：步骤1：根据3D激光雷达得到的点云数据，进行点云数据聚类分析；点云数据聚类分析是将3D激光雷达扫描得到的点云数据中的点集根据一定的判断准则进行类别划分，每个类别分别对应不同的目标物体，点云数据聚类分析具体采用的方法如下：(1)创建Kd-tree数据结构描述点云数据集P；(2)设置一个空聚类列表C以及一个含检测点的队列Q；(3)对于集合P中的每一个点Pi，作如下操作：(3.1)添加点Pi至当前队列Q；(3.2)对于集合P中的每一个点Pj，j！＝i，作如下操作：(3.2.1)计算点Pi和点Pj之间的欧式距离r，如式(1),如果满足r<距离阈值dth，则将点Pj添加至其邻域列表N；(3.2.2)对N中的每一个领域ni，检查该点Pj是否已经被处理过，如果没有，添加该点至队列Q；否则，针对集合P中的下一个点返回步骤3.2.1继续处理；(3.2.3)添加队列Q至聚类列表C；(3.3)重置Q为空队列，直至集合P中所有的点被处理完毕。步骤2：通过3D-2D投影，将聚类分析结果投影到摄像头得到的图像序列；点云数据聚类分析得到了3D激光雷达点云数据对应目标物体的三维轮廓信息，而摄像头采本文档来自技高网...

【技术保护点】
1.一种基于摄像头和3D激光雷达的联合标定方法，其特征在于，包括以下步骤：/n步骤1：根据3D激光雷达得到的点云数据，进行点云数据聚类分析；/n步骤2：通过3D-2D投影，将聚类分析结果投影到摄像头得到的图像序列；/n步骤3：基于步骤2，动态调整欧拉角，并判断可视化的标定结果是否满意，如果满意，保存标定结果；否则继续调整欧拉角，直至满意。/n

【技术特征摘要】
1.一种基于摄像头和3D激光雷达的联合标定方法，其特征在于，包括以下步骤：
步骤1：根据3D激光雷达得到的点云数据，进行点云数据聚类分析；
步骤2：通过3D-2D投影，将聚类分析结果投影到摄像头得到的图像序列；
步骤3：基于步骤2，动态调整欧拉角，并判断可视化的标定结果是否满意，如果满意，保存标定结果；否则继续调整欧拉角，直至满意。


2.如权利要求1所述的方法，其特征在于，步骤1中，点云数据聚类分析是将3D激光雷达扫描得到的点云数据中的点集根据一定的判断准则进行类别划分，每个类别分别对应不同的目标物体。


3.如权利要求2所述的方法，其特征在于，步骤1中，点云数据聚类分析具体采用的方法如下：
(1)创建Kd-tree数据结构描述点云数据集P；
(2)设置一个空聚类列表C以及一个含检测点的队列Q；
(3)对于集合P中的每一个点Pi，作如下操作：
(3.1)添加点Pi至当前队列Q；
(3.2)对于集合P中的每一个点Pj，j！＝i，作如下操作：
(3.2.1)计算点Pi和点Pj之间的欧式距离r，为式(1)，如果满足r<距离阈值dth，则将点Pj添加至其邻域列表N；



(3.2.2)对N中的每一个领域ni，检查该点Pj是否已经被处理过，如果没有，添加该点至队列Q；否则，针对集合P中的下一个点返回步骤3.2.1继续处理；
(3.2.3)添加队列Q至聚类列表C；
(3.3)重置Q为空队列，直至集合P中所有的点被处理完毕。


4.如权利要求2所述的方法，其特征在于，步骤2中，3D-2D投影的方法如下：
(1)计算点云数据聚类分析结果中点云数据相对于摄像头图像垂直方...

【专利技术属性】
技术研发人员：靳璐，吴越，康晓，靳保，海丹，苏波，
申请(专利权)人：中国北方车辆研究所，
类型：发明
国别省市：北京;11