【技术实现步骤摘要】
本申请涉及激光点云与图像融合领域，尤其涉及一种激光点云与图像融合方法及装置。
技术介绍
1、激光雷达可以通过激光扫描获得周围目标的高精度三维点云，但具有点云密度稀疏，语义内容信息不丰富等特点；而相机获取的图像信息内容丰富，但获取的图像内容为二维像素点。
2、在相关技术中，通常是将激光雷达与相机做时钟同步的情况下，在分秒级别将图像与对应单帧点云进行融合，通常忽略激光雷达的移动对机械式激光雷达点云产生的影响，导致激光点云与图像融合过程产生较大的误差，融合精度较低。
技术实现思路
1、有鉴于此，本申请提供了一种激光点云与图像融合方法及装置，旨在提升激光点云与图像的融合精度。
2、第一方面，本申请提供了一种激光点云与图像融合方法，所述方法包括：
3、获取车辆周围环境的采集信息，所述采集信息包括通过相机采集的图像信息，通过激光雷达采集的激光点云以及通过惯导设备采集的惯导数据，所述图像信息包括相机拍摄时间；
4、对所述相机与所述激光雷达进行静态联合标定，得到联合标定参数，所述联合标定参数用于确定相机像素坐标系与激光雷达坐标系之间的空间对应关系；
5、在车辆移动状态下，将所述激光点云中的单帧点云与惯导数据进行融合，构建目标点云点的空间转换矩阵，所述目标点云点为所述单帧点云中与所述相机拍摄时间差值最小的点云点；
6、根据所述空间转换矩阵，将所述单帧点云中除所述目标点云点外的多个点云点换算至与所述相机拍摄时间对应的激光雷达坐标系
7、根据所述联合标定参数，对所述换算后的激光点云与所述图像信息进行融合，得到融合后的激光点云。
8、可选地，在获取车辆周围环境的采集信息之前，所述方法还包括：
9、根据组合导航系统的秒脉冲信号和组合导航系统的推荐定位信息报文，对所述相机、所述激光雷达和所述惯导设备进行时钟同步。
10、可选地，所述联合标定参数包括所述相机与所述激光雷达之间的外参旋转矩阵、偏移矩阵以及所述相机的内参矩阵和畸变系数；
11、所述根据所述联合标定参数，对所述换算后的激光点云与所述图像信息进行融合，包括：
12、利用项目点函数，基于所述相机与所述激光雷达之间的外参旋转矩阵、偏移矩阵以及所述相机的内参矩阵、畸变系数，对所述换算后的激光点云与所述图像信息进行融合，将所述换算后的激光点云映射到所述图像信息的像素点。
13、可选地，所述将所述激光点云中的单帧点云与惯导数据进行融合，构建目标点云点的空间转换矩阵，包括：
14、根据所述惯导数据，通过线性插值的方式获取所述目标点云点的姿态角数据；
15、根据所述目标点云点的姿态角数据，构建所述目标点云点的空间转换矩阵。
16、可选地，所述根据所述空间转换矩阵，将所述单帧点云中除所述目标点云点外的多个点云点换算至与所述相机拍摄时间对应的激光雷达坐标系中，得到换算后的激光点云，包括：
17、根据所述惯导数据，通过线性插值的方式获取所述单帧点云中除所述目标点云点外的多个点云点的姿态角数据和空间位置信息；
18、根据每个点云点的姿态角数据和空间位置信息，构建所述每个点云点的旋转平移矩阵；
19、当点云点的时间戳位于所述目标点云点的时间戳之前，通过如下计算方式，得到换算后的激光点云：
20、p(x，y，z)＝r1*r0*s(x，y，z)；
21、其中，p(x，y，z)为换算后的激光点云，r1为点云点的旋转平移矩阵，r0为目标点云点的空间转换矩阵，s(x，y，z)为点云点的空间位置信息；
22、当点云点的时间戳位于所述目标点云点的时间戳之后，通过如下计算方式，得到换算后的激光点云：
23、p(x，y，z)＝r0*r1*s(x，y，z)。
24、可选地，在得到融合后的激光点云之后，所述方法还包括：
25、对融合后的激光点云进行预处理，得到预处理后的激光点云；
26、将所述预处理后的激光点云与所述惯导数据进行时空融合，得到时空融合后的激光点云；
27、利用反投影公式，将所述时空融合后的激光点云转换至大地坐标系。
28、第二方面，本申请提供了一种激光点云与图像融合装置，所述装置包括：
29、获取模块，用于获取车辆周围环境的采集信息，所述采集信息包括通过相机采集的图像信息，通过激光雷达采集的激光点云以及通过惯导设备采集的惯导数据，所述图像信息包括相机拍摄时间；
30、标定模块，用于对所述相机与所述激光雷达进行静态联合标定，得到联合标定参数，所述联合标定参数用于确定相机像素坐标系与激光雷达坐标系之间的空间对应关系；
31、构建模块，用于在车辆移动状态下，将所述激光点云中的单帧点云与惯导数据进行融合，构建目标点云点的空间转换矩阵，所述目标点云点为所述单帧点云中与所述相机拍摄时间差值最小的点云点；
32、换算模块，用于根据所述空间转换矩阵，将所述单帧点云中除所述目标点云点外的多个点云点换算至与所述相机拍摄时间对应的激光雷达坐标系中，得到换算后的激光点云；
33、融合模块，用于根据所述联合标定参数，对所述换算后的激光点云与所述图像信息进行融合，得到融合后的激光点云。
34、可选地，在获取车辆周围环境的采集信息之前，所述装置还包括：同步模块；
35、所述同步模块，用于根据组合导航系统的秒脉冲信号和组合导航系统的推荐定位信息报文，对所述相机、所述激光雷达和所述惯导设备进行时钟同步。
36、可选地，所述联合标定参数包括所述相机与所述激光雷达之间的外参旋转矩阵、偏移矩阵以及所述相机的内参矩阵和畸变系数；
37、所述融合模块，具体用于利用项目点函数，基于所述相机与所述激光雷达之间的外参旋转矩阵、偏移矩阵以及所述相机的内参矩阵、畸变系数，对所述换算后的激光点云与所述图像信息进行融合，将所述换算后的激光点云映射到所述图像信息的像素点。
38、可选地，所述构建模块，具体用于根据所述惯导数据，通过线性插值的方式获取所述目标点云点的姿态角数据；
39、根据所述目标点云点的姿态角数据，构建目标点云点的空间转换矩阵。
40、第三方面，本申请实施例提供了一种电子设备，所述电子设备包括：
41、存储器，用于存储一个或多个程序；
42、处理器；当所述一个或多个程序被所述处理器执行时，实现前述第一方面任一项所述的激光点云与图像融合方法。
43、第四方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质中存储有程序，当所述程序被处理器执行时，实现前述第一方面任一项所述的激光点云与图像融合方法。
44、上述技术方案具有如下有益效果：
45、本申请实施例提供了一种激光点云与图像融合方法及装置本文档来自技高网...
【技术保护点】
1.一种激光点云与图像融合方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在获取车辆周围环境的采集信息之前，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述联合标定参数包括所述相机与所述激光雷达之间的外参旋转矩阵、偏移矩阵以及所述相机的内参矩阵和畸变系数；
4.根据权利要求1所述的方法，其特征在于，所述将所述激光点云中的单帧点云与惯导数据进行融合，构建目标点云点的空间转换矩阵，包括：
5.根据权利要求1所述的方法，其特征在于，所述根据所述空间转换矩阵，将所述单帧点云中除所述目标点云点外的多个点云点换算至与所述相机拍摄时间对应的激光雷达坐标系中，得到换算后的激光点云，包括：
6.根据权利要求1所述的方法，其特征在于，在得到融合后的激光点云之后，所述方法还包括：
7.一种激光点云与图像融合装置，其特征在于，所述装置包括：
8.根据权利要求7所述的装置，其特征在于，在获取车辆周围环境的采集信息之前，所述装置还包括：同步模块；
9.根据权利要求7所述
10.根据权利要求7所述的装置，其特征在于，所述构建模块，具体用于根据所述惯导数据，通过线性插值的方式获取所述目标点云点的姿态角数据；
...【技术特征摘要】
1.一种激光点云与图像融合方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在获取车辆周围环境的采集信息之前，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述联合标定参数包括所述相机与所述激光雷达之间的外参旋转矩阵、偏移矩阵以及所述相机的内参矩阵和畸变系数；
4.根据权利要求1所述的方法，其特征在于，所述将所述激光点云中的单帧点云与惯导数据进行融合，构建目标点云点的空间转换矩阵，包括：
5.根据权利要求1所述的方法，其特征在于，所述根据所述空间转换矩阵，将所述单帧点云中除所述目标点云点外的多个点云点换算至与所述相机拍摄时间对应的激光雷达坐...
【专利技术属性】
技术研发人员：于春瑶，蒋江容，丁楠，王鑫，
申请(专利权)人：北京经纬恒润科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。