激光雷达与相机数据的时空同步系统、装置及可读介质制造方法及图纸

本发明专利技术公开了一种激光雷达与相机数据的时空同步系统，包括：FPGA本地时钟校正模块、FPGA与激光雷达同步模块；FPGA触发相机模块将包含相机内部时间戳相机的图片发送至工控机；相机图片时间戳模块，FPGA接收相机曝光时产生的闪光灯脉冲，给相机图片的曝光时刻标记上FPGA时钟系统下的时间戳；时间戳匹配模块，FPGA触发相机模块发送的带有相机内部时间戳相机图片，接收FPGA发送的带有FPGA时钟系统下的时间戳的相机图片进行匹配；点云数据补偿及融合模块，将点云补偿到相机曝光时刻的位置；再根据测量的激光雷达和相机的外参，对点云数据和相机图片进行对准融合。本发明专利技术实现相机与激光雷达的同步采集。

【技术实现步骤摘要】
激光雷达与相机数据的时空同步系统、装置及可读介质
本专利技术涉及自动驾驶
，具体涉及车辆激光雷达、相机两种传感器的时间同步与空间对准的方法。
技术介绍
目前的自动驾驶系统包括感知、定位、决策规划、控制等模块，这些模块的正常运行需要依靠各种不同类型的传感器数据的准确融合。尤其是激光雷达与相机这两种传感器在感、知定位模块中起着至关重要的作用。机械式旋转扫描激光雷达本身较低的扫描频率，而车辆经常运行在高速、高机动的运动状态下，造成激光雷达测量的点云会产生运动畸变。而在激光雷达与相机图片的融合过程中，也会由于数据采集的不同步造成的一定测量偏差，这个偏差会随着车辆的运动速度增加而被放大。在车辆高速行驶时，即使是微小的时间偏差会对最终的激光点云和图像的时空对准造成影响，进而对融合定位、融合感知等的结果造成很大的偏差，从而影响自动驾驶的安全运行。为了满足自动驾驶系统对安全性和稳定性的高要求，需要保证不同传感器数据融合的准确性和可靠性。现有技术中的无人机电力巡检的多传感器时间同步方法与系统，采用ARM系统进行PPS脉冲的检测和处理，实时性较差，精度不高。不满足自动驾驶领域的需求。现有技术中的多路高速脉冲输入时间同步设备，采用MCU做为脉冲检测和处理设备，同时进行了RS232到网口的转换，时间同步精度和系统可靠性均不满足自动驾驶需求。
技术实现思路
1、本专利技术的目的本专利技术为了解决激光雷达与相机的时间同步和空间对准问题，而提出了一种激光雷达与相机数据的时空同步方法。2、本专利技术所采用的技术方案本专利技术提供了一种激光雷达与相机数据的时空同步系统，包括：FPGA本地时钟校正模块、FPGA与激光雷达同步模块；FPGA触发相机模块，将包含相机内部时间戳相机的图片，发送至工控机；相机图片时间戳模块，FPGA接收相机曝光时产生的闪光灯脉冲，给相机图片的曝光时刻标记上FPGA时钟系统下的时间戳，通过串口发送给工控机；时间戳匹配模块，FPGA触发相机模块发送的带有相机内部时间戳相机图片，以及接收到的FPGA发送的带有FPGA时钟系统下的时间戳的相机图片进行匹配，调整FPGA对相机的触发脉冲频率，添加相机曝光触发脉冲；点云数据补偿及融合模块，对FPGA与激光雷达同步模块获取的具有时间戳的激光点云数据和带有时间戳的相机图片，利用测量出的运动信息，先对点云数据进行运动畸变补偿，将点云补偿到相机曝光时刻的位置；再根据测量的激光雷达和相机的外参，对采集到的激光三维点云数据和相机图片进行对准融合。优选的，FPGA本地时钟校正模块，组合惯导模块产生的PPS秒脉冲+GPRMC报文传输至FPGA，对本地时钟进行校正；如GNSS信号受阻时，FPGA的自身晶振保持时钟精度。优选的，FPGA与激光雷达同步模块，FPGA发送PPS秒脉冲+GPRMC报文至激光雷达，使激光雷达内部的时钟系统与FPGA的时钟系统同步；激光雷达将具备时间戳的点云数据发送给工控机。优选的，FPGA触发相机模块，FPGA对相机定时发送触发脉冲，脉冲频率与激光雷达的扫描频率一致；设置激光雷达的相位锁定角度与实际安装的相机镜头的视角一致，实现激光雷达和相机数据同步采集；相机的图片，包含相机内部时间戳，发送至工控机。优选的，所述的时间戳匹配模块，FPGA对相机触发同步：设置相机为硬触发模式；FPGA触发信号以固定的时间间隔周期性产生触发脉冲，但每隔更长的时间间隔添加一个相机曝光触发脉冲，使得FPGA曝光时间序列与相机内部时间序列的一一对齐，用以辅助匹配纠错和触发相机曝光；并将对齐后的FPGA时间序列中的时间戳与相应图像数据一起封装。优选的，所述的FPGA与激光雷达同步模块，FPGA对激光雷达授时及设置激光雷达扫描相位与相机拍照同步：在GPS板卡内设定PPS的周期；GPS板卡对FPGA授时，FPGA转发PPS脉冲和GPRMC时间信息给激光雷达；激光雷达检测到第一个PPS到来后，串口解析GPS板卡输出报文GPRMC，得到UTC时间；等待下一个PPS到来时，将解析到的UTC时间整秒加一即为当前时间UTC；根据当前时刻的UTC，对RTC的时间进行校准；通过上述时钟同步，激光雷达每一帧点云可输出与FPGA同步过的时间标签。优选的，相机图像与激光雷达数据融合时，需要保证在雷达扫描到相应区域时，触发相机对该区域曝光成像；在PPS脉冲触发的时刻，机械旋转式激光雷达旋转到预设的角度发射激光；FPGA的触发相机端口的脉冲，与PPS同步，为PPS信号的倍频；利用脉冲对相机进行曝光触发，实现在激光雷达旋转到相应的相位角度时触发相机曝光。优选的，所述的点云数据补偿及融合模块，对激光雷达点云进行运动畸变补偿并与相机图片对准：激光雷达的数据为三维点云数据，相机的数据为没有深度信息的二维图片；将三维点云数据与相机图片进行空间对准，先要对激光点云数据进行运动畸变的去除，将激光点云的位置补偿到与相机图片曝光相同时刻的位置；一帧激光雷达点云的扫描过程中，组合惯导采集车辆的运动状态；任意时刻t的车辆运动状态均能通过组合惯导进行插值得到，设t时刻惯导的运动状态(包括：位置、姿态、速度)为其中表示t时刻imu导航坐标系下的三维位置矢量，表示t时刻imu在导航坐标系下的姿态四元素，表示t时刻imu在导航坐标系下的三维速度矢量；其中位置和姿态可合并采用4×4的位姿矩阵表示为一帧激光雷达的扫描包含多个点云，每个激光雷达点云的精确坐标和时间戳可通过解析得到，设激光雷达点云中的某个点i的在雷达体坐标系下的三维坐标及时间信息表示为表示点i在激光雷达体坐标系下的三维位置，表示点i测量时刻的时间戳；该帧激光扫描对应的相机的图片的时间戳记为timage；激光雷达与组合惯导的相对安装位置记为相机与激光雷达的相对安装位置记为将激光雷达的点云与相机图片数据融合，将激光点云的坐标统一转化到的同一时刻的相机体坐标系下；首先对激光点云进行运动补偿，转化到统一的图片时间戳timage下；对激光雷达在图片时间戳timage时刻下的位置和姿态记为同样，对激光雷达的某个点云i，对应时间的激光雷达的位置和姿态矩阵记为将该点进行运动补偿得到的点表示为即该点在timage时刻下在激光雷达体坐标系下的三维位置表示补偿公式为进一步，将激光雷达体坐标系下的点云i的坐标转化为相机体坐标系下表示的点坐标有在相机体坐标系下，点i的位置和时间可记为转到相机体坐标系下表示的激光雷达点云，可进一步通过相机的投影方程投影到相机的图片的像素坐标系下；得到每个激光点云与图片中的像素点的对应关系。优选的，FPGA与激光雷达同步模块，激光雷达通过UDP协议将时间戳的点云数据发送给工控机。本专利技术的提出的一种激光雷达与相机数据的时空同步装置，包括存储器和处理器，存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述的系统调用步骤。本专利技术提出的一种计算机可度存储介质，其上存储有本文档来自技高网...

【技术保护点】
1.一种激光雷达与相机数据的时空同步系统，其特征在于，包括：FPGA本地时钟校正模块、FPGA与激光雷达同步模块；/nFPGA触发相机模块，将包含相机内部时间戳相机的图片，发送至工控机；/n相机图片时间戳模块，FPGA接收相机曝光时产生的闪光灯脉冲，给相机图片的曝光时刻标记上FPGA时钟系统下的时间戳，通过串口发送给工控机；/n时间戳匹配模块，FPGA触发相机模块发送的带有相机内部时间戳相机图片，以及接收到的FPGA发送的带有FPGA时钟系统下的时间戳的相机图片进行匹配，调整FPGA对相机的触发脉冲频率，添加相机曝光触发脉冲；/n点云数据补偿及融合模块，对FPGA与激光雷达同步模块获取的具有时间戳的激光点云数据和带有时间戳的相机图片，利用测量出的运动信息，先对点云数据进行运动畸变补偿，将点云补偿到相机曝光时刻的位置；再根据测量的激光雷达和相机的外参，对采集到的激光三维点云数据和相机图片进行对准融合。/n

【技术特征摘要】
1.一种激光雷达与相机数据的时空同步系统，其特征在于，包括：FPGA本地时钟校正模块、FPGA与激光雷达同步模块；
FPGA触发相机模块，将包含相机内部时间戳相机的图片，发送至工控机；
相机图片时间戳模块，FPGA接收相机曝光时产生的闪光灯脉冲，给相机图片的曝光时刻标记上FPGA时钟系统下的时间戳，通过串口发送给工控机；
时间戳匹配模块，FPGA触发相机模块发送的带有相机内部时间戳相机图片，以及接收到的FPGA发送的带有FPGA时钟系统下的时间戳的相机图片进行匹配，调整FPGA对相机的触发脉冲频率，添加相机曝光触发脉冲；
点云数据补偿及融合模块，对FPGA与激光雷达同步模块获取的具有时间戳的激光点云数据和带有时间戳的相机图片，利用测量出的运动信息，先对点云数据进行运动畸变补偿，将点云补偿到相机曝光时刻的位置；再根据测量的激光雷达和相机的外参，对采集到的激光三维点云数据和相机图片进行对准融合。


2.根据权利要求1所述的激光雷达与相机数据的时空同步系统，其特征在于，FPGA本地时钟校正模块，组合惯导模块产生的PPS秒脉冲+GPRMC报文传输至FPGA，对本地时钟进行校正；如GNSS信号受阻时，FPGA的自身晶振保持时钟精度。


3.根据权利要求2所述的激光雷达与相机数据的时空同步系统，其特征在于，FPGA与激光雷达同步模块，FPGA发送PPS秒脉冲+GPRMC报文至激光雷达，使激光雷达内部的时钟系统与FPGA的时钟系统同步；激光雷达将具备时间戳的点云数据发送给工控机。


4.根据权利要求3所述的激光雷达与相机数据的时空同步系统，其特征在于，FPGA触发相机模块，FPGA对相机定时发送触发脉冲，脉冲频率与激光雷达的扫描频率一致；设置激光雷达的相位锁定角度与实际安装的相机镜头的视角一致，实现激光雷达和相机数据同步采集；相机的图片，包含相机内部时间戳，发送至工控机。


5.根据权利要求1所述的激光雷达与相机数据的时空同步系统，其特征在于，所述的时间戳匹配模块，FPGA对相机触发同步：设置相机为硬触发模式；FPGA触发信号以固定的时间间隔周期性产生触发脉冲，但每隔更长的时间间隔添加一个相机曝光触发脉冲，使得FPGA曝光时间序列与相机内部时间序列的一一对齐，用以辅助匹配纠错和触发相机曝光；并将对齐后的FPGA时间序列中的时间戳与相应图像数据一起封装。


6.根据权利要求1所述的激光雷达与相机数据的时空同步系统，其特征在于，所述的FPGA与激光雷达同步模块，FPGA对激光雷达授时及设置激光雷达扫描相位与相机拍照同步：在GPS板卡内设定PPS的周期；GPS板卡对FPGA授时，FPGA转发PPS脉冲和GPRMC时间信息给激光雷达；激光雷达检测到第一个PPS到来后，串口解析GPS板卡输出报文GPRMC，得到UTC时间；等待下一个PPS到来时，将解析到的UTC时间整秒加一即为当前时间UTC；根据当前时刻的UTC，对RTC的时间进行校准；
通过上述时钟同步，激光雷达每一帧点云可输出与FPGA同步过的时间标签。


7.根据权利要求1所述的激光雷达与相机数据的时...

【专利技术属性】
技术研发人员：陈海波，吴在刚，周源思，张保群，
申请(专利权)人：深兰人工智能深圳有限公司，
类型：发明
国别省市：广东;44