基于激光雷达和摄像头融合感知的轨迹追踪方法及系统技术方案

本发明专利技术公开了一种基于激光雷达和摄像头融合感知的轨迹追踪方法及系统，属于道路交通检测技术领域，包括：利用路侧布设的激光雷达和摄像头采集目标车辆和周围环境的点云数据和图像数据，并对采集的点云数据和图像数据进行配准；完成配准后生成对应的点云轨迹信息和图像轨迹信息，并基于点云与距离的关系确定点云轨迹信息和图像轨迹信息的权重系数；最后根据点云轨迹信息和图像轨迹信息的权重系数融合点云轨迹信息和图像轨迹信息，生成最终的轨迹信息。本发明专利技术根据点云数量随距离的变化关系，确定图像与点云轨迹信息在融合过程中所占权重，充分发挥了点云和图像的互补性，提高了系统的鲁棒性。系统的鲁棒性。系统的鲁棒性。

【技术实现步骤摘要】
基于激光雷达和摄像头融合感知的轨迹追踪方法及系统


[0001]本专利技术涉及道路交通检测
，更具体的说是涉及一种基于激光雷达和摄像头融合感知的轨迹追踪方法及系统。

技术介绍

[0002]随着我国交通体系的发展，复杂的交通环境导致交通压力与日俱增，交通拥堵和交通安全等问题日益显著。因此，获取可靠准确的道路目标轨迹数据对于降低交通冲突风险以及保障道路通行效率等起着至关重要的作用。
[0003]目前，轨迹追踪设备的布设方式主要分为三类：机载布设、车载布设以及路侧布设。机载布设方式从高处采集数据，获取的数据量更大、数据更丰富，但机载传感器的成本也更高，技术更为复杂，难以实现对道路的全时段实时监测，易受恶劣天气影响。车载布设将GPS、ETC、车载智能终端等安装于车辆，通过获取自车行驶轨迹数据，探究自车与周围车辆的交互行为，获取单车位置数据，可为车辆路径规划、高速收费等方面提供支撑，但精度有限，数据难以打通，无法为车路协同系统提供实时服务。路侧布设可以获取丰富度更高的交通数据，实现对道路多目标的实时检测追踪，既可实现对宏观交通流态势的捕获，又可获取每个道路使用者的运动特性，同时还尽可能地降低噪声数据数量。因此，以路侧进行传感器布设的方式逐渐成为新的研究的热点。
[0004]路侧布设大多采用激光雷达或摄像头，获取数据。摄像头可获取丰富的目标语义数据，但受光线影响较大，且视野范围有限，限制了追踪算法的精确度。激光雷达由微波雷达发展而来，能够采集带有角度和距离的三维点云数据，数据准确度更高且数据量更为丰富，采集到的数据能够实时显示并按比例还原目标形状大小，相较于摄像头，其最突出的一个特点就是不受光照的影响，白天与黑夜的表现能力俱佳，可以360
°
全方位检测，但随着目标距离增加，点云质量将逐渐衰减，无法提取充分特征。因此，单一传感器很难满足不同环境下的长距离、连续性轨迹追踪的数据分析要求。
[0005]因此，目前急需一种多源数据融合，适应不同环境、长距离、连续性的轨迹追踪方法，弥补单一传感器的不足，提升道路车辆轨迹追踪技术的准确度与抗干扰度。

技术实现思路

[0006]有鉴于此，本专利技术提供了一种基于激光雷达和摄像头融合感知的轨迹追踪方法及系统，通过数据融合的方式，弥补单一传感器的不足，提高车辆轨迹追踪技术的准确度和抗干扰度。
[0007]为了实现上述目的，一方面，本专利技术提供一种基于激光雷达和摄像头融合感知的轨迹追踪方法，技术方案如下：
[0008]利用路侧布设的激光雷达采集目标车辆及周围环境的点云数据，利用路侧布设的摄像头采集目标车辆及周围环境的图像数据，并将采集的点云数据和图像数据进行配准；
[0009]基于配准后的点云数据生成点云轨迹信息，并确定所述点云轨迹信息的权重系
数；
[0010]基于配准后的图像数据生成图像轨迹信息，并基于所述点云数据和所述图像数据，确定所述图像轨迹信息的权重系数；
[0011]根据所述点云轨迹信息和所述图像轨迹信息的权重系数融合所述点云轨迹信息和所述图像轨迹信息，生成最终的轨迹信息。
[0012]优选的，对所述点云数据和图像数据的配准的具体步骤为：以采集的点云数据的时间戳为基准，匹配与所述点云数据时间差最小的图像数据，完成所述点云数据与所述图像数据的时间同步；通过摄像头内参以及激光雷达和摄像头联合外参的配准标定，获得内外参数矩阵，同步所述点云数据和所述图像数据的信息。
[0013]优选的，所述点云轨迹信息生成的步骤为：基于点云数据目标检测算法和点云分割，对所述点云数据进行关键目标点云特征信息的提取，最后根据提取的关键目标点云特征信息生成所述点云轨迹信息。
[0014]优选的，所述图像轨迹信息生成的步骤为：基于图像数据检测算法对配准后的图像数据进行目标检测，提取图像数据信息生成图像轨迹信息，并根据提取的图像数据信息确定所述图像轨迹信息。
[0015]优选的，所述确定点云轨迹信息的权重系数的步骤为：根据采集的点云数据，获取点云数量和所述激光雷达与所述目标车辆的距离，根据所述点云数量和所述激光雷达与目标车辆的距离构建点云数量与距离的关系，根据所述点云数量与距离的关系确定所述点云轨迹信息的权重系数与所述距离的关系。
[0016]优选的，所述确定图像轨迹信息的权重系数的步骤为：根据所述点云数量与距离的关系，确定所述图像轨迹信息的权重系数。
[0017]优选的，所述点云数据由水平方向点云数据和竖直方向的点云数据融合得到。
[0018]优选的，所述图像信息轨迹包括：帧数、检测类别、2D目标物体检测框、目标追踪编号；所述点云轨迹信息包括：帧数、检测类别、2D目标物体检测框、目标追踪编号。
[0019]第二方面，本专利技术还提供了一种基于激光雷达和摄像头融合感知的轨迹追踪系统，该系统包括：
[0020]数据采集模块、数据处理模块、数据融合模块；
[0021]所述数据采集模块分为点云采集单元和图像采集单元；所述点云采集单元通过激光雷达采集目标车辆及周围环境的点云数据，并传输给数据处理模块；所述图像采集单元通过摄像头采集目标车辆及周围环境的图像数据，并传输给数据处理模块；
[0022]所述数据处理模块包括数据配准单元、点云数据处理单元和图像数据处理单元；所述数据配准单元用于根据所述点云采集单元采集点云数据匹配与所述点云数据时间差最小的图像数据，完成所述点云数据和所述图像数据的时间同步；所述点云数据处理单元用于提取所述点云数据中的关键目标点云特征信息，生成点云轨迹信息，并确定所述点云轨迹信息的权重系数；所述图像数据处理单元用于提取所述图像数据中的图像数据信息，生成图像轨迹信息并确定所述图像轨迹信息的权重系数；
[0023]所述数据融合单元用于根据所述数据处理单元生成的点云轨迹信息的权重系数和图像轨迹信息的权重系数融合所述点云轨迹信息和所述图像轨迹信息，生成最终轨迹信息。
[0024]优选的，所述点云数据处理单元还包括点云数量提取单元、距离提取单元、第一关系构建单元、第二关系构建单元；
[0025]所述点云数量提取单元用于提取所述点云数据的中的点云数量；所述距离提取单元用于提取所述点云数据中激光雷达与目标车辆的距离；所述第一关系构建单元用于根据所述点云数量和所述激光雷达与目标车辆的距离构建点云数量与距离的关系所述第二关系构建单元用于根据所述点云数量与距离的关系确定所述点云轨迹信息的权重系数与所述距离的关系。
[0026]经由上述的技术方案可知，与现有技术相比，本专利技术公开提供的一种基于激光雷达和摄像头融合感知的轨迹追踪方法及系统，基于权重系数的轨迹融合追踪算法，并根据点云数量随距离的变换关系，确定在数据融合过程中图像与点云轨迹信息所占权重，实现了基于距离的图像数据和点云数据的轨迹信息动态融合；更进一步，本专利技术基于激光雷达和摄像头融合，充分发挥了点云和图像的互补性，提高了系统的鲁棒性。
附图说明
[0027]为了更清楚地说明本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于激光雷达和摄像头融合感知的轨迹追踪方法，其特征在于，包括以下步骤：利用路侧布设的激光雷达采集目标车辆及周围环境的点云数据，利用路侧布设的摄像头采集目标车辆及周围环境的图像数据，并将采集的点云数据和图像数据进行配准；基于配准后的点云数据生成点云轨迹信息，并确定所述点云轨迹信息的权重系数；基于配准后的图像数据生成图像轨迹信息，并基于所述点云数据和所述图像数据，确定所述图像轨迹信息的权重系数；根据所述点云轨迹信息和所述图像轨迹信息的权重系数融合所述点云轨迹信息和所述图像轨迹信息，生成最终的轨迹信息。2.根据权利要求1所述的一种基于激光雷达和摄像头融合感知的轨迹追踪方法，其特征在于，对所述点云数据和图像数据的配准的具体步骤为：以采集的点云数据的时间戳为基准，匹配与所述点云数据时间差最小的图像数据，完成所述点云数据与所述图像数据的时间同步；通过摄像头内参以及激光雷达和摄像头联合外参的配准标定，获得内外参数矩阵，同步所述点云数据和所述图像数据的信息。3.根据权利要求1所述的一种基于激光雷达和摄像头融合感知的轨迹追踪方法，其特征在于，所述点云轨迹信息生成的步骤为：基于点云数据目标检测算法和点云分割，对所述点云数据进行关键目标点云特征信息的提取，最后根据提取的关键目标点云特征信息生成所述点云轨迹信息。4.根据权利要求1所述的一种基于激光雷达和摄像头融合感知的轨迹追踪方法，其特征在于，所述图像轨迹信息生成的步骤为：基于图像数据检测算法对配准后的图像数据进行目标检测，提取图像数据信息生成图像轨迹信息，并根据提取的图像数据信息确定所述图像轨迹信息。5.根据权利要求1所述的一种基于激光雷达和摄像头融合感知的轨迹追踪方法，其特征在于，所述确定点云轨迹信息的权重系数的步骤为：根据采集的点云数据，获取点云数量和所述激光雷达与所述目标车辆的距离，根据所述点云数量和所述激光雷达与目标车辆的距离构建点云数量与距离的关系，根据所述点云数量与距离的关系确定所述点云轨迹信息的权重系数与所述距离的关系。6.根据权利要求5所述的一种基于激光雷达和摄像头融合感知的轨迹追踪方法，其特征在于，所述确定图像轨迹信息的权重系数的步骤为：根据所述点云数量与距离的关系，确定所述图像轨迹信息的权...

【专利技术属性】
技术研发人员：吴建清，王川，厉周缘，孙希滕，霍延强，解冬东，王建柱，田源，芮一康，冉斌，
申请(专利权)人：山东高速集团有限公司，
类型：发明
国别省市：