【技术实现步骤摘要】
本专利技术主要涉及城轨列车运行防护，特别是涉及一种基于图像与雷达融合的远距离障碍物检测方法。
技术介绍
1、城轨列车障碍物检测系统为列车自动控制系统和自动运行系统提供准确的列车位置信息和运行前方障碍物信息，是实现城轨列车自动驾驶的重要前提。随着无人驾驶技术的发展，对障碍物检测系统的检测范围、精确性和安全性提出了更高的要求。
2、目前大部分的列车障碍物检测系统，是以激光雷达和imu（惯性传感器）为主的。在imu数据（惯导数据）偏移较大或激光雷达无法探测到远距离目标时，则障碍物检测功能不可用，列车丢失定位或进入非安全检测状态。因此，采用其他传感器数据进行信息补充是非常必要的。
3、在目前采用的激光雷达与图像融合方式中，以决策融合为主，决策融合只注重障碍物检测结果，而忽略障碍物的距离信息。在激光雷达无法提供障碍物的位置信息时采用图像信息补充障碍物的位置信息，对障碍物检测系统的精确性和安全性带来了巨大的挑战。
4、设计更加有效的信息融合算法，实现远距离的障碍物检测，是提高障碍物检测系统检测范围、精确性以及安全性的有效方式。
技术实现思路
1、本专利技术的目的在于是提供一种基于图像与雷达融合的远距离障碍物检测方法，针对现有技术忽略障碍物的距离信息等问题，对激光雷达未探测到的远距离障碍物进行检测并补偿距离信息，提高障碍物检测系统检测范围、精确性以及安全性。
2、为达到上述目的，本专利技术提供了一种基于图像与雷达融合的远距离障碍物检测方法，包括以下
3、步骤1：相机生成图像数据、激光雷达生成点云数据、惯性传感器生成惯导数据，点云数据包括地面点云数据、目标点云数据、非目标点云数据，将图像数据、点云数据以及惯导数据进行时间对齐，将图像数据、点云数据以及惯导数据进行坐标系投影变换实现空间坐标对齐；
4、步骤2：基于惯导数据与点云数据融合的位姿估计，结合高精地图识别区域内的目标；
5、步骤3：基于图像检测并估计目标的距离信息，结合相应世界坐标系下的空间坐标位置的雷达检测结果判别，当雷达检测结果有效时，则输出雷达检测结果；
6、步骤4：基于图像检测与雷达检测的判别结果，当只有图像检测结果时，结合未滤除的地面点云数据进行最近相关点搜寻，输出未滤除的地面点云数据估计的目标距离信息；
7、步骤5：基于最近相关点的距离信息，将当前帧最近相关点的距离数据结合前4帧的距离数据求均值，得出最终的目标检测结果及距离信息。
8、进一步的，步骤1中，将图像数据、点云数据以及惯导数据进行时间对齐以及空间坐标对齐的具体处理过程包括：
9、s1：基于最近时间相关法比较图像数据、点云数据以及惯导数据的时间戳，以点云数据的时间戳为基准；
10、s2：比较图像数据在点云数据时间戳的前一帧和后一帧的时间戳是否相同或在极小的范围内，选择时间戳差值最小的帧作为对齐的图像数据；
11、s3：比较惯导数据在点云数据时间戳的前一帧和后一帧的时间戳是否相同或在极小的范围内，在假设惯导数据前后帧数据以固定增量变化的前提下估计与点云数据时间戳相同的惯导数据进行对齐；
12、s4：基于相机、激光雷达以及惯性传感器坐标系基点的旋转、平移关系，采用投影变换的方法计算坐标系之间的转换矩阵，保证相机、激光雷达以及惯性传感器的坐标系原点在同一坐标系下。
13、进一步的，步骤2中，基于惯导数据与点云数据融合的位姿估计，结合高精地图识别区域内的目标的过程为：基于事先建立的线路高精地图，采用landmark定位方式初始化列车的位姿，结合惯导数据计算列车在地图中的位置，剔除激光雷达采集的地面点云数据和非目标点云数据，识别出真实的障碍物目标。
14、进一步的，步骤3中，图像检测并估计目标的距离信息使用图像估计目标距离算法，针对不同类型的目标分别估计中心距离，具体步骤如下：
15、s5：基于相机采集的图像数据进行畸变校正，获取相机的内外参数矩阵，以此设置图像数据的距离偏移量；
16、s6：基于图像数据进行目标检测，区分目标类型，为不同类型的目标分配不同的像素宽度和像素高度；
17、s7：计算不同类型目标在宽度和高度上的位置再叠加距离偏移量，比较最小值后得到目标估计距离；
18、基于图像检测和雷达检测结果判别的具体处理过程包括：基于图像估计目标距离算法检测的目标类型及距离，根据变换矩阵计算所有点云数据在相应世界坐标系位置是否存在目标，若在该位置存在雷达检测结果，则输出雷达检测结果，否则，跳转步骤4。
19、进一步的，步骤4中，基于图像检测结果，结合地面点云数据的特征得出估计的目标距离信息的具体处理过程包括：
20、基于图像估计距离以及雷达检测结果，若在同一世界坐标系下的相同位置仅有图像检测结果，则将地面点云数据与图像估计距离进行比较，即。
21、进一步的，步骤5中，基于相关点的距离信息，计算最终的目标检测结果及距离信息的具体处理过程包括：
22、基于地面点云数据与图像检测结果的估计距离信息，取前4帧结果与当前帧求均值，即。
23、进一步的，还包括步骤6：输出安全保护方案，输出安全保护方案的流程包括以下步骤：
24、s8：将图像数据、点云数据以及惯导数据进行融合，加入列车运行速度约束条件，判别障碍物检测结果的有效性；
25、s9：基于障碍物检测结果的有效性，结合城轨列车障碍物检测场景及类型判别属于危险障碍物类型；
26、s10：基于危险障碍物类型的分析，判断障碍物距离是否属于安全距离，输出安全保护方案。
27、进一步的，在步骤s5中，图像数据进行畸变校正的具体处理流程包括：
28、采用特制的标定板拍照，利用角点检测将世界坐标系转换到相机坐标系，即
29、；
30、通过泰勒公式展开计算径向畸变系数和切向畸变系数并经过重构对比误差，得到内参矩阵；
31、基于内外参数矩阵的值设置距离偏移量；
32、在步骤s6中，对图像数据进行目标检测，为不同类型的目标分配不同的像素宽度和像素高度的具体处理过程包括：采用深度学习网络模型检测目标并得到类型名称，为特定的类型分配基于先验信息的像素宽度、高度；
33、在步骤s7中，图像数据估计目标距离的具体处理流程包括：
34、将深度学习网络模型检测的目标像素宽度、高度乘以焦距，再分别除以设定的像素宽度、高度并叠加距离偏移量，比较宽度位置和高度位置的最小值，将最小值作为目标的估计距离。
35、进一步的，在步骤s8中，基于图像数据、点云数据以及惯导数据融合，判别障碍物检测结果的有效性的具体处理过程包括：基于图像数据、点云数据以及惯导数据，通过图像估计目标距离算法以及图像与雷达融合算法，获得障碍物的类型及距离信息，根据列车运行速度的约束条件，超过运行速度的结果为本文档来自技高网...
【技术保护点】
1.一种基于图像与雷达融合的远距离障碍物检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所示的基于图像与雷达融合的远距离障碍物检测方法，其特征在于，步骤1中，将图像数据、点云数据以及惯导数据进行时间对齐以及空间坐标对齐的具体处理过程包括：
3.根据权利要求1所示的基于图像与雷达融合的远距离障碍物检测方法，其特征在于，步骤2中，基于惯导数据与点云数据融合的位姿估计，结合高精地图识别区域内的目标的过程为：基于事先建立的线路高精地图，采用landmark定位方式初始化列车的位姿，结合惯导数据计算列车在地图中的位置，剔除激光雷达采集的地面点云数据和非目标点云数据，识别出真实的障碍物目标。
4.根据权利要求1所示的基于图像与雷达融合的远距离障碍物检测方法，其特征在于，步骤3中，图像检测并估计目标的距离信息使用图像估计目标距离算法，针对不同类型的目标分别估计中心距离，具体步骤如下：
5.根据权利要求1所示的基于图像与雷达融合的远距离障碍物检测方法，其特征在于，步骤4中，基于图像检测结果，结合地面点云数据的特征得出估计的目标距离信息的具体
6.根据权利要求1所示的基于图像与雷达融合的远距离障碍物检测方法，其特征在于，步骤5中，基于相关点的距离信息，计算最终的目标检测结果及距离信息的具体处理过程包括：
7.根据权利要求1所示的基于图像与雷达融合的远距离障碍物检测方法，其特征在于，还包括步骤6：输出安全保护方案，输出安全保护方案的流程包括以下步骤：
8.根据权利要求4所示的基于图像与雷达融合的远距离障碍物检测方法，其特征在于，在步骤S5中，图像数据进行畸变校正的具体处理流程包括：
9.根据权利要求7所示的基于图像与雷达融合的远距离障碍物检测方法，其特征在于，
...【技术特征摘要】
1.一种基于图像与雷达融合的远距离障碍物检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所示的基于图像与雷达融合的远距离障碍物检测方法，其特征在于，步骤1中，将图像数据、点云数据以及惯导数据进行时间对齐以及空间坐标对齐的具体处理过程包括：
3.根据权利要求1所示的基于图像与雷达融合的远距离障碍物检测方法，其特征在于，步骤2中，基于惯导数据与点云数据融合的位姿估计，结合高精地图识别区域内的目标的过程为：基于事先建立的线路高精地图，采用landmark定位方式初始化列车的位姿，结合惯导数据计算列车在地图中的位置，剔除激光雷达采集的地面点云数据和非目标点云数据，识别出真实的障碍物目标。
4.根据权利要求1所示的基于图像与雷达融合的远距离障碍物检测方法，其特征在于，步骤3中，图像检测并估计目标的距离信息使用图像估计目标距离算法，针对不同类型的目标...
【专利技术属性】
技术研发人员：唐泽龙，
申请(专利权)人：南京恩瑞特实业有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。