【技术实现步骤摘要】
本专利技术涉及障碍物识别，具体涉及一种基于雷达与相机融合对提高轨道内障碍物识别的方法。
技术介绍
1、目前轨道内障碍物识别方法：
2、（1）雷达全检测投影到图像+图像全检测+匹配融合方式：
3、步骤：
4、1、激光雷达点云进行点云检测，得到包含类别和航向角的道路目标初步检测结果；将道路结果投影到所述相机图像像素坐标系中，得到所述相机图像像素坐标系下雷达检测目标的2d边界框;
5、2、利用相机检测目标的2d边界框对雷达检测目标的2d边界框进行匹配并修正 类别，得到修正后的激光雷达点云三维检测道路目标；
6、3、基于激光雷达点云对应的深度图，相机检测目标的2d边界框内的深度点进行反向投影，得到交通目标三维信息；
7、4、将激光雷达点云三维检测道路目标和交通目标三维信息进行合并，得到激光雷达和相机融合的目标检测结果；
8、存在问题1：雷达全部检测实时性差
9、存在问题2：对全区域进行目标检测，需要较高的算力资源
10、出自：cn 114937255 a 专利_一种激光雷达与相机融合的检测方法及装置。
11、（2）图像全检测投影到雷达+雷达在目标区域内检测+融合方式：
12、步骤：
13、1、基于编码器网络进行对象检测；采用centernet检测网络在图像上生成初步检测，为场景中的每个检测到的对象提供一个二维边界框以及一个初步的3d边界框。
14、2、基于视锥体方法进行数据关联；使用
15、3、基于雷达检测进行图像特征补充；将关联后的目标的特征和雷达数据检测到的深度信息组成的特征图并联，之后进行深度学习得到融合的目标信息。
16、存在问题1：是对全区域进行目标检测，需要较高算力资源；
17、存在问题2：在3d roi视锥体内使用深度学习算法，增加雷达检测算法复杂度，需要更高算力资源；
18、出自：cn 113267779 a 专利_一种基于雷达与图像数据融合的目标检测方法及系统。
19、（3）图像方式
20、步骤：在实际轨道交通场景中进行图像采集并构建数据库后,将yolov3的基础特征提取网络resnet50替换为resnext50,使得模型提取到更丰富、更高层次的特征信息；然后采用自适应特征融合优化方法,更为精准地检测不同尺度的目标,在保证算法实时性使得算法的检测性能尤其是对小目标的检测精度大幅度提升；最后在各个检测端使用通道注意力机制对不同的通道信息进行整合,并采用ciou损失函数更为精准地回归预测框,使得检测精度进一步提高,该方法在保证算法检测速度的同时,可以对铁路障碍物尤其是小目标进行精准高效地检测。
21、存在问题1：图像不能对不规则异物有效检测
22、存在问题1：图像检测的目标距离信息误差较大
23、存在问题2：图像检测易受环境影响
24、出自：cn116524451a 专利_一种基于深度学习和目标检测结合的轨道障碍物检测方法。
技术实现思路
1、本专利技术要解决的技术问题是现有检测方法中雷达全部检测实时性差、对全区域进行目标检测，需要较高的算力资源，为解决上述问题，提供一种基于雷达与相机融合的轨道内障碍物识别的方法。
2、本专利技术的目的是以下述方式实现的：
3、一种基于雷达与相机融合的轨道内障碍物识别的方法，所述方法包括以下步骤：步骤1：对相机与雷达联合标定，得到平移矩阵和旋转矩阵；
4、步骤2：相机、雷达时间同步采集，加载联合标定得到的旋转矩阵和平移矩阵；
5、步骤3：通过分割算法，获取轨道区域，并多边形拟合；
6、步骤4：结合联合标定矩阵，对多边形轨道点赋予深度信息；
7、步骤5：带深度信息的轨道区域点投影到点云数据；
8、步骤6：对点云数据的轨道区域识别障碍物。
9、所述步骤3具体包括：对相机采集的轨道图像数据进行预处理；对预处理的图片应用轨道分割模型，输出轨道区域点；根据车与轨道的位置相对关系，筛选分割后的当前轨道区域；对分割的点进行多边形拟合，输出点集。
10、所述步骤4具体包括：结合平移矩阵和旋转矩阵把点云数据投影到图像中；把提取的连续轨道点，依次查询最近的激光点云作为此处的深度值；输出检测的轨道点所对应的距离信息即深度信息。
11、所述步骤5具体包括：对步骤4输出检测的轨道点，基础上添加高度信息，认为所有检测的轨道点处于高度为z=0平面处上，得到包含深度和高度信息的轨道点；结合步骤2中加载的平移矩阵和旋转矩阵，及计算的包含深度和高度信息的轨道点，实现图像检测的轨道点到点云数据轨道区域的转换；输出点云数据的轨道区域连续点集。
12、所述步骤6具体包括：根据点云数据的轨道区域连续点集，获取点云数据的轨道区域roi；采用目标检测方法，获取障碍物的距离、大小信息，输出点云数据识别的障碍物信息。
13、本专利技术的有益效果：相对于现有技术，本专利技术在现有图像分割的基础上，把获取的轨道区域，投影到点云数据中，并对点云数据轨道区域外的切分，只对区域内的点云数据进检测处理，从而大幅提高点云检测效率，满足轨道区域内障碍物实时检测要求；在不降低轨道内检测精度的同时，雷达算力要求对比方法1、2有明显的下降，对障碍物的测量可靠性、准确性比方法3有提高；激光雷达在轨道交通领域识别障碍物时，受限于雷达的工作原理，只能对正前方的区域探测，在弯道探测时可能失效或引入误报；通过相机图像识别的方式，可以对固定类别的目标识别，但不能对非固定类型的障碍物识别。相机结合雷达的应用方式，可以利用图像在一定距离上的轨道提取区域，作为雷达探测的筛选区域，实现二者的优势互补。
本文档来自技高网...【技术保护点】
1.一种基于雷达与相机融合的轨道内障碍物识别的方法，其特征在于：所述方法包括以下步骤：步骤1：对相机与雷达联合标定，得到平移矩阵和旋转矩阵；
2.根据权利要求1所述的基于雷达与相机融合的轨道内障碍物识别的方法，其特征在于：所述步骤3具体包括：对相机采集的轨道图像数据进行预处理；对预处理的图片应用轨道分割模型，输出轨道区域点；根据车与轨道的位置相对关系，筛选分割后的当前轨道区域；对分割的点进行多边形拟合，输出点集。
3.根据权利要求1所述的基于雷达与相机融合的轨道内障碍物识别的方法，其特征在于：所述步骤4具体包括：结合平移矩阵和旋转矩阵把点云数据投影到图像中；把提取的连续轨道点，依次查询最近的激光点云作为此处的深度值；输出检测的轨道点所对应的距离信息即深度信息。
4.根据权利要求3所述的基于雷达与相机融合的轨道内障碍物识别的方法，其特征在于：所述步骤5具体包括：对步骤4输出检测的轨道点，基础上添加高度信息，认为所有检测的轨道点处于高度为Z=0平面处上，得到包含深度和高度信息的轨道点；结合步骤2中加载的平移矩阵和旋转矩阵，及计算的包含深度和高度信息
5.根据权利要求4所述的基于雷达与相机融合的轨道内障碍物识别的方法，其特征在于：所述步骤6具体包括：根据点云数据的轨道区域连续点集，获取点云数据的轨道区域ROI；采用目标检测方法，获取障碍物的距离、大小信息，输出点云数据识别的障碍物信息。
...【技术特征摘要】
1.一种基于雷达与相机融合的轨道内障碍物识别的方法，其特征在于：所述方法包括以下步骤：步骤1：对相机与雷达联合标定，得到平移矩阵和旋转矩阵；
2.根据权利要求1所述的基于雷达与相机融合的轨道内障碍物识别的方法，其特征在于：所述步骤3具体包括：对相机采集的轨道图像数据进行预处理；对预处理的图片应用轨道分割模型，输出轨道区域点；根据车与轨道的位置相对关系，筛选分割后的当前轨道区域；对分割的点进行多边形拟合，输出点集。
3.根据权利要求1所述的基于雷达与相机融合的轨道内障碍物识别的方法，其特征在于：所述步骤4具体包括：结合平移矩阵和旋转矩阵把点云数据投影到图像中；把提取的连续轨道点，依次查询最近的激光点云作为此处的深度值；输出检测的轨道点所对...
【专利技术属性】
技术研发人员：牛原野，闫双建，刘涛，陈召阳，
申请(专利权)人：河南思维轨道交通技术研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。