System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于投影和深度学习的动态目标剔除激光雷达SLAM处理方法及系统技术方案_技高网
当前位置: 首页 > 专利查询>嵩山实验室专利>正文

基于投影和深度学习的动态目标剔除激光雷达SLAM处理方法及系统技术方案

技术编号:41505941 阅读:15 留言:0更新日期:2024-05-30 14:46
本发明专利技术涉及即时定位与地图构建技术领域,特别涉及一种基于投影和深度学习的动态目标剔除激光雷达SLAM处理方法及系统,针对激光雷达实时采集的点云数据,基于多方位虚拟相机的多视角投影获取点云数据深度投影图,记录点云数据中每个点云与深度投影图中像素点的坐标投影对应关系;将深度投影图输入至YOLOv8目标检测模型,利用YOLOv8目标检测模型进行目标检测分割并记录被检测目标关键信息;根据目标检测分割结果及前期动态目标检测结果获取点云帧间位姿变换信息并计算点云数据中相同目标重合度,根据目标重合度进行动态目标点识别;基于位姿变换信息和剔除动态目标点云的点云帧生成全局点云地图。本发明专利技术能够实时识别与剔除运动物体,提升运动环境下位姿估计精度。

【技术实现步骤摘要】

本专利技术涉及即时定位与地图构建,特别涉及一种基于投影和深度学习的动态目标剔除激光雷达slam处理方法及系统。


技术介绍

1、即时定位与建图(simultaneous localization and mapping,简称slam)可以表述呈机器人在未知环境中从一个未知位置开始移动,在移动过程中根据位置和地图进行自身定位,同时在自身定位的基础上建造增量式地图,其可应用于智能机器人、自动驾驶等领域中的定位与导航。目前,如loam、lio-sam、fast-lio等较为成熟的三维激光雷达slam算法,通常是以假设周围环境静止为前提建立的,当周围环境中存在运动物体时,会导致系统自身位置估计精度降低,回环检测鲁棒性变差,创建的环境地图中存在拖影等问题。而如像removert等较为主流的动态点剔除算法,通常是利用构建好的点云地图与原始激光雷达数据深度差值来确定是否为动态点,该类算法存在无法实时检测、计算量大等问题。综上所述,如何实时判定与剔除激光雷达点云数据中的动态点,以实现更加精确的位姿估计与地图构建成为定位导航应用中急需解决的问题。


技术实现思路

1、本专利技术提供一种基于投影和深度学习的动态目标剔除激光雷达slam处理方法及系统,能够解决运动物体在slam过程中对位姿估计与地图构建造成的影响,以实现更加精确的位姿估计与地图构建。

2、按照本专利技术所提供的设计方案,一方面,提供一种基于投影和深度学习的动态目标剔除激光雷达slam处理方法,包含:

3、针对激光雷达实时采集的点云数据,基于多方位虚拟相机的多视角投影获取点云数据深度投影图,并记录点云数据中每个点云与深度投影图中像素点的坐标投影对应关系;

4、将深度投影图输入至预训练的yolov8目标检测模型,利用预训练的yolov8目标检测模型进行目标检测分割并记录被检测目标关键信息,该关键信息包括对应目标的外接矩形、分割掩膜、目标类型及目标跟踪id;

5、根据目标检测分割结果及前期动态目标检测结果获取点云帧间位姿变换信息并计算点云数据中相同目标重合度,根据目标重合度来识别动态目标点。

6、基于位姿变换信息和剔除动态目标点云的点云帧生成全局点云地图。

7、作为本专利技术基于投影和深度学习的动态目标剔除激光雷达slam处理方法,进一步地,yolov8目标检测模型中,采用cspdarknet53作为主干网络,并基于标准二元交叉熵损失、dfl损失和ciou损失加权组成模型训练的目标损失函数,以基于该目标损失函数并利用样本数据对yolov8目标检测模型进行训练。

8、作为本专利技术基于投影和深度学习的动态目标剔除激光雷达slam处理方法,进一步地,基于多方位虚拟相机的多视角投影获取点云数据深度投影图,包含:

9、基于虚拟相机的内参矩阵、点云在激光雷达坐标系下的坐标位置及虚拟相机坐标系到激光雷达坐标系的旋转矩阵来构建激光雷达坐标系中点云投影到虚拟相机像素坐标系下的像素坐标位置的投影表达式,基于该投影表达式获取点云数据预定方向上的深度投影图,其中,虚拟相机放置在激光雷达传感器周围,且每个虚拟相机之间有视角重合。

10、作为本专利技术基于投影和深度学习的动态目标剔除激光雷达slam处理方法,进一步地,根据目标检测分割结果及坐标投影对应关系获取点云帧间位姿变换信息,包含:

11、首先,根据目标检测分割结果及坐标投影对应关系对点云数据中各三维点云进行目标检测属性标注,该属性标注包括点类型id、点追踪id及虚拟相机id;

12、然后,针对含有目标检测属性的原始点云,按照激光雷达扫描线号进行排列,并通过角点和面点检测来获取角点点云和面点点云,以基于角点点云和面点点云获取点云帧间位姿变换信息。若特征点云中存在前期检测到的动态目标点相同属性的点,则将该点从特征点云中剔除,不参与点云帧间位姿变换估计。

13、作为本专利技术基于投影和深度学习的动态目标剔除激光雷达slam处理方法,进一步地,根据目标重合度来识别点云数据中动态目标点云,包含:

14、首先,依据目标物体在相邻点云数据帧上点的数量计算相邻点云数据帧中点云的重合度、深度相差程度及中心点相差程度;

15、然后,通过将重合度、深度相差程度及中心点相差程度进行加权求和来获取目标物体运动综合概率,并结合预设阈值判定目标物体是否为运动物体,将运动物体的所有点云作为动态目标点云。

16、作为本专利技术基于投影和深度学习的动态目标剔除激光雷达slam处理方法,进一步地,基于位姿变换信息和剔除动态目标点云的点云帧生成全局点云地图,包括:

17、首先,将当前帧帧间里程计估算的位姿作为原点,查找预设半径长度的关键帧并基于关键帧构建局部地图;

18、接着,将帧间里程计估算的位姿作为初始值,将当前帧与局部地图进行匹配,剔除动态目标点云的同时,确定当前帧位姿估计值;

19、然后,基于点云数据当前帧与上一帧预设姿态角差值及两帧之间的直线距离构建点云数据关键帧列表,并将关键帧列表中的关键帧位姿信息存入关键帧位姿列表;

20、最后,在点云数据关键帧列表中剔除动态目标点云,基于剔除动态目标点云后的关键帧列表和关键帧位姿列表进行点云拼接,以通过拼接来输出全局点云地图。

21、作为本专利技术基于投影和深度学习的动态目标剔除激光雷达slam处理方法,进一步地,基于点云数据当前帧与上一帧预设姿态角差值及两帧之间的直线距离构建点云数据关键帧列表,包含:

22、若当前帧与上一帧两者在俯仰角、翻滚角和偏航角三个角度中存在其中之一的角度差大于预设弧度,或当前帧与上一帧之间的直线距离大于预设距离,则将当前帧点云数据放入关键帧点云列表。

23、进一步地,本专利技术还提供一种基于投影和深度学习的动态目标剔除激光雷达slam处理系统,包含:投影映射模块、检测分割模块、位姿获取模块和地图生成模块,其中,

24、投影映射模块,用于针对激光雷达实时采集的点云数据,基于多方位虚拟相机的多视角投影获取点云数据深度投影图,并记录点云数据中每个点云与深度投影图中像素点的坐标投影对应关系;

25、检测分割模块,用于将深度投影图输入至预训练的yolov8目标检测模型,利用预训练的yolov8目标检测模型进行目标检测分割并记录被检测目标关键信息,该关键信息包括对应目标的外接矩形、分割掩膜、目标类型及目标跟踪id;

26、位姿获取模块,用于根据目标检测分割结果及坐标投影对应关系获取点云帧间位姿变换信息并判断对点云数据中目标重合度,以根据目标重合度来识别点云数据中动态目标点云;

27、地图生成模块,用于基于位姿变换信息和剔除动态目标点云的点云帧生成全局点云地图。

28、本专利技术的有益效果:

29、本专利技术从点云多视角投影与二维图像目标检测出发,基于投影和深度学习实现动态目标剔除激光雷达slam算法,不仅可以快速准确地对激光点云帧中的本文档来自技高网...

【技术保护点】

1.一种基于投影和深度学习的动态目标剔除激光雷达SLAM处理方法,其特征在于,包含:

2.根据权利要求1所述的基于投影和深度学习的动态目标剔除激光雷达SLAM处理方法,其特征在于,基于多方位虚拟相机的多视角投影获取点云数据深度投影图,包含:

3.根据权利要求1所述的基于投影和深度学习的动态目标剔除激光雷达SLAM处理方法,其特征在于,YOLOv8目标检测模型中,采用CSPDarknet53作为主干网络,并基于标准二元交叉熵损失、DFL损失和CIoU损失加权组成模型训练的目标损失函数,以基于该目标损失函数并利用样本数据对YOLOv8目标检测模型进行训练。

4.根据权利要求1所述的基于投影和深度学习的动态目标剔除激光雷达SLAM处理方法,其特征在于,根据目标检测分割结果及前期动态目标检测结果获取点云帧间位姿变换信息,包含:

5.根据权利要求1或4所述的基于投影和深度学习的动态目标剔除激光雷达SLAM处理方法,其特征在于,根据目标重合度来识别点云数据中动态目标点云,包含:

6.根据权利要求1所述的基于投影和深度学习的动态目标剔除激光雷达SLAM处理方法,其特征在于,基于位姿变换信息和剔除动态目标点云的点云帧生成全局点云地图,包括:

7.根据权利要求6所述的基于投影和深度学习的动态目标剔除激光雷达SLAM处理方法,其特征在于,基于点云数据当前帧与上一帧预设姿态角差值及两帧之间的直线距离构建点云数据关键帧列表,包含:

8.一种基于投影和深度学习的动态目标剔除激光雷达SLAM处理系统,其特征在于,包含:投影映射模块、检测分割模块、位姿获取模块和地图生成模块,其中,

9.一种电子设备,其特征在于,包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,当计算机程序被执行时,能够实现如权利要求1~7任一项所述的方法。

...

【技术特征摘要】

1.一种基于投影和深度学习的动态目标剔除激光雷达slam处理方法,其特征在于,包含:

2.根据权利要求1所述的基于投影和深度学习的动态目标剔除激光雷达slam处理方法,其特征在于,基于多方位虚拟相机的多视角投影获取点云数据深度投影图,包含:

3.根据权利要求1所述的基于投影和深度学习的动态目标剔除激光雷达slam处理方法,其特征在于,yolov8目标检测模型中,采用cspdarknet53作为主干网络,并基于标准二元交叉熵损失、dfl损失和ciou损失加权组成模型训练的目标损失函数,以基于该目标损失函数并利用样本数据对yolov8目标检测模型进行训练。

4.根据权利要求1所述的基于投影和深度学习的动态目标剔除激光雷达slam处理方法,其特征在于,根据目标检测分割结果及前期动态目标检测结果获取点云帧间位姿变换信息,包含:

5.根据权利要求1或4所述的基于投影和深度学习的动态目标剔...

【专利技术属性】
技术研发人员:张汇东于英张永生张强牛雁飞杜跃飞纪松蔡心悦康佳慧
申请(专利权)人:嵩山实验室
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1