System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 回环检测方法、装置、车辆及计算机可读取存储介质制造方法及图纸_技高网

回环检测方法、装置、车辆及计算机可读取存储介质制造方法及图纸

技术编号:42864089 阅读:13 留言:0更新日期:2024-09-27 17:27
本申请实施例提供一种回环检测方法、装置、车辆及计算机可读取存储介质,涉及自动驾驶技术领域。本申请获取车辆行驶过程中拍摄到的多帧图像;将所述多帧图像输入场景识别模型中,得到所述多帧图像各自对应的向量,其中,所述场景识别模型根据图像对应的语义标签图以及注意力热图训练得到,所述语义标签图携带图像各像素的语义标签,所述注意力热图携带图像对应的特征图各通道的权重信息;根据所述多帧图像各自对应的向量,确定是否出现回环。本申请能够提升场景识别以及回环检测的鲁棒性以及准确性。

【技术实现步骤摘要】

本申请涉及自动驾驶,更具体地,涉及一种回环检测方法、装置、车辆及计算机可读取存储介质


技术介绍

1、视觉即时定位与地图构建(simultaneous localization and mapping,简称slam)为智能网联车辆提供准确定位,是智能驾驶系统中不可或缺的一部分。回环检测是slam系统中的关键组成部分,基于场景识别技术的回环检测有助于最大限度地减少姿态估计和地图估计中的不确定性,从而确保视觉slam系统的性能。错误的回环检测可能导致整个视觉slam系统故障,因此,针对场景变化的鲁棒性对于场景识别模型至关重要。

2、在城市交通场景中,车辆和行人等非交通场景背景的存在可能会影响场景识别模型所提取的环境特征,导致对场景进行误判。目前基于深度学习的方法,未能充分发挥深度学习在语义级特征提取方面的优势,无法聚焦场景中的判别性对象,导致场景识别的准确性较差。


技术实现思路

1、本申请实施例提出了一种回环检测方法、装置、车辆及计算机可读取存储介质,以解决目前场景识别以及回环检测的鲁棒性以及准确性较差的技术问题。

2、第一方面,本申请实施例提供一种回环检测方法,该方法包括:获取车辆行驶过程中拍摄到的多帧图像;所述多帧图像输入场景识别模型中,得到所述多帧图像各自对应的向量,其中,所述场景识别模型根据图像对应的语义标签图以及注意力热图训练得到,所述语义标签图携带图像各像素的语义标签,所述注意力热图携带图像对应的特征图各通道的权重信息;根据所述多帧图像各自对应的向量,确定是否出现回环。

3、第二方面,本申请实施例提供一种回环检测装置,该装置包括:图像获取模块,用于获取车辆行驶过程中拍摄到的多帧图像;图像处理模块,用于将所述多帧图像输入场景识别模型中,得到所述多帧图像各自对应的向量,其中,所述场景识别模型根据图像对应的语义标签图以及注意力热图训练得到,所述语义标签图携带图像各像素的语义标签,所述注意力热图携带图像对应的特征图各通道的权重信息;回环判定模块,用于根据所述多帧图像各自对应的向量,确定是否出现回环。

4、第三方面,本申请实施例提供一种车辆,该车辆包括:存储器和处理器,所述存储器上存储有应用程序,所述处理器调用所述应用程序时执行本申请实施例提供的方法。

5、第四方面,本申请实施例提供一种计算机可读取存储介质,其特征在于,包括:所述计算机可读取存储介质上存储有程序代码,处理器调用所述程序代码时执行本申请实施例提供的方法。

6、本申请的回环检测方法具有以下技术效果:

7、①基于图像对应的语义标签图以及注意力热图训练场景识别模型,提升了场景识别模型对场景(例如城市交通场景)相关特征的关注度,减少时段或季节因素以及动态交通参与者(行人、车辆)的干扰,实现对场景的准确感知,为slam系统提供了可靠的感知先验,能够提升场景识别的准确性以及鲁棒性。

8、②基于图像对应的语义标签图以及注意力热图训练得到的场景识别模型获取多帧图像各自对应的向量并依据向量进行回环检测,利用了场景识别模型(深度学习模型)学习从多帧图像(即原始数据)中学习向量(即特征表示),无需手动选择或设计特征,使得场景识别模型能够更好地适应不同时间段或季节的图像变化,提高了全局特征表征的鲁棒性和泛化能力,从而可以提升回环检测的准确性和鲁棒性。

9、③以多帧图像作为输入可以直接得到所述多帧图像是否属于同一场景的结果(即回环检测结果),将场景识别和回环检测融合到一起而不是将场景识别和回环检测分阶段进行,保证了场景信息在模型传递的连续性,能够捕捉全局和长程的关联信息,在维持模型精度的前提下,提高了模型部署效率,降低了模型移植的开发和维护成本,推动了自动驾驶技术更好地投入商业应用,推动了产业化的快速发展。

本文档来自技高网...

【技术保护点】

1.一种回环检测方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述多帧图像各自对应的向量,确定是否出现回环,包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述多帧图像各自对应的向量,从所述多帧图像中获取目标图像,包括:

4.根据权利要求2所述的方法,其特征在于,所述根据所述目标图像的时间连续性以及数量,确定是否出现回环,包括:

5.根据权利要求1-4任一项所述的方法,其特征在于,所述获取车辆行驶过程中拍摄到的多帧图像之前,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述根据所述样本图像对应的通道注意力图、向量、语义标签图以及注意力热图,训练场景识别模型,包括:

7.根据权利要求6所述的方法,其特征在于,所述根据所述样本图像对应的注意力热图以及语义标签图,确定第一损失,包括:

8.根据权利要求6所述的方法,其特征在于,所述根据所述样本图像对应的通道注意力图以及向量,确定第二损失,包括:

9.根据权利要求6所述的方法,其特征在于,所述根据所述样本图像对应的向量,确定第三损失,包括:

10.根据权利要求6所述的方法,其特征在于,所述根据所述第一损失、所述第二损失、所述第三损失,确定总损失,包括:

11.根据权利要求3所述的方法,其特征在于,所述获取所述样本图像对应的特征图、通道注意力图、向量以及语义标签图之前,所述方法还包括:

12.一种回环检测装置,其特征在于,包括:

13.一种车辆,其特征在于,包括:存储器和处理器,所述存储器上存储有应用程序,所述处理器调用所述应用程序时执行如权利要求1-11任一项所述的方法。

14.一种计算机可读取存储介质,其特征在于,包括:所述计算机可读取存储介质上存储有程序代码,处理器调用所述程序代码时执行如权利要求1-11任一项所述的方法。

...

【技术特征摘要】

1.一种回环检测方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述多帧图像各自对应的向量,确定是否出现回环,包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述多帧图像各自对应的向量,从所述多帧图像中获取目标图像,包括:

4.根据权利要求2所述的方法,其特征在于,所述根据所述目标图像的时间连续性以及数量,确定是否出现回环,包括:

5.根据权利要求1-4任一项所述的方法,其特征在于,所述获取车辆行驶过程中拍摄到的多帧图像之前,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述根据所述样本图像对应的通道注意力图、向量、语义标签图以及注意力热图,训练场景识别模型,包括:

7.根据权利要求6所述的方法,其特征在于,所述根据所述样本图像对应的注意力热图以及语义标签图,确定第一损失,包括:

8.根据权利要求6所述的方...

【专利技术属性】
技术研发人员:吴镇江党东方陈彩霞张志德徐伟李友浩
申请(专利权)人:广州汽车集团股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1