System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本公开涉及自动驾驶,尤其涉及人工智能、模型训练、智能交通等。
技术介绍
1、自动驾驶领域,通常会采用模型对相机采集的图像进行检测以得到障碍物的空间位置,尤其是障碍物的深度或距离。为保证模型预测的准确性,在训练模型时需要使用大量的样本图像,然而,在相关技术中仅支持使用具备相同内参的相机所采集的样本图像来进行模型训练。因此,如何使用来自多种相机(不同相机可以具备不同内参)的样本图像对模型进行训练,避免模型的训练受到不同相机的内参的影响,进而保证最终得到的模型能够对各种相机所采集的图像均能准确的预测障碍物的空间位置(尤其是深度或距离),就成为需要解决的问题。
技术实现思路
1、本公开提供了一种模型训练和障碍物检测方法、装置、电子设备、存储介质及自动驾驶车辆。
2、根据本公开的一方面,提供了一种模型训练方法,包括:
3、获取样本图像包含的一个或多个样本障碍物中每个样本障碍物的空间坐标,其中,所述样本图像由图像传感器采集得到;
4、基于所述图像传感器的焦距对所述每个样本障碍物的空间坐标中的深度值归一化处理,得到所述每个样本障碍物的归一化深度值;
5、基于所述样本图像、所述每个样本障碍物的归一化深度值对预设模型进行训练,得到目标模型。
6、根据本公开的另一方面,提供了一种障碍物检测方法,包括:
7、获取目标图像传感器采集到的待检测图像;
8、将所述待检测图像输入目标模型,得到所述目标模型输出的预测结果,其中,所
9、基于所述每个障碍物的归一化预测深度和所述目标图像传感器的焦距,计算所述每个障碍物的深度值。
10、根据本公开的一方面,提供了一种模型训练装置,包括:
11、空间坐标获取模块,用于获取样本图像包含的一个或多个样本障碍物中每个样本障碍物的空间坐标,其中,所述样本图像由图像传感器采集得到;
12、归一化处理模块,用于基于所述图像传感器的焦距对所述每个样本障碍物的空间坐标中的深度值归一化处理,得到所述每个样本障碍物的归一化深度值;
13、模型训练模块,用于基于所述样本图像、所述每个样本障碍物的归一化深度值对预设模型进行训练,得到目标模型。
14、根据本公开的另一方面,提供了一种障碍物检测装置,包括:
15、待检测图像获取模块,用于获取目标图像传感器采集到的待检测图像;
16、预测模块,用于将所述待检测图像输入目标模型,得到所述目标模型输出的预测结果,其中,所述预测结果包括所述待检测图像中包含的一个或多个障碍物中每个障碍物的归一化预测深度;
17、障碍物深度计算模块,用于基于所述每个障碍物的归一化预测深度和所述目标图像传感器的焦距,计算所述每个障碍物的深度值。
18、根据本公开的另一方面,提供了一种电子设备,包括:
19、至少一个处理器;以及
20、与该至少一个处理器通信连接的存储器;其中,
21、该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行本公开中任一实施例的方法。
22、根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,该计算机指令用于使该计算机执行根据本公开中任一实施例的方法。
23、根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,该计算机程序在被处理器执行时实现根据本公开中任一实施例的方法。
24、根据本公开的另一方面,提供了一种自动驾驶车辆,包括上述电子设备。
25、通过采用上述方案,基于采集样本图像的图像传感器的焦距对样本图像包含的样本障碍物的深度做了归一化处理,如此,使用样本障碍物的归一化深度对预设模型进行训练时,可以避免图像传感器的内参如焦距对模型训练阶段的影响,使得模型训练阶段能够学到来自不同的图像传感器的样本图像,提高了深度学习神经网络的泛化能力,进而保证训练后的目标模型可以不受相机的焦距的影响,准确的对来自各种图像传感器的图像预测障碍物的归一化深度,最终保证了模型预测结果的准确性。
本文档来自技高网...【技术保护点】
1.一种模型训练方法,包括:
2.根据权利要求1所述的方法,其中,所述基于所述样本图像、所述每个样本障碍物的归一化深度值对预设模型进行训练,得到目标模型,包括:
3.根据权利要求2所述的方法,其中,所述方法还包括:获取所述每个样本障碍物的二维检测框的相关信息;
4.根据权利要求3所述的方法,其中,所述方法还包括:
5.根据权利要求4所述的方法,其中,所述预测结果还包括:所述每个预测障碍物的中心点预测偏移量;
6.根据权利要求5所述的方法,其中,所述方法还包括:获取所述样本图像中包含的所述每个样本障碍物的显示属性,其中,所述每个样本障碍物的显示属性用于表示所述每个样本障碍物在所述样本图像中是否完整;
7.一种障碍物检测方法,包括:
8.根据权利要求7所述的方法,其中,所述预测结果还包括所述每个障碍物的二维检测框的中心点、所述每个障碍物的中心点预测偏移量;
9.一种模型训练装置,包括:
10.根据权利要求9所述的装置,其中,所述模型训练模块,用于将所述样本图像输入所述预设模型,
11.根据权利要求10所述的装置,其中,所述装置还包括:二维检测框获取模块,用于获取所述每个样本障碍物的二维检测框的相关信息;
12.根据权利要求11所述的装置,其中,所述装置还包括:
13.根据权利要求12所述的装置,其中,所述预测结果还包括:所述每个预测障碍物的中心点预测偏移量;
14.根据权利要求13所述的装置,其中,所述装置还包括:障碍物显示属性获取模块,用于获取所述样本图像中包含的所述每个样本障碍物的显示属性,其中,所述每个样本障碍物的显示属性用于表示所述每个样本障碍物在所述样本图像中是否完整;
15.一种障碍物检测装置,包括:
16.根据权利要求15所述的装置,其中,所述预测结果还包括所述每个障碍物的二维检测框的中心点、所述每个障碍物的中心点预测偏移量;
17.一种电子设备,包括:
18.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-6、或权利要求7和8中任一项所述的方法。
19.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-6、或权利要求7和8中任一项所述的方法。
20.一种自动驾驶车辆,包括如权利要求17所述的电子设备。
...【技术特征摘要】
1.一种模型训练方法,包括:
2.根据权利要求1所述的方法,其中,所述基于所述样本图像、所述每个样本障碍物的归一化深度值对预设模型进行训练,得到目标模型,包括:
3.根据权利要求2所述的方法,其中,所述方法还包括:获取所述每个样本障碍物的二维检测框的相关信息;
4.根据权利要求3所述的方法,其中,所述方法还包括:
5.根据权利要求4所述的方法,其中,所述预测结果还包括:所述每个预测障碍物的中心点预测偏移量;
6.根据权利要求5所述的方法,其中,所述方法还包括:获取所述样本图像中包含的所述每个样本障碍物的显示属性,其中,所述每个样本障碍物的显示属性用于表示所述每个样本障碍物在所述样本图像中是否完整;
7.一种障碍物检测方法,包括:
8.根据权利要求7所述的方法,其中,所述预测结果还包括所述每个障碍物的二维检测框的中心点、所述每个障碍物的中心点预测偏移量;
9.一种模型训练装置,包括:
10.根据权利要求9所述的装置,其中,所述模型训练模块,用于将所述样本图像输入所述预设模型,得到所述预设模型输出的预测结果,其中,所述预测结果包括所述样本图像中包含的一个或多个预测障碍物中每个预测障碍物的归一化预测深度;基于所述每个预测障碍物的归一化预测深度、所述每个样本障碍物的归一化深度,计算深度损失;基于所述深...
【专利技术属性】
技术研发人员:包文智,司绍峰,赵洪洋,
申请(专利权)人:北京百度网讯科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。