System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及计算机、自动驾驶,尤其涉及目标检测网络的训练方法、目标检测的方法和装置。
技术介绍
1、三维目标检测用于预测在目标物体周围的其他物体的大小、位置以及类别等信息,三维目标检测通常用于自动驾驶领域,用于识别所在车辆周围环境的状态、为所在车辆的决策规划系统提供可靠的预测信息。在进行三维目标检测时,通常先获取二维图像的语义结果,然后使用语义结果渲染点云,将渲染后的点云输入目标检测模型中执行检测任务。在训练目标检测模型时,通常使用单模态的传感器数据来训练模型。
2、在实现本专利技术的过程中,专利技术人发现现有技术至少存在如下问题:
3、使用单模态的传感器数据训练模型,导致模型学习点云特征的能力较弱,模型的检测精度较低;目标检测的步骤较多、计算链路较长,效率不高。
技术实现思路
1、有鉴于此,本专利技术实施例提供目标检测网络的训练方法、目标检测的方法和装置,能够提升目标检测网络的学习能力,提高目标检测精度。
2、为实现上述目的,根据本专利技术实施例的第一方面,提供一种目标检测网络的训练方法,包括:
3、响应于获取到原始点云和渲染点云,所述渲染点云是对所述原始点云进行语义渲染后的点云;
4、使用第一网络对所述原始点云进行特征提取,得到原始特征图;
5、使用第二网络对所述渲染点云进行特征提取,得到渲染特征图,所述第一网络和所述第二网络共享权重;
6、根据预先设置的损失函数,确定所述原始特征图和所述渲染
7、根据所述总损失对所述第一网络进行反向传播,更新所述第一网络的权重。
8、可选地,所述损失函数包括:均方误差损失函数;根据预先设置的损失函数,确定所述原始特征图和所述渲染特征图的总损失,包括:
9、使用所述均方误差损失函数确定所述原始特征图和所述渲染特征图的一致性损失。
10、可选地,所述损失函数包括:分类损失函数和定位回归损失函数;在根据所述总损失对第一网络进行反向传播之前,所述方法还包括:
11、使用预先设置的分类头对所述原始特征图进行目标分类,根据所述分类损失函数确定分类结果的分类损失;
12、使用预先设置的回归头对所述原始特征图进行目标定位,根据所述定位回归损失函数确定定位结果的定位回归损失;
13、将所述一致性损失、所述分类损失和所述定位回归损失作为所述原始特征图和所述渲染特征图的总损失。
14、可选地,将所述一致性损失、所述分类损失和所述定位回归损失作为所述原始特征图和所述渲染特征图的总损失,包括:
15、使用预先设置的第一权重对所述一致性损失进行加权,得到加权一致性损失;
16、使用预先设置的第二权重对所述分类损失进行加权,得到加权分类损失;
17、使用预先设置的第三权重对所述定位回归损失进行加权,得到加权定位回归损失;
18、将所述加权一致性损失、所述加权分类损失和所述加权定位回归损失之和作为所述原始特征图和所述渲染特征图的总损失。
19、可选地,在根据所述总损失对所述第一网络进行反向传播,更新所述第一网络的权重之后,所述方法还包括:
20、使用更新权重后的第一网络的权重更新所述第二网络的权重。
21、可选地,在获取到渲染点云之前,所述方法还包括:
22、响应于接收到目标图像,对所述目标图像进行语义分割,得到所述目标图像的语义结果;
23、使用所述目标图像的语义结果对获取到的原始点云进行渲染,得到渲染点云。
24、根据本专利技术实施例的第二方面,提供一种目标检测的方法,包括:
25、响应于接收到目标点云,使用预先设置的目标检测网络对所述目标点云进行特征提取,得到所述目标点云的目标特征图;所述目标检测网络是训练后的第一网络,所述第一网络是采用本专利技术实施例的第一方面中任一所述的训练方法得到的;
26、使用预先设置的分类头对所述目标特征图进行目标分类,得到所述目标点云的分类结果;
27、使用预先设置的回归头对所述目标特征图进行目标定位,得到所述目标点云的定位结果。
28、根据本专利技术实施例的第三方面,提供一种目标检测网络的训练装置,包括:
29、接收模块,用于响应于接收到原始点云和渲染点云,所述渲染点云是对所述原始点云进行语义渲染后的点云;
30、第一提取模块,用于使用第一网络对所述原始点云进行特征提取,得到原始特征图;
31、第二提取模块,用于使用第二网络对所述渲染点云进行特征提取,得到渲染特征图,所述第一网络和所述第二网络共享权重;
32、损失模块,用于根据预先设置的损失函数,确定所述原始特征图和所述渲染特征图的总损失;
33、更新模块,用于根据所述总损失对所述第一网络进行反向传播,更新所述第一网络的权重。
34、可选地,所述损失函数包括:均方误差损失函数;根据预先设置的损失函数,确定所述原始特征图和所述渲染特征图的总损失,包括:
35、使用所述均方误差损失函数确定所述原始特征图和所述渲染特征图的一致性损失。
36、可选地,所述损失函数包括:分类损失函数和定位回归损失函数;所述装置还包括:
37、分类损失模块,用于使用预先设置的分类头对所述原始特征图进行目标分类,根据所述分类损失函数确定分类结果的分类损失;
38、定位回归损失模块,用于使用预先设置的回归头对所述原始特征图进行目标定位,根据所述定位回归损失函数确定定位结果的定位回归损失;
39、合并模块,用于将所述一致性损失、所述分类损失和所述定位回归损失作为所述原始特征图和所述渲染特征图的总损失。
40、可选地,将所述一致性损失、所述分类损失和所述定位回归损失作为所述原始特征图和所述渲染特征图的总损失,包括:
41、使用预先设置的第一权重对所述一致性损失进行加权,得到加权一致性损失;
42、使用预先设置的第二权重对所述分类损失进行加权,得到加权分类损失;
43、使用预先设置的第三权重对所述定位回归损失进行加权,得到加权定位回归损失;
44、将所述加权一致性损失、所述加权分类损失和所述加权定位回归损失之和作为所述原始特征图和所述渲染特征图的总损失。
45、可选地,所述装置还包括:
46、共享更新模块,用于使用更新权重后的第一网络的权重更新所述第二网络的权重。
47、可选地,所述装置还包括:
48、语义分割模块,用于响应于接收到目标图像,对所述目标图像进行语义分割,得到所述目标图像的语义结果;
49、渲染模块,用于使用所述目标图像的语义结果对获取到的原始点云进行渲染,得到渲染点云。
50、根据本专利技术实施例的第四方面,提供一种目标检测的装置,包括:
本文档来自技高网...
【技术保护点】
1.一种目标检测网络的训练方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述损失函数包括:均方误差损失函数;根据预先设置的损失函数,确定所述原始特征图和所述渲染特征图的总损失,包括:
3.根据权利要求2所述的方法,其特征在于,所述损失函数包括:分类损失函数和定位回归损失函数;在根据所述总损失对所述第一网络进行反向传播之前,所述方法还包括:
4.根据权利要求3所述的方法,其特征在于,将所述一致性损失、所述分类损失和所述定位回归损失作为所述原始特征图和所述渲染特征图的总损失,包括:
5.根据权利要求1所述的方法,其特征在于,在根据所述总损失对所述第一网络进行反向传播,更新所述第一网络的权重之后,所述方法还包括:
6.根据权利要求1所述的方法,其特征在于,在获取到渲染点云之前,所述方法还包括:
7.一种目标检测的方法,其特征在于,包括:
8.一种目标检测网络的训练装置,其特征在于,包括:
9.一种目标检测的装置,其特征在于,包括:
10.一种电子设备,其特征
11.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
...【技术特征摘要】
1.一种目标检测网络的训练方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述损失函数包括:均方误差损失函数;根据预先设置的损失函数,确定所述原始特征图和所述渲染特征图的总损失,包括:
3.根据权利要求2所述的方法,其特征在于,所述损失函数包括:分类损失函数和定位回归损失函数;在根据所述总损失对所述第一网络进行反向传播之前,所述方法还包括:
4.根据权利要求3所述的方法,其特征在于,将所述一致性损失、所述分类损失和所述定位回归损失作为所述原始特征图和所述渲染特征图的总损失,包括:
5.根据权利要求...
【专利技术属性】
技术研发人员:王丹,刘浩,张宝丰,王冠,
申请(专利权)人:北京京东远升科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。