模型训练方法、目标检测方法、装置及电子设备制造方法及图纸

本申请提供一种模型训练方法、目标检测方法、装置及电子设备，涉及驾驶检测技术领域。模型训练方法包括：通过初始模型对训练图像进行特征提取，得到特征数据；通过初始模型基于特征数据进行多分支预测，得到预测数据；基于训练图像对应的真值数据和预测数据，对初始模型进行调整，以得到检测模型；其中，真值数据包括：二维检测数据、三维检测数据和可行驶区域数据。目标检测方法包括：将检测图像输入检测模型进行多分支预测，得到初始预测数据；对初始预测数据进行筛选，得到目标预测数据；其中，检测模型由模型训练方法确定。本申请能够在训练得到的检测模型中，直接通过图像数据进行二维和三维联合的目标检测，提高了目标检测的效率和时效性。率和时效性。率和时效性。

【技术实现步骤摘要】
模型训练方法、目标检测方法、装置及电子设备


[0001]本申请涉及驾驶检测
，具体而言，涉及一种模型训练方法、目标检测方法、装置及电子设备。

技术介绍

[0002]自动驾驶系统中通常会涉及2D目标检测、可行驶区域分割和3D目标检测等多种任务，这些任务都需要对应的方法来处理。
[0003]由于各种检测方式原理的区别以及网络不通用等原因，现有的自动驾驶多任务方法主要是针对2D目标检测、可行驶区域以及车道线等分别进行单独地处理，并且进行单目3D目标检测去优化目标的定位，通过分别单独处理的方式完成多种任务，而这种方式需要更多资源，导致任务处理时的耗时增加，从而导致目标检测时的检测效率和时效性较低。

技术实现思路

[0004]有鉴于此，本申请实施例的目的在于提供一种模型训练方法、目标检测方法、装置及电子设备，以改善现有技术中存在的对目标进行检测的检测效率较低的问题。
[0005]为了解决上述问题，第一方面，本申请实施例提供了一种模型训练方法，所述方法包括：
[0006]通过初始模型对训练图像进行特征提取，得到特征数据；
[0007]通过所述初始模型基于所述特征数据进行多分支预测，得到预测数据；
[0008]基于所述训练图像对应的真值数据和所述预测数据，对所述初始模型进行调整，以得到检测模型；
[0009]其中，所述真值数据包括：二维检测数据、三维检测数据和可行驶区域数据。
[0010]在上述实现过程中，在对检测的初始模型进行训练时，可以先对训练图像进行特征提取，从而在特征数据的基础上，进行多个预测分支的感知处理，能够对二维目标、三维目标以及可行驶区域等多个分支进行同时预测处理，得到相应的预测数据。再结合训练图像对应的真值数据和预测数据确定初始模型的预测效果，能够在预测效果不佳时，及时地根据两种数据的相差情况对初始模型进行调整，以得到预测效果较高的检测模型。能够同时对多个预测分支进行预测处理，有效地提高了目标检测时的效率和时效性，还能够对模型的预测效果进行实时地调整，有效地提高了得到的检测模型的训练效果，从而提高了目标检测时的准确性。
[0011]可选地，其中，所述多分支包括检测分支和分割分支，所述预测数据包括检测预测数据和区域预测数据；
[0012]所述通过所述初始模型基于所述特征数据进行多分支预测，得到预测数据，包括：
[0013]在所述检测分支中，通过所述初始模型基于所述特征数据进行多维的目标检测预测，得到所述检测预测数据；
[0014]在所述分割分支中，通过所述初始模型基于所述特征数据进行区域预测，得到所
述区域预测数据。
[0015]在上述实现过程中，多个预测分支分别包括对目标进行检测的检测分支和对区域进行分支的分割分支，在对目标检测进行预测时，初始模型能够基于特征数据，进行多个维度的联合目标检测预测，无需分别进行二维目标检测和三维目标检测，并结合对可行驶区域进行的分割预测得到的区域预测数据，得到相应的对区域和目标进行预测的预测数据。能够将二维目标预测与三维目标预测进行结合预测，有效地减少了模型的计算成本和预测时间，提高了模型执行每个任务时的性能，提升了模型的泛化性，从而提升了预测数据的获取效率和时效性。
[0016]可选地，其中，所述检测预测数据包括二维预测数据和三维预测数据；
[0017]所述通过所述初始模型基于所述特征数据进行多维的目标检测预测，得到所述检测预测数据，包括：
[0018]通过所述初始模型基于所述特征数据和语义信息进行融合，得到多尺度特征数据；
[0019]确定所述真值数据中的所述二维检测数据和所述三维检测数据之间的转换关系；
[0020]通过所述初始模型基于所述多尺度特征数据进行识别，得到预测二维框；
[0021]通过所述初始模型根据所述预测二维框和所述转换关系，确定预测三维框；
[0022]通过所述初始模型提取所述预测三维框中的关键点数据进行计算，得到所述三维预测数据；
[0023]通过所述初始模型基于所述三维预测数据和所述转换关系，确定所述二维预测数据。
[0024]在上述实现过程中，在进行多维度的目标检测预测时，初始模型能够在融合得到的多尺度特征数据的基础上进行识别，以确定预测二维框，再结合二维检测数据与三维检测数据之间的转换关系，得到预测二维框对应的预测三维框，从而提取预测三维框中的关键点数据进行计算，得到三维预测数据，再结合转换关系，得到对应的二维预测数据。能够结合真值数据中二维与三维的转换关系，将二维目标检测和三维目标检测的预测任务进行结合处理，无需单独进行二维目标检测，也无需依赖雷达与相机的转换情况单独进行三维目标检测，减少了模型的计算成本和预测时间，有效地提高了模型的泛化能力和目标检测的效率。
[0025]可选地，所述通过所述初始模型基于所述特征数据进行区域预测，得到所述区域预测数据，包括：
[0026]通过所述初始模型对所述特征数据进行上采样处理，得到上采样数据；
[0027]通过所述初始模型对所述上采样数据的尺度进行调整，得到调整数据；
[0028]通过所述初始模型基于所述调整数据的像素进行识别，得到可行驶区域的所述区域预测数据。
[0029]在上述实现过程中，在初始模型对可行驶区域进行分割预测时，可以将特征数据输入初始模型中进行上采样、尺度调整、像素识别等多种处理，以得到对图像中的可行驶区域进行预测的区域预测数据。能够对图像中的可行驶区域和其他区域进行区分和预测，有效地提高了区域预测数据的准确性和有效性。
[0030]可选地，所述基于所述训练图像对应的真值数据和所述预测数据，对所述初始模
型进行调整，以得到检测模型，包括：
[0031]将所述真值数据与所述预测数据进行对比，得到对比差值；
[0032]若判定所述对比差值大于或等于预设阈值，则对所述初始模型中的分支预测参数进行修改，得到修改模型；
[0033]通过修改模型对所述特征数据进行多分支预测，得到修改预测数据；
[0034]将所述真值数据与所述修改预测数据进行对比，得到修改对比差值，直至当前的修改对比差值小于所述预设阈值，则以当前的修改模型作为所述检测模型。
[0035]在上述实现过程中，可以将真值数据与预测得到的预测数据进行对比，能够在对比差值较大，即预测数据与真值数据差别较大，预测效果较差时，对初始模型中多个分支中相应的分支预测参数进行修改，得到修改模型。并继续基于修改模型对特征数据进行多分支预测，得到修改预测数据，以将修改预测数据与真值数据的修改对比差值与预设阈值进行对比。通过重复修改模型和对预测数据进行对比的方式，直至当前获取的修改对比差值小于预设阈值，则表征当前的修改预测数据与真值数据差别较小，预测效果较好，可以停止修改，以当前的修改模型作为最终的检测模型。能够通过对比和参数修改的方式，对初始模型进行不断地调整和完善，有效地提高了最终确定的检测模型的预测本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，所述方法包括：通过初始模型对训练图像进行特征提取，得到特征数据；通过所述初始模型基于所述特征数据进行多分支预测，得到预测数据；基于所述训练图像对应的真值数据和所述预测数据，对所述初始模型进行调整，以得到检测模型；其中，所述真值数据包括：二维检测数据、三维检测数据和可行驶区域数据。2.根据权利要求1所述的方法，其特征在于，其中，所述多分支包括检测分支和分割分支，所述预测数据包括检测预测数据和区域预测数据；所述通过所述初始模型基于所述特征数据进行多分支预测，得到预测数据，包括：在所述检测分支中，通过所述初始模型基于所述特征数据进行多维的目标检测预测，得到所述检测预测数据；在所述分割分支中，通过所述初始模型基于所述特征数据进行区域预测，得到所述区域预测数据。3.根据权利要求2所述的方法，其特征在于，其中，所述检测预测数据包括二维预测数据和三维预测数据；所述通过所述初始模型基于所述特征数据进行多维的目标检测预测，得到所述检测预测数据，包括：通过所述初始模型基于所述特征数据和语义信息进行融合，得到多尺度特征数据；确定所述真值数据中的所述二维检测数据和所述三维检测数据之间的转换关系；通过所述初始模型基于所述多尺度特征数据进行识别，得到预测二维框；通过所述初始模型根据所述预测二维框和所述转换关系，确定预测三维框；通过所述初始模型提取所述预测三维框中的关键点数据进行计算，得到所述三维预测数据；通过所述初始模型基于所述三维预测数据和所述转换关系，确定所述二维预测数据。4.根据权利要求2所述的方法，其特征在于，所述通过所述初始模型基于所述特征数据进行区域预测，得到所述区域预测数据，包括：通过所述初始模型对所述特征数据进行上采样处理，得到上采样数据；通过所述初始模型对所述上采样数据的尺度进行调整，得到调整数据；通过所述初始模型基于所述调整数据的像素进行识别，得到可行驶区域的所述区域预测数据。5.根据权利要求1所述的方法，其特征在于，所述基于所述训练图像对应的真值数据和所述预测数据，对所述初始模型进行调整，以得到检测模型，包括：将所述真值数据与所述预测数据进行对比，得到对比差值；若判定所述对比差值大于或等于预设阈值，则对所述初始模型中的分支预测参数进行修改，得到修改模型；通过修改模型对所述特征数据进行多分支预测，得到修改预测数据；将所述真值数据与所述修改预测数据进行对比，得到修改对比差值，直至当前的修改对比差值小于所述预设阈值，则以当前的修改模型作为所述检测模型。6.根据权利要求1所述的方法，其特征在于，所述真值数据通过以下方式获取：
将所述训练图像中的二维检测标注和三维...

【专利技术属性】
技术研发人员：周雅玲，
申请(专利权)人：智道网联科技北京有限公司，
类型：发明
国别省市：