目标检测模型的训练方法、地图的生成方法、装置和设备制造方法及图纸

本公开实施例公开了一种目标检测模型的训练方法、地图的生成方法、装置和设备，其中，方法包括：获取训练输入数据及对应的第一标签数据，训练输入数据包括训练图像数据和/或训练点云数据，第一标签数据包括训练输入数据中第一数量的实例分别对应的有序点集，有序点集包括目标数量的第一坐标系下的坐标点；基于训练输入数据、第一标签数据、点对点损失函数及方向损失函数，对预先建立的目标检测网络进行训练，获得目标检测模型。本公开实施例获得的目标检测模型可以准确有效地预测出各实例分别对应的有序点集，实现了实例的坐标点级别的预测，相对于现有的实例框级别的预测，大大提高了预测结果的精度。高了预测结果的精度。高了预测结果的精度。

【技术实现步骤摘要】
目标检测模型的训练方法、地图的生成方法、装置和设备


[0001]本公开涉及自动驾驶技术，尤其是一种目标检测模型的训练方法、地图的生成方法、装置和设备。

技术介绍

[0002]在自动驾驶场景，通常需要利用车载环视相机和/或雷达进行道路元素(比如车道线、斑马线、路沿、可行驶区域等元素)的感知，用于在线地图的生成。相关技术中通常采用目标检测模型对各类元素对应的地图实例框进行预测，获得地图实例框位置，进而基于各地图实例框位置生成地图，但是，生成的地图精度较低。

技术实现思路

[0003]为了解决上述基于地图实例框位置生成的地图精度较低等技术问题，提出了本公开。本公开的实施例提供了一种目标检测模型的训练方法、地图的生成方法、装置和设备。
[0004]根据本公开实施例的一个方面，提供了一种目标检测模型的训练方法，包括：获取训练输入数据及对应的第一标签数据，所述训练输入数据包括训练图像数据和/或训练点云数据，所述第一标签数据包括所述训练输入数据中第一数量的实例分别对应的有序点集，所述有序点集包括目标数量的第一坐标系下的坐标点；基于所述训练输入数据、所述第一标签数据、点对点损失函数及方向损失函数，对预先建立的目标检测网络进行训练，获得目标检测模型，所述点对点损失函数用于确定所述目标检测网络输出的训练实例点集相对于所述第一标签数据中实例的有序点集的点对点损失，所述方向损失函数用于确定所述训练实例点集中点与点之间的方向相对于所述第一标签数据中实例的有序点集的点与点之间的方向的损失。
[0005]根据本公开实施例的另一个方面，提供了一种地图的生成方法，包括：获取至少一个视角的第一图像数据和/或第一点云数据；基于所述第一图像数据和/或所述第一点云数据，采用预先训练获得的目标检测模型，获得目标实例有序点集，所述目标检测模型通过如上任一实施例所述的目标检测模型的训练方法获得，所述目标实例有序点集包括第一数量的实例分别对应的有序点集，所述有序点集包括目标数量的第一坐标系下的坐标点；基于所述目标实例有序点集，生成地图。
[0006]根据本公开实施例的再一个方面，提供了一种目标检测模型的训练装置，包括：第一获取模块，用于获取训练输入数据及对应的第一标签数据，所述训练输入数据包括训练图像数据和/或训练点云数据，所述第一标签数据包括所述训练输入数据中第一数量的实例分别对应的有序点集，所述有序点集包括目标数量的第一坐标系下的坐标点；第一处理模块，用于基于所述训练输入数据、所述第一标签数据、点对点损失函数及方向损失函数，对预先建立的目标检测网络进行训练，获得目标检测模型，所述点对点损失函数用于确定所述目标检测网络输出的训练实例点集相对于所述第一标签数据中实例的有序点集的点对点损失，所述方向损失函数用于确定所述训练实例点集中点与点之间的方向相对于所述
第一标签数据中实例的有序点集的点与点之间的方向的损失。
[0007]根据本公开实施例的又一方面，提供一种地图的生成装置，包括：第二获取模块，用于获取至少一个视角的第一图像数据和/或第一点云数据；第二处理模块，用于基于所述第一图像数据和/或所述第一点云数据，采用预先训练获得的目标检测模型，获得目标实例有序点集，所述目标检测模型通过如上任一实施例所述的目标检测模型的训练方法获得，所述目标实例有序点集包括第一数量的实例分别对应的有序点集，所述有序点集包括目标数量的第一坐标系下的坐标点。
[0008]根据本公开实施例的再一方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开上述任一实施例所述的目标检测模型的训练方法；或者，所述计算机程序用于执行本公开上述任一实施例所述的地图的生成方法。
[0009]根据本公开实施例的又一方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开上述任一实施例所述的目标检测模型的训练方法。
[0010]根据本公开实施例的再一方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开上述任一实施例所述的地图的生成方法。
[0011]基于本公开上述实施例提供的目标检测模型的训练方法、地图的生成方法、装置和设备，通过实例对应的有序点集作为标签，结合点对点损失和方向损失对预先建立的目标检测网络进行训练，获得的目标检测模型能够对图像数据和/或点云数据进行实例的有序点集的预测，即实现地图元素坐标点级别的预测，相对于现有的实例框级别的预测，能够有效提高精度。
[0012]下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
[0013]通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0014]图1是本公开提供的目标检测模型的训练方法的一个示例性的应用场景；
[0015]图2是本公开一示例性实施例提供的目标检测模型的训练方法的流程示意图；
[0016]图3是本公开一示例性实施例提供的步骤202的流程示意图；
[0017]图4是本公开一示例性实施例提供的目标检测网络的结构示意图；
[0018]图5是本公开另一示例性实施例提供的步骤202的流程示意图；
[0019]图6是本公开一示例性实施例提供的步骤2021的流程示意图；
[0020]图7是本公开一示例性实施例提供的解码器网络的结构示意图；
[0021]图8是本公开一示例性实施例提供的Deformable DETR的原理示意图；
[0022]图9是本公开另一示例性实施例提供的训练实例点集的确定原理示意图；
[0023]图10是本公开再一示例性实施例提供的步骤202的流程示意图；
[0024]图11是本公开一示例性实施例提供的预测类型的预测网络示意图；
[0025]图12是本公开一示例性实施例提供的步骤2024的流程示意图；
[0026]图13是本公开一示例性实施例提供的地图的生成方法的流程示意图；
[0027]图14是本公开一示例性实施例提供的目标检测模型的训练装置的结构示意图；
[0028]图15是本公开一示例性实施例提供的第一处理模块502的结构示意图；
[0029]图16是本公开一示例性实施例提供的第二处理单元5022的结构示意图；
[0030]图17是本公开一示例性实施例提供的第一处理单元5021的结构示意图；
[0031]图18是本公开另一示例性实施例提供的第一处理模块502的结构示意图；
[0032]图19是本公开一示例性实施例提供的地本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标检测模型的训练方法，包括：获取训练输入数据及对应的第一标签数据，所述训练输入数据包括训练图像数据和/或训练点云数据，所述第一标签数据包括所述训练输入数据中第一数量的实例分别对应的有序点集，所述有序点集包括目标数量的第一坐标系下的坐标点；基于所述训练输入数据、所述第一标签数据、点对点损失函数及方向损失函数，对预先建立的目标检测网络进行训练，获得目标检测模型，所述点对点损失函数用于确定所述目标检测网络输出的训练实例点集相对于所述第一标签数据中实例的有序点集的点对点损失，所述方向损失函数用于确定所述训练实例点集中点与点之间的方向相对于所述第一标签数据中实例的有序点集的点与点之间的方向的损失。2.根据权利要求1所述的方法，其中，所述基于所述训练输入数据、所述第一标签数据、点对点损失函数及方向损失函数，对预先建立的目标检测网络进行训练，获得目标检测模型，包括：基于所述训练输入数据及所述目标检测网络，获得所述训练实例点集；基于所述训练实例点集、所述第一标签数据及所述点对点损失函数，确定第一损失；基于所述训练实例点集、所述第一标签数据及所述方向损失函数，确定第二损失；基于所述第一损失和所述第二损失，对所述目标检测网络的网络参数进行调整，直至所述第一损失和所述第二损失满足预设条件，获得所述目标检测模型。3.根据权利要求2所述的方法，其中，所述基于所述训练实例点集、所述第一标签数据及所述点对点损失函数，确定第一损失，包括：对于每个所述实例，基于所述第一标签数据中该实例对应的有序点集，分别以该有序点集的不同顺序，确定该有序点集中各点与所述训练实例点集中该实例的点的对应关系，获得各顺序分别对应的点对点关系；基于各顺序分别对应的所述点对点关系，确定各顺序分别对应的点对点损失；将点对点损失最小的顺序作为该实例的目标顺序；将所述目标顺序对应的点对点损失作为该实例的目标点对点损失；基于各所述实例的所述目标点对点损失，确定所述第一损失。4.根据权利要求3所述的方法，其中，所述基于所述训练实例点集、所述第一标签数据及所述方向损失函数，确定第二损失，包括：基于所述训练实例点集、所述第一标签数据、各实例分别对应的目标顺序及所述方向损失函数，确定所述第二损失。5.根据权利要求2所述的方法，其中，所述训练输入数据还包括初始查询特征及初始参考点，所述初始查询特征包括所述第一数量的实例分别对应的目标数量的初始特征，所述初始参考点包括各所述初始特征分别对应的参考坐标点；所述目标检测网络为基于可变形检测变换器的检测网络；所述基于所述训练输入数据及所述目标检测网络，获得所述训练实例点集，包括：基于所述目标检测网络中的第一特征提取网络对所述训练图像数据进行特征提取，获得第一训练图像特征；基于所述目标检测网络中的第二特征提取网络对所述训练点云数据进行特征提取，获得第一训练点云特征；
基于所述目标检测网络中的编码器网络对所述第一训练图像特征和/或所述第一训练点云特征进行编码，获得第一坐标系下的目标训练特征图；基于所述目标训练特征图、所述初始查询特征、所述初始参考点、及所述目标检测网络中的解码器网络，获得训练解码结果，所述解码器网络包括至少一个解码器；基于所述训练解码结果，确定所述训练实例点集。6.根据权利要求5所述的方法，其中，所述基于所述目标训练特征图、所述初始查询特征、所述初始参考点、及所述目标检测网络中的解码器网络，获得训练解码结果，包括：对于所述解码器网络中的每个所述解码器，基于所述目标训练特征图及该解码器对应的输入查询特征和输入参考点，获得该解码器的解码结果，其中，第一个解码器对应的输入查询特征和输入参考点分别为所述初始查询特征和所述初始参考点，除所述第一个解码器之外的任一其他解码器对应的输入查询特征为该其他解码器的前一解码器的解码结果，该其他解码器的输入参考点为基于前一解码器的解码结果确定的输出参考点；将最后一个所述解码器的解码结果作为所述训练解码结果。7.根据权利要求6所述的方法，其中，在所述对于所述解码器网络中的每个所述解码器，基于所述目标训练特征图及该解码器对应的输入查询特征和输入参考点，获得该解码器的解码结果之后，还包括：基于该解码器的解码结果、及该解码器对应的偏移量预测网络，确...

【专利技术属性】
技术研发人员：廖本成，陈少宇，程天恒，张骞，
申请(专利权)人：北京地平线信息技术有限公司，
类型：发明
国别省市：