三维车道线检测模型的训练方法技术

本申请提供了一种三维车道线检测模型的训练方法

【技术实现步骤摘要】
三维车道线检测模型的训练方法、检测方法及装置


[0001]本申请实施例涉及自动驾驶
，尤其涉及一种三维车道线检测模型的训练方法
、
检测方法及装置
。

技术介绍

[0002]三维车道线检测在自动驾驶和辅助驾驶系统中均具有很重要的作用，比如压线报警
、
车道保持以及路径规划等下游任务中，都需要相对于自车坐标系下精确的车道线三维位置
。
[0003]传统的车道线检测算法，通常在二维图像中检测二维车道线结果，然后通过相机的内参和外参，将二维检测结果转换到三维坐标空间中，这种方式应用了地平面假设，会导致在路面不平
(
比如上下坡或者路面左右倾斜时
)
的情况下三维车道线检测结果错误
。

技术实现思路

[0004]本申请提供一种三维车道线检测模型的训练方法
、
三维车道线检测方法
、
装置
、
设备及介质，可解决现有的三维车道线检测方法的检测结果不准确的问题
。
[0005]第一方面，提供一种三维车道线检测模型的训练方法，包括：
[0006]获取多个车载相机所拍摄的不同视角的多张道路图像；
[0007]将所述多张道路图像输入至第一目标检测模型，得到每张道路图像对应的第一特征图像以及二维车道线的检测结果；
[0008]将所述第一特征图像输入至第二目标检测模型，得到三维车道线的检测结果；
[0009]根据第一损失函数和二维车道线的真实标注结果对所述第一目标检测模型进行优化，根据第二损失函数和三维车道线的真实标注结果对所述第二目标检测模型进行优化，以获得目标车道线检测模型，所述目标车道线检测模型用于根据输入的所述道路图像输出最终的三维车道线检测结果
。
[0010]第二方面，提供一种三维车道线检测方法，包括：
[0011]获取多个车载相机所拍摄的不同视角的多张道路图像；
[0012]将所述多张道路图像输入至上述任一项所述的目标车道线检测模型；
[0013]根据所述目标车道线检测模型，确定所述多张道路图像中三维车道线的检测结果
。
[0014]第三方面，提供一种三维车道线检测模型的训练装置，包括：
[0015]获取单元，用于获取多个车载相机所拍摄的不同视角的多张道路图像；
[0016]第一目标检测单元，用于将所述多张道路图像输入至第一目标检测模型，得到每张道路图像对应的第一特征图像以及二维车道线的检测结果；
[0017]第二目标检测单元，用于将所述第一特征图像输入至第二目标检测模型，得到三维车道线的检测结果；
[0018]优化单元，用于根据第一损失函数和二维车道线的真实标注结果对所述第一目标
检测模型进行优化，根据第二损失函数和三维车道线的真实标注结果对所述第二目标检测模型进行优化，以获得目标车道线检测模型，所述目标车道线检测模型用于根据输入的所述道路图像输出最终的三维车道线检测结果
。
[0019]第四方面，提供一种三维车道线检测装置，包括：
[0020]获取单元，用于获取多个车载相机所拍摄的不同视角的多张道路图像；
[0021]输入单元，用于将所述多张道路图像输入至上述任一项所述的目标车道线检测模型；
[0022]确定单元，用于根据所述目标车道线检测模型，确定所述多张道路图像中三维车道线的检测结果
。
[0023]第五方面，提供一种电子设备，包括：处理器和存储器，该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，执行如第一方面
、
第二方面或其各实现方式中的方法
。
[0024]第六方面，提供一种计算机可读存储介质，用于存储计算机程序，计算机程序使得计算机执行如第一方面
、
第二方面或其各实现方式中的方法
。
[0025]通过本申请提供的技术方案，首先获取多个车载相机所拍摄的不同视角的多张道路图像；将多张道路图像输入至第一目标检测模型，得到每张道路图像对应的第一特征图像以及二维车道线的检测结果；将第一特征图像输入至第二目标检测模型，得到三维车道线的检测结果；根据第一损失函数和二维车道线的真实标注结果对第一目标检测模型进行优化，根据第二损失函数和三维车道线的真实标注结果对第二目标检测模型进行优化，，以获得目标车道线检测模型，目标车道线检测模型用于根据输入的道路图像输出最终的三维车道线检测结果
。
可以实现输入多个相机视角下的同一时刻的道路图像，为下游任务提供周视鸟瞰图视角下精确的三维车道线检测结果
。
[0026]本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明
。
附图说明
[0027]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
。
[0028]图1为本申请实施例提供的一种应用场景图；
[0029]图2为本申请实施例提供的一种三维车道线检测模型的训练方法的流程图；
[0030]图3为本申请实施例提供的另一种三维车道线检测模型的训练方法的流程图；
[0031]图4为本申请实施例提供的又一种三维车道线检测模型的训练方法的流程图；
[0032]图5为本申请实施例提供的一种三维车道线检测方法的流程图；
[0033]图6为本申请实施例提供的一种三维车道线检测模型的训练装置的示意图；
[0034]图7为本申请实施例提供的一种三维车道线检测装置的示意图；
[0035]图8是本申请实施例提供的电子设备的示意性框图
。
具体实施方式
[0036]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例
。
基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围
。
[0037]需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序
。
应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施
。
此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程
、
方法
、
系统
、
产品或服务器不必限于清楚地列出的那些步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种三维车道线检测模型的训练方法，其特征在于，包括：获取多个车载相机所拍摄的不同视角的多张道路图像；将所述多张道路图像输入至第一目标检测模型，得到每张道路图像对应的第一特征图像以及二维车道线的检测结果；将所述第一特征图像输入至第二目标检测模型，得到三维车道线的检测结果；根据第一损失函数和二维车道线的真实标注结果对所述第一目标检测模型进行优化，根据第二损失函数和三维车道线的真实标注结果对所述第二目标检测模型进行优化，以获得目标车道线检测模型，所述目标车道线检测模型用于根据输入的所述道路图像输出最终的三维车道线检测结果
。2.
根据权利要求1所述的方法，其特征在于，所述将所述多张道路图像输入至第一目标检测模型，得到每张道路图像对应的第一特征图像以及二维车道线的检测结果，包括：将所述多张道路图像作为训练样本，输入至所述第一目标检测模型；所述第一目标检测模型包括第一骨干网络以及第一预测头；利用所述第一骨干网络对所述多张道路图像进行特征提取，以得到每张道路图像对应的第一特征图像；将所述第一特征图像输入至所述第一预测头中，以得到所述第一目标检测模型输出的二维车道线的检测结果
。3.
根据权利要求1所述的方法，其特征在于，所述第二目标检测模型，包括：
Transformer
网络
、Neck
模块以及第二预测头；相应地，所述将所述第一特征图像输入至第二目标检测模型，得到三维车道线的检测结果，包括：将多张所述第一特征图像输入至所述
Transformer
网络进行特征融合，以将所述第一特征图像转换到鸟瞰图视角下的鸟瞰图特征图像；利用所述
Neck
模块对所述鸟瞰图特征图像进行特征提取，以得到第二特征图像；将所述第二特征图像输入至所述第二预测头中，以得到第二目标检测模型输出的三维车道线的检测结果
。4.
根据权利要求1所述的方法，其特征在于，所述根据第二损失函数和三维车道线的真实标注结果对所述第二目标检测模型进行优化，包括：计算所述第二目标检测模型输出的检测结果与三维车道线的真实标注结果之间的交叉熵损失
、
横向偏移误差损失和高度误差损失；基于所述交叉熵损失
、
横向偏移误差损失和高度误差损失对所述第二目标检测模型的参数调整，以得到训...

【专利技术属性】
技术研发人员：周婷，吕晋，庞飞，金澍，刘威，胡骏，
申请(专利权)人：东软睿驰汽车技术沈阳有限公司，
类型：发明
国别省市：