车道线检测方法、装置、电子设备和存储介质制造方法及图纸

本申请实施例公开一种车道线检测方法、装置、电子设备和存储介质；可用于地图或智慧交通或自动驾驶领域，包括：对道路图像进行特征提取处理，得到特征图以及车道线全局特征，车道线全局特征携带有车道线数量的检测上限值N；获取车道线局部特征，并将车道线全局特征与车道线局部特征进行特征融合处理，得到车道线查询特征，车道线局部特征携带有用于检测车道线位置的采样点数值M；基于车道线查询特征，得到N

【技术实现步骤摘要】
车道线检测方法、装置、电子设备和存储介质


[0001]本申请涉及计算机领域，具体涉及一种车道线检测方法、装置、电子设备和存储介质。

技术介绍

[0002]现有技术中，依据单目图像进行车道线检测通常会通过如下两种方式实现。
[0003]一种方式是：基于单目图像的二维分割结果，对单目图像逐像素地进行深度估计，从而实现三维车道线的重建；然而上述方式需要高质量的深度数据参与训练，并且严重依赖于估算深度的精确性。另一种方式是：通过逆透视变换(Inverse Perspective Mapping，简称IPM)将单目图像投影到鸟瞰图(Bird's Eye View，简称BEV)来构建单目图像的三维代理表示，并基于此进行三维车道线的检测；然而上述方式所依赖的IPM是基于平坦地面的假设，在很多实际驾驶场景中，例如上坡、下坡、地面不平坦等，上述假设并不成立。这会导致三维代理表示与原始图像之间的形变，而这种形变的三维代理表示不可避免地损害了对道路结构准确估计的能力。
[0004]因此，现有的技术方案中，依据单目图像进行车道线的检测存在着准确性较低的问题。

技术实现思路

[0005]本申请实施例提供一种车道线检测方法、装置、电子设备和存储介质，可以改善现有技术中依据单目图像进行车道线的检测准确性较低的问题。
[0006]本申请实施例提供一种车道线检测方法，该方法包括：对道路图像进行特征提取处理，得到特征图以及车道线全局特征，其中，所述特征图包含车道线信息，所述车道线全局特征携带有车道线数量的检测上限值N；获取车道线局部特征，并将所述车道线全局特征与所述车道线局部特征进行特征融合处理，得到车道线查询特征，其中，所述车道线局部特征携带有用于检测车道线位置的采样点数值M；所述车道线查询特征既携带有所述检测上限值N，又携带有所述采样点数值M；基于所述车道线查询特征，得到N
×
M个三维参考点；其中，所述三维参考点用于指示所述车道线坐标点于三维坐标系中的参考位置；获取三维位置信息特征，其中，所述三维位置信息特征用于修正所述车道线在三维空间的高度位置；基于所述特征图、所述三维位置信息特征、所述N
×
M个三维参考点以及所述车道线查询特征，得到N
×
M个位置偏移量，其中，所述位置偏移量与所述三维参考点一一对应；对于每个所述位置偏移量，基于所述位置偏移量对相应的三维参考点进行偏移，得到位置预测点，其中，N
×
M个所述位置预测点表征：对于N条车道线中的每条车道线，均用M个位置预测点指示相应车道线的轮廓。
[0007]本申请实施例还提供一种车道线检测装置，所述装置包括：
[0008]特征提取单元，用于对道路图像进行特征提取处理，得到特征图以及车道线全局特征，其中，所述特征图包含车道线信息，所述车道线全局特征携带有车道线数量的检测上
限值N；
[0009]特征融合单元，用于获取车道线局部特征，并将所述车道线全局特征与所述车道线局部特征进行特征融合处理，得到车道线查询特征，其中，所述车道线局部特征携带有用于检测车道线位置的采样点数值M；所述车道线查询特征既携带有所述检测上限值N，又携带有所述采样点数值M；
[0010]参考点获取单元，用于基于所述车道线查询特征，得到N
×
M个三维参考点；其中，所述三维参考点用于指示所述车道线坐标点于三维坐标系中的参考位置；
[0011]位置信息单元，用于获取三维位置信息特征，其中，所述三维位置信息特征用于修正所述车道线在三维空间的高度位置；
[0012]偏移量获取单元，用于基于所述特征图、所述三维位置信息特征、所述N
×
M个三维参考点以及所述车道线查询特征，得到N
×
M个位置偏移量，其中，所述位置偏移量与所述三维参考点一一对应；
[0013]预测点获取单元，用于对于每个所述位置偏移量，基于所述位置偏移量对相应的三维参考点进行偏移，得到位置预测点，其中，N
×
M个所述位置预测点表征：对于N条车道线中的每条车道线，均用M个位置预测点指示相应车道线的轮廓。
[0014]在一些实施例中，特征提取单元，包括：
[0015]第一提取子单元，用于对道路图像进行第一特征提取处理，得到所述特征图；
[0016]第二提取子单元，用于对所述特征图进行第二特征提取处理，得到所述车道线全局特征。
[0017]在一些实施例中，第二提取子单元，包括：
[0018]第三提取次子单元，用于对所述特征图进行第三特征提取处理，得到第一特征子图，其中，所述第一特征子图携带有所述检测上限值N；
[0019]第四提取次子单元，用于对所述特征图进行第四特征提取处理，得到第二特征子图，其中，所述第二特征子图携带有特征维度值；
[0020]特征融合次子单元，用于对所述第一特征子图与所述第二特征子图进行特征融合处理，得到所述车道线全局特征。
[0021]在一些实施例中，特征融合单元，具体用于对所述车道线全局特征与所述车道线局部特征进行广播相加处理，得到所述车道线查询特征。
[0022]在一些实施例中，位置信息单元，包括：
[0023]坐标点创建子单元，用于创建位于同一水平面的多个三维坐标点，其中，每个所述三维坐标点均有自身的三维坐标值；
[0024]坐标投影子单元，用于对所述多个三维坐标点进行投影处理，得到多个二维坐标点，其中，每个所述三维坐标点均有自身的二维坐标值；
[0025]矩阵创建子单元，用于创建特征维度为3的初始二维矩阵，其中，所述初始二维矩阵对应有二维坐标范围；
[0026]坐标遍历子单元，用于对于所述多个二维坐标点，若存在有二维坐标点的二维坐标值落入所述二维坐标范围，则获取所述二维坐标点对应的三维坐标值，并利用所述三维坐标值填充所述初始二维矩阵的相应位置点的特征维度，直到遍历全部所述二维坐标点；
[0027]二维矩阵子单元，用于当所述初始二维矩阵还存在有未与任一二维坐标点对应的
位置点时，以预设数值填充所述位置点，获得目标二维矩阵；
[0028]三维位置子单元，用于对所述目标二维矩阵进行多层非线性变换，得到所述三维位置信息特征。
[0029]在一些实施例中，偏移量获取单元，具体用于基于所述特征图、所述三维位置信息特征以及所述N
×
M个三维参考点，对所述车道线查询特征进行更新，得到特征更新结果；基于所述特征更新结果，得到N
×
M个位置偏移量。
[0030]在一些实施例中，所述装置还包括：
[0031]步骤跳转单元，用于将所述特征更新结果作为新的车道线查询特征，并跳转到步骤：基于所述车道线查询特征，得到N
×
M个三维参考点；
[0032]阈值达到单元，用于直到跳转次数达到预设数值，获取最终的特征更新结果。
[0033]在一些实施例中，在所述车道本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车道线检测方法，其特征在于，所述方法包括：对道路图像进行特征提取处理，得到特征图以及车道线全局特征，其中，所述特征图包含车道线信息，所述车道线全局特征携带有车道线数量的检测上限值N；获取车道线局部特征，并将所述车道线全局特征与所述车道线局部特征进行特征融合处理，得到车道线查询特征，其中，所述车道线局部特征携带有用于检测车道线位置的采样点数值M；所述车道线查询特征既携带有所述检测上限值N，又携带有所述采样点数值M；基于所述车道线查询特征，得到N
×
M个三维参考点；其中，所述三维参考点用于指示所述车道线坐标点于三维坐标系中的参考位置；获取三维位置信息特征，其中，所述三维位置信息特征用于修正所述车道线在三维空间的高度位置；基于所述特征图、所述三维位置信息特征、所述N
×
M个三维参考点以及所述车道线查询特征，得到N
×
M个位置偏移量，其中，所述位置偏移量与所述三维参考点一一对应；对于每个所述位置偏移量，基于所述位置偏移量对相应的三维参考点进行偏移，得到位置预测点，其中，N
×
M个所述位置预测点表征：对于N条车道线中的每条车道线，均用M个位置预测点指示相应车道线的轮廓。2.如权利要求1所述的方法，其特征在于，所述对道路图像进行特征提取处理，得到特征图以及车道线全局特征，包括：对道路图像进行第一特征提取处理，得到所述特征图；对所述特征图进行第二特征提取处理，得到所述车道线全局特征。3.如权利要求2所述的方法，其特征在于，所述对所述特征图进行第二特征提取处理，得到所述车道线全局特征，包括：对所述特征图进行第三特征提取处理，得到第一特征子图，其中，所述第一特征子图携带有所述检测上限值N；对所述特征图进行第四特征提取处理，得到第二特征子图，其中，所述第二特征子图携带有特征维度值；对所述第一特征子图与所述第二特征子图进行特征融合处理，得到所述车道线全局特征。4.如权利要求1所述的方法，其特征在于，所述将所述车道线全局特征与所述车道线局部特征进行特征融合处理，得到车道线查询特征，包括：对所述车道线全局特征与所述车道线局部特征进行广播相加处理，得到所述车道线查询特征。5.如权利要求1所述的方法，其特征在于，所述获取三维位置信息特征，包括：创建位于同一水平面的多个三维坐标点，其中，每个所述三维坐标点均有自身的三维坐标值；对所述多个三维坐标点进行投影处理，得到多个二维坐标点，其中，每个所述三维坐标点均有自身的二维坐标值；创建特征维度为3的初始二维矩阵，其中，所述初始二维矩阵对应有二维坐标范围；对于所述多个二维坐标点，若存在有二维坐标点的二维坐标值落入所述二维坐标范围，则获取所述二维坐标点对应的三维坐标值，并利用所述三维坐标值填充所述初始二维
矩阵的相应位置点的特征维度，直到遍历全部所述二维坐标点；若所述初始二维矩阵还存在有未与任一二维坐标点对应的位置点，则以预设数值填充所述位置点，获得目标二维矩阵；对所述目标二维矩阵进行多层非线性变换，得到所述三维位置信息特征。6.如权利要求1所述的方法，其特征在于，所述基于所述特征图、所述三维位置信息特征、所述N
×
M个三维参考点以及所述车道线查询特征，得到N
×
M个位置偏移量，包括：基于所述特征图、所述三维位置信息特征以及所述N
×
M个三维参考点，对所述车道线查询特征进行更新，得到特征更新结果；基于所述特征更新结果，得到N
×
M个位置偏移量。7.如权利要求6所述的方法，其特征在于，在所述基于所述特征图、所述三维位置信息特征以及所述N
×
M个三维参考点，对所述车道线查询特征进行更新，得到特征更新结果之后，所述基于所述特征更新结果，得到N
×
M个位置偏移量之前，所述方法还包括：将所述特征更新结果作为新的车道线查询特征，并跳转到步骤：基于所述车道线查询特征，得到N
×
M个三维参考点；直到跳转次数达到预设数值，获取最终的特征更新结果。8.如权利要求7所述的方法，其特征在于，在所述车道线查询特征为上一次特征更新结果的情况下，所述获取三维位置信息特征，包括：获取与所述特征更新结果处于同一轮次的绕x轴旋转偏移量、以及z轴偏移量；基于所述绕x轴旋转偏移量以及z轴偏移量，生成变换矩阵；基于所述变换矩阵，对与所述特征更新结果处于同一轮次的目标二维矩阵进行更新处理，得到新的目标二维矩阵；对新的所述目标二维矩阵进行多层非线性变换，得到所述三维位置信息特征。9.如权利要求8所述的方法，其特征在于，所述获取与所述特征更新结果处于同一轮次的绕x轴旋转偏移量、以及z轴偏移量，包括：获取所述特征图以及历史目标二维矩阵，其中，所述历史目标二维矩阵为与所述特征更新结果处于同一轮次的目标二维矩阵；对所述特征图与所述历史目标二维矩阵进行拼接处理，得到拼接结果；对所述拼接结果进行第五特征提取处理，得到特征提取结果；对所述特征提取结果进行池化处理，得到池化结果；对所述池化结果进行多层非线性变换，得到与所述特征更新结果处于同一轮次的绕x轴旋转偏移量、以及z轴偏移量。10.如权利要求6所述的方法，其特征在于，所述基于所述特征图、所述三维位置信息特...

【专利技术属性】
技术研发人员：唐坤，周桐，柳奥，李二龙，郑超，李镇，罗玥如，郑超达，颜旭，
申请(专利权)人：香港中文大学深圳，
类型：发明
国别省市：