高精度车辆定位、矢量化地图构建及定位模型训练方法技术

技术编号:38716541 阅读:11 留言:0更新日期:2023-09-08 14:59
本公开提供了一种高精度车辆定位、矢量化地图构建及定位模型训练方法,涉及人工智能技术领域,尤其涉及自动驾驶、深度学习、计算机视觉等技术领域。实现方案为:获取车辆的初始位姿、部署于车辆上的雷达采集的点云和用于定位车辆的多个地图元素;对点云进行编码,以得到点云特征;对多个地图元素进行编码,以得到地图特征;基于点云特征和地图特征,确定用于修正初始位姿的目标位姿偏移量;以及将初始位姿与目标位姿偏移量进行叠加,以得到车辆的修正后的位姿。本公开可以提高自动驾驶车辆的定位精度。精度。精度。

【技术实现步骤摘要】
高精度车辆定位、矢量化地图构建及定位模型训练方法


[0001]本公开涉及人工智能
,尤其涉及自动驾驶、深度学习、计算机视觉等
,具体涉及一种高精度车辆定位方法及装置、矢量化地图构建方法及装置、定位模型的训练方法及装置、电子设备、计算机可读存储介质、计算机程序产品和自动驾驶车辆。

技术介绍

[0002]自动驾驶技术涉及环境感知、行为决策、轨迹规划以及运动控制等多个方面。依赖于传感器、视觉计算系统和定位系统的协同合作,具有自动驾驶功能的车辆可以在无需驾驶员进行操作或仅需驾驶员进行少量操作的情况下自动地运行。对自动驾驶车辆进行准确定位是保证自动驾驶车辆安全平稳运行的重要前提。
[0003]在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明,否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地,除非另有指明,否则此部分中提及的问题不应认为在任何现有技术中已被公认。

技术实现思路

[0004]本公开提供了一种高精度车辆定位方法及装置、矢量化地图构建方法及装置、定位模型的训练方法及装置、电子设备、计算机可读存储介质、计算机程序产品和自动驾驶车辆。
[0005]根据本公开的一方面,提供了一种车辆定位方法,包括:获取所述车辆的初始位姿、部署于所述车辆上的雷达采集的点云和用于定位所述车辆的多个地图元素;对所述点云进行编码,以得到点云特征;对所述多个地图元素进行编码,以得到地图特征;基于所述点云特征和所述地图特征,确定用于修正所述初始位姿的目标位姿偏移量;以及将所述初始位姿与所述目标位姿偏移量进行叠加,以得到所述车辆的修正后的位姿。
[0006]根据本公开的一方面,提供了一种矢量化地图构建方法,包括:获取点云式地图中的点云;将所述点云式地图的投影平面划分为第一单位尺寸的多个二维栅格;对于所述多个二维栅格中的任一二维栅格:基于所述二维栅格对应的三维空间内的点云,提取所述二维栅格中的平面;以及将所述平面存储为所述矢量化地图中的面元素。
[0007]根据本公开的一方面,提供了一种定位模型的训练方法,所述定位模型包括点云编码器、地图编码器和位姿求解器,所述方法包括:获取样本车辆的初始位姿、所述初始位姿对应的位姿真值、部署于所述样本车辆上的雷达采集的点云和用于定位所述样本车辆的多个地图元素;将所述点云输入所述点云编码器,以得到目标三维空间中的点云特征图;将所述多个地图元素的类别信息输入所述地图编码器,以便所述地图编码器:基于多种类别信息与多个语义编码的对应关系,确定所述多个地图元素中的每个地图元素的类别信息对应的语义编码,其中,所述多个语义编码是所述定位模型的参数;以及基于所述语义编码,确定所述地图元素的编码向量,其中,所述地图特征包括所述多个地图元素各自的编码向量;将所述多个地图元素中的属于目标类别的目标地图元素投影至所述目标三维空间中,
以得到所述目标三维空间中的语义分割的真值图,其中,所述真值图中的第一像素的值指示该第一像素是否被所述目标地图元素所占据;基于所述点云特征图,确定语义分割的预测图,其中,所述预测图中的第二像素的值指示相应的特征向量与所述目标类别的语义编码的相似度,所述相应的特征向量为所述点云特征图中的与所述第二像素的位置相对应的像素的特征向量;将所述点云特征图、所述地图特征和所述初始位姿输入所述位姿求解器,以得到所述位姿求解器输出的预测位姿偏移量;基于所述预测位姿偏移量和位姿偏移量真值,确定第一损失,其中,所述位姿偏移量真值为所述位姿真值与所述初始位姿的差;基于所述真值图和所述预测图,确定第二损失;至少基于所述第一损失和所述第二损失,确定所述定位模型的整体损失;以及基于所述整体损失,调整所述定位模型的参数。
[0008]根据本公开的一方面,提供了一种车辆定位装置,包括:获取模块,被配置为获取所述车辆的初始位姿、部署于所述车辆上的雷达采集的点云和用于定位所述车辆的多个地图元素;点云编码模块,被配置为对所述点云进行编码,以得到点云特征;地图编码模块,被配置为对所述多个地图元素进行编码,以得到地图特征;确定模块,被配置为基于所述点云特征和所述地图特征,确定用于修正所述初始位姿的目标位姿偏移量;以及叠加模块,被配置为将所述初始位姿与所述目标位姿偏移量进行叠加,以得到所述车辆的修正后的位姿。
[0009]根据本公开的一方面,提供了一种矢量化地图构建装置,包括:获取模块,被配置为获取点云式地图中的点云;划分模块,被配置为将所述点云式地图的投影平面划分为第一单位尺寸的多个二维栅格;提取模块,被配置为对于所述多个二维栅格中的任一二维栅格,基于所述二维栅格对应的三维空间内的点云,提取所述二维栅格中的平面;以及存储模块,被配置为将所述平面存储为所述矢量化地图中的面元素。
[0010]根据本公开的一方面,提供了一种定位模型的训练装置,所述定位模型包括点云编码器、地图编码器和位姿求解器,所述装置包括:获取模块,被配置为获取样本车辆的初始位姿、所述初始位姿对应的位姿真值、部署于所述样本车辆上的雷达采集的点云和用于定位所述样本车辆的多个地图元素;第一输入模块,被配置为将所述点云输入所述点云编码器,以得到目标三维空间中的点云特征图;第二输入模块,被配置为将所述多个地图元素的类别信息输入所述地图编码器,以便所述地图编码器:基于多种类别信息与多个语义编码的对应关系,确定所述多个地图元素中的每个地图元素的类别信息对应的语义编码,其中,所述多个语义编码是所述定位模型的参数;以及基于所述语义编码,确定所述地图元素的编码向量,其中,所述地图特征包括所述多个地图元素各自的编码向量;语义投影模块,被配置为将所述多个地图元素中的属于目标类别的目标地图元素投影至所述目标三维空间中,以得到所述目标三维空间中的语义分割的真值图,其中,所述真值图中的第一像素的值指示该第一像素是否被所述目标地图元素所占据;语义预测模块,被配置为基于所述点云特征图,确定语义分割的预测图,其中,所述预测图中的第二像素的值指示相应的特征向量与所述目标类别的语义编码的相似度,所述相应的特征向量为所述点云特征图中的与所述第二像素的位置相对应的像素的特征向量;第三输入模块,被配置为将所述点云特征图、所述地图特征和所述初始位姿输入所述位姿求解器,以得到所述位姿求解器输出的预测位姿偏移量;第一确定模块,被配置为基于所述预测位姿偏移量和位姿偏移量真值,确定第一损失,其中,所述位姿偏移量真值为所述位姿真值与所述初始位姿的差;第二确定模块,被配置为基于所述真值图和所述预测图,确定第二损失;确定模块,被配置为至少基于所述第
一损失和所述第二损失,确定所述定位模型的整体损失;以及调整模块,被配置为基于所述整体损失,调整所述定位模型的参数。
[0011]根据本公开的一方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述任一方面的方法。
[00本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种车辆定位方法,包括:获取所述车辆的初始位姿、部署于所述车辆上的雷达采集的点云和用于定位所述车辆的多个地图元素;对所述点云进行编码,以得到点云特征;对所述多个地图元素进行编码,以得到地图特征;基于所述点云特征和所述地图特征,确定用于修正所述初始位姿的目标位姿偏移量;以及将所述初始位姿与所述目标位姿偏移量进行叠加,以得到所述车辆的修正后的位姿。2.根据权利要求1所述的方法,其中,所述对所述点云进行编码,以得到点云特征包括:基于所述初始位姿,确定用于提取所述点云特征的空间范围;将所述空间范围划分为单位尺寸的多个网格;对于所述多个网格中的任一网格,提取所述网格中的点云的特征向量,其中,所述点云特征包括由所述多个网格各自的特征向量所组成的点云特征图,所述点云特征图中的多个像素与所述多个网格分别对应,所述多个像素中的任一像素的通道数等于所述特征向量的维度。3.根据权利要求1或2所述的方法,其中,所述对所述多个地图元素进行编码,以得到地图特征包括:对于所述多个地图元素中的任一地图元素:对所述地图元素的位置信息进行编码,以得到位置编码;对所述地图元素的类别信息进行编码,以得到语义编码;以及对所述位置编码和所述语义编码进行融合,以得到所述地图元素的编码向量;以及基于所述多个地图元素各自的编码向量,生成所述地图特征。4.根据权利要求3所述的方法,其中,所述对所述地图元素的类别信息进行编码,以得到语义编码包括:基于多种类别信息与多个语义编码的对应关系,确定所述地图元素的所述语义编码,其中,所述多个语义编码是定位模型的参数并且通过对所述定位模型进行训练而得到。5.根据权利要求3或4所述的方法,其中,所述基于所述多个地图元素各自的编码向量,生成所述地图特征包括:对于所述多个地图元素中的任一地图元素,基于注意力机制,利用所述点云特征对所述地图元素的编码向量进行更新,其中,所述地图特征包括所述多个地图元素各自的更新后的编码向量。6.根据权利要求1

5中任一项所述的方法,其中,所述基于所述点云特征和所述地图特征,确定用于修正所述初始位姿的目标位姿偏移量包括:通过将所述点云特征与所述地图特征进行匹配,确定所述目标位姿偏移量。7.根据权利要求6所述的方法,其中,所述通过将所述点云特征与所述地图特征进行匹配,确定所述目标位姿偏移量包括:在预设的偏移量采样范围内进行采样,以得到多个候选位姿偏移量;对于所述多个候选位姿偏移量中的任一候选位姿偏移量,确定在所述候选位姿偏移量
下所述点云特征与所述地图特征的匹配度;以及基于所述多个候选位姿偏移量各自对应的匹配度,对所述多个候选位姿偏移量进行融合,以得到所述目标位姿偏移量。8.根据权利要求7所述的方法,其中,所述点云特征包括目标三维空间的点云特征图,所述地图特征包括所述多个地图元素各自的编码向量,并且其中,所述确定在所述候选位姿偏移量下所述点云特征与所述地图特征的匹配度包括:将所述初始位姿与所述候选位姿偏移量进行叠加,以得到候选位姿;对于所述多个地图元素中的任一地图元素:基于所述候选位姿,将所述地图元素投影至所述目标三维空间中,以得到所述地图元素对应的所述点云特征图中的特征向量;以及计算所述地图元素的编码向量与所述特征向量的相似度;以及基于所述多个地图元素各自对应的相似度,确定在所述候选位姿偏移量下所述点云特征与所述地图特征的匹配度。9.根据权利要求8所述的方法,其中,所述目标三维空间为所述车辆的鸟瞰视角空间。10.根据权利要求7

9中任一项所述的方法,其中,所述基于所述多个候选位姿偏移量各自对应的匹配度,对所述多个候选位姿偏移量进行融合,以得到所述目标位姿偏移量包括:对于所述多个候选位姿偏移量中的任一候选位姿偏移量,基于所述候选位姿偏移量的匹配度与所述多个候选位姿偏移量的匹配度之和的比值,确定所述候选位姿偏移量的概率;以及将所述多个候选位姿偏移量的期望确定为所述目标位姿偏移量。11.根据权利要求1

10中任一项所述的方法,其中,所述基于所述点云特征和所述地图特征,确定用于修正所述初始位姿的目标位姿偏移量包括:将所述点云特征、所述地图特征和所述初始位姿输入经训练的位姿求解器,以得到所述位姿求解器输出的所述目标位姿偏移量。12.根据权利要求1

11中任一项所述的方法,其中,所述多个地图元素通过基于所述初始位姿对矢量化地图中的多个地理元素进行筛选而得到。13.根据权利要求1

12中任一项所述的方法,其中,所述多个地图元素包括至少一个道路元素和至少一个几何元素;所述至少一个道路元素包括以下至少一项:车道线、路沿、人行横道、停止线、交通标识牌或杆;所述至少一个几何元素包括面元素。14.根据权利要求13所述的方法,其中,所述面元素通过提取点云式地图中的平面而得到。15.根据权利要求1

14中任一项所述的方法,其中,所述初始位姿为所述车辆的组合定位系统输出的位姿。16.一种矢量化地图构建方法,包括:获取点云式地图中的点云;
将所述点云式地图的投影平面划分为第一单位尺寸的多个二维栅格;对于所述多个二维栅格中的任一二维栅格:基于所述二维栅格对应的三维空间内的点云,提取所述二维栅格中的平面;以及将所述平面存储为所述矢量化地图中的面元素。17.根据权利要求16所述的方法,其中,所述基于所述二维栅格对应的三维空间内的点云,提取所述二维栅格中的平面包括:沿高度方向将所述三维空间划分为第二单位尺寸的多个三维栅格;对于所述多个三维栅格中的任一三维栅格:基于所述三维栅格中的点云,计算所述三维栅格中包括平面的置信度;以及响应于所述置信度大于阈值,提取所述三维栅格中的平面;以及将所述多个三维栅格中的置信度最大的平面确定为所述二维栅格对应的平面。18.根据权利要求17所述的方法,其中,所述基于所述三维栅格中的点云,计算所述三维栅格中包括平面的置信度包括:对所述三维栅格中的点云的协方差矩阵进行奇异值分解,以得到第一奇异值、第二奇异值和第三奇异值,其中,所述第一奇异值小于或等于所述第二奇异值,所述第二奇异值小于或等于所述第三奇异值;以及将所述第二奇异值与所述第一奇异值的比值确定为所述置信度。19.根据权利要求16

18中任一项所述的方法,其中,所述将所述平面存储为所述矢量化地图中的面元素包括:确定所述平面对应的面元素的标识;以及将所述平面上的一点的坐标和所述平面的单位法向量与所述标识关联存储。20.根据权利要求16

19中任一项所述的方法,其中,所述矢量化地图还包括多个道路元素,所述多个道路元素中的任一道路元素为:车道线、路沿、人行横道、停止线、交通标识牌或杆。21.一种定位模型的训练方法,其中,所述定位模型包括点云编码器、地图编码器和位姿求解器,所述方法包括:获取样本车辆的初始位姿、所述初始位姿对应的位姿真值、部署于所述样本车辆上的雷达采集的点云和用于定位所述样本车辆的多个地图元素;将所述点云输入所述点云编码器,以得到目标三维空间中的点云特征图;将所述多个地图元素各自的类别信息输入所述地图编码器,以便所述地图编码器:基于多种类别信息与多个语义编码的对应关系,确定所述多个地图元素中的每个地图元素的类别信息对应的语义编码,其中,所述多个语义编码是所述定位模型的参数;基于所述语义编码,确定所述地图元素的编码向量;以及基于所述多个地图元素各自的编码向量,生成地图特征;将所述多个地图元素中的属于目标类别的目标地图元素投影至所述目标三维空间中,以得到所述目标三维空间中的语义分割的真值图,其中,所述真值图中的第一像素的值指示该第一像素是否被所述目标地图元素所占据;基于所述点云特征图,确定语义分割的预测图,其中,所述预测图中的第二像素的值指
示相应的特征向量与所述目标类别的语义编码的相似度,所述相应的特征向量为所述点云特征图中的与所述第二像素的位置相对应的像素的特征向量;将所述点云特征图、所述地图特征和所述初始位姿输入所述位姿求解器,以得到所述位姿求解器输出的预测位姿偏移量;基于所述预测位姿偏移量和位姿偏移量真值,确定第一损失,其中,所述位姿偏移量真值为所述位姿真值与所述初始位姿的差;基于所述真值图和所述预测图,确定第二损失;至少基于所述第一损失和所述第二损失,确定所述定位模型的整体损失;以及基于所述整体损失,调整所述定位模型的参数。22.根据权利要求21所述的方法,其中,所述将所述点云特征图、所述地图特征和所述初始位姿输入所述位姿求解器,以得到所述位姿求解器输出的预测位姿偏移量包括:将所述点云特征图、所述地图特征和所述初始位姿输入所述位姿求解器,以便所述位姿求解器:在预设的偏移量采样范围内进行采样,以得到多个候选位姿偏移量;对于所述多个候选位姿偏移量中的任一候选位姿偏移量,确定在所述候选位姿偏移量下所述点云特征图与所述地图特征的匹配度;以及基于所述多个候选位姿偏移量各自对应的匹配度,对所述多个候选位姿偏移量进行融合,以得到并输出所述预测位姿偏移量;所述方法还包括:基于所述多个候选位姿偏移量各自对应的匹配度,确定第三损失,其中,所述第三损失指示所述位姿真值的预测概率分布与所述位姿真值的真实概率分布的差异;其中,所述至少基于所述第一损失和所述第二损失,确定所述定位模型的整体损失包括:基于所述第一损失、所述第二损失和所述第三损失,确定所述整体损失。23.一种车辆定位装置,包括:获取模块,被配置为获取所述车辆的初始位姿、部署于所述车辆上的雷达采集的点云和用于定位所述车辆的多个地图元素;点云编码模块,被配置为对所述点云进行编码,以得到点云特征;地图编码模块,被配置为对所述多个地图元素进行编码,以得到地图特征;确定模块,被配置为基于所述点云特征和所述地图特征,确定用于修正所述初始位姿的目标位姿偏移量;以及叠加模块,...

【专利技术属性】
技术研发人员:梁爽何宇喆芮晓飞蔡程颖万国伟张晔
申请(专利权)人:北京百度网讯科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1