通过移除动态交通参与者的稳健的即时定位和地图构建制造技术

本发明专利技术涉及一种用于自动驾驶车辆的定位和地图构建的系统、方法和计算机可读介质。系统可以获得图像。系统可以将标记分配给图像的一个或多个对象。系统还可以获得点云。系统可以确定点云的一个或多个对象集群，并且将分配给图像的一个或多个对象的标记与点云的对象集群的点相关联。系统可以进一步基于与对象集群的点相关联的标记来识别点云的三维(3D)对象。在一些方案中，系统可以基于识别的3D对象从点云中移除动态交通参与者，和/或在移除动态交通参与者之后对点云执行即时定位和地图构建操作。

Robust real-time location and map building by removing dynamic traffic participants

【技术实现步骤摘要】
通过移除动态交通参与者的稳健的即时定位和地图构建
本公开主要涉及即时定位和地图构建(mapping)，并且更特别地涉及通过移除动态交通参与者的可靠的即时定位和地图构建。
技术介绍
由于在感知、运动规划和控制、和/或新兴感测技术等其他因素方面的扩展，自动驾驶车辆的开发已取得重大进展。为了实现自动驾驶导航，可能需要精确的定位和地图构建。自动驾驶车辆可以捕获周边环境的图像和点云，以帮助定位和地图构建。自动驾驶车辆对所捕获的图像和点云执行即时定位和地图构建(simultaneouslocalizationandmapping,SLAM)操作，以构建周边环境的地图并获得运动和轨迹/里程数据。SLAM操作可以包括一个或多个操作，以提取、关联、估计、和/或更新定位和地图构建。图像和点云经常包含指示对周边环境地图构建以及获得运动和轨迹/里程数据而言不必要的对象的数据。不必要的对象可以包括动态交通参与者，例如车辆、行人、骑自行车者和动物。在SLAM操作期间包括这些对象可能导致不精确或不正确的地图构建和定位。考虑到上述情况，本领域中可能需要通过在SLAM操作之前识别动态交通参与者并移除这些动态参与者来更精确地实现用于自动驾驶车辆的定位和地图构建的方法。从以下提供的公开内容，其它优点和新颖的特征将变得显而易见。
技术实现思路
以下介绍了本公开的一个或多个方案的概略内容，以便提供对这些方案的基本理解。该概略内容不是对所有考虑到的方案的全面概述，它既不旨在确定所有方案的关键或重要的元素，也不旨在描述任一或所有方案的范围。其唯一的目的是以简化的形式介绍本公开的一个或多个方案的一些概念，作为稍后呈现的更详细描述的序言。在一个示例中，提供了一种用于自动驾驶车辆的定位和地图构建的方法。该方法可包括：通过摄像机获得在第一位置处捕获的图像；将标记分配给所述图像的一个或多个对象；通过光检测器获得在第二位置处捕获的点云，所述第二位置在所述第一位置的阈值距离内；确定所述点云的一个或多个对象集群；将分配给所述图像的所述一个或多个对象的所述标记与所述点云的所述对象集群的点相关联；以及基于与所述对象集群的所述点相关联的所述标记识别所述点云的三维(3D)对象。在一些示例中，该方法还包括：基于所述识别的3D对象从所述点云中移除动态交通参与者；对已经移除动态交通参与者的所述点云执行即时定位和地图构建操作；基于每个像素对所述图像进行语义分割；将所述图像的至少一部分像素的标记与所述点云的对应点相关联；识别所述图像内的动态交通参与者和/或识别所述点云的地平面并从所述点云中移除所述地平面。在另一示例中，提供了一种用于自动驾驶车辆的定位和地图构建的系统。该系统可以包括：用于捕获一个或多个图像的摄像机；用于捕获一个或多个点云的光探测器；联接到所述摄像机和所述光检测器的存储器，其用于存储所述一个或多个图像和所述一个或多个点云；以及联接到所述存储器的一个或多个处理器。所述一个或多个处理器被配置为通过摄像机获得在第一位置处捕获的图像；将标记分配给所述图像的一个或多个对象；通过光检测器获得在第二位置处捕获的点云，所述第二位置在所述第一位置的阈值距离内；确定所述点云的一个或多个对象集群；将分配给所述图像的所述一个或多个对象的所述标记与所述点云的所述对象集群的点相关联；和基于与所述对象集群的所述点相关联的所述标记，识别所述点云的三维(3D)对象。在一些变型中，所述一个或多个处理器可以进一步配置为基于所述识别的3D对象，从所述点云中移除动态交通参与者；对已经移除动态交通参与者的所述点云执行即时定位和地图构建操作；基于每个像素对所述图像进行语义分割；将所述图像的至少一部分像素的标记与所述点云的对应点相关联；识别所述图像内的动态交通参与者和/或识别所述点云的地平面并从所述点云中移除所述地平面。在另一示例中，提供了一种存储用于自动驾驶车辆的定位和地图构建的计算机可执行代码的计算机可读介质。计算机可读介质包括的代码可以用于实现：通过摄像机获得在第一位置处捕获的图像；将标记分配给所述图像的一个或多个对象；通过光检测器获得在第二位置处捕获的点云，所述第二位置在所述第一位置的阈值距离内；确定所述点云的一个或多个对象集群；将分配给所述图像的所述一个或多个对象的所述标记与所述点云的所述对象集群的点相关联；以及基于与所述对象集群的所述点相关联的所述标记识别所述点云的三维(3D)对象。在一些变型中，所述计算机可读介质包括的代码可以进一步用于实现：基于所述识别的3D对象从所述点云中移除动态交通参与者；对已经移除动态交通参与者的所述点云执行即时定位和地图构建操作；基于每个像素对所述图像进行语义分割；将所述图像的至少一部分像素的标记与所述点云的对应点相关联；识别所述图像内的动态交通参与者和/或识别所述点云的地平面并从所述点云中移除所述地平面。为了实现前述和相关目的，本公开的一个或多个方案包括在下文中充分描述并在权利要求中特别指出的特征。以下描述和附图详细阐述了一个或多个方案的某些说明性特征。然而，这些特征仅指示可以使用各个方案的原理的各种方式中的一些方式，并且该描述旨在包括所有这些方案及其等同物。附图说明在所附权利要求中列出被认为是本公开的特征的新颖特征。在下面的描述中，相同的部件在整个说明书和附图中分别用相同的附图标记表示。附图不一定按比例绘制，并且某些附图可以为了清晰和简洁的目的以放大或概括的形式示出。但是，当结合附图阅读时，通过参考下文对本公开的示例性方案的详细描述，本公开本身以及其优选的使用模式、进一步的目的和其优点将得到最好的理解，其中：图1示出了根据本公开的方案的用于定位和地图构建的系统的示例的示意图；图2示出了根据本公开的用于定位和地图构建的示例性方法的流程图；图3示出了根据本公开的一个方案的被捕获用于定位和地图构建的图像的示例；图4示出了根据本公开的一个方案的从图3的图像创建的语义预测图像的示例；图5示出了根据本公开的一个方案的被捕获用于定位和地图构建的点云的示例；图6示出了根据本公开的一个方案的从图5的点云创建的、已经完成聚类和地面移除的点云的示例；图7示出了根据本公开的一个方案的从图5的点云创建的、已被标记的点云的示例；图8示出了根据本公开的一个方案的从图7的已被标记的点云创建的、已移除动态交通参与者的点云的示例；图9示出了根据本公开的各方案的供使用的各种硬件组件和其它特征的示例性系统图；和图10是用在根据本公开的各方案中的各种示例性系统组件的框图。具体实施方式下文结合附图阐述的详细描述旨在作为各种设计的描述，而非旨在表示本文所述构思可以被实践的唯一构造。详细描述包括用于透彻理解各种构思的具体细节。然而，对本领域技术人员而言显然可以在没有这些具体细节的情况下实践这些构思。在一些实例中，已知的组件以框图的形式显示，以避免使所述构思不易理解。用于自动驾驶车辆的定位与地图构建可使用来自多个输入源的输入而生成，该多个输入源诸如图像输入(例如来自摄像机)和光传感器输入(例如来自光检测和测距(LIDAR))设备)和其他输入源等。例如，该多个输入源可以捕获输入和/或关联在相近的时间点、位置点等捕获的输入，使得输入可以同时被分析。在具体的示例中，例如车辆的测试设备可以配备有摄像机和LIDAR设备本文档来自技高网...

【技术保护点】
1.一种用于自动驾驶车辆的定位和地图构建的方法，包括：通过摄像机获得在第一位置处捕获的图像；将标记分配给所述图像的一个或多个对象；通过光检测器获得在第二位置处捕获的点云，所述第二位置在所述第一位置的阈值距离内；确定所述点云的一个或多个对象集群；将分配给所述图像的所述一个或多个对象的所述标记与所述点云的所述对象集群的点相关联；以及基于与所述对象集群的所述点相关联的所述标记，识别所述点云的三维(3D)对象。

【技术特征摘要】
2018.03.13 US 15/919,5481.一种用于自动驾驶车辆的定位和地图构建的方法，包括：通过摄像机获得在第一位置处捕获的图像；将标记分配给所述图像的一个或多个对象；通过光检测器获得在第二位置处捕获的点云，所述第二位置在所述第一位置的阈值距离内；确定所述点云的一个或多个对象集群；将分配给所述图像的所述一个或多个对象的所述标记与所述点云的所述对象集群的点相关联；以及基于与所述对象集群的所述点相关联的所述标记，识别所述点云的三维(3D)对象。2.根据权利要求1所述的方法，还包括：基于所述识别的3D对象，从所述点云中移除动态交通参与者。3.根据权利要求2所述的方法，还包括：在所述动态交通参与者被从所述点云中移除之后，对所述点云执行即时定位与地图构建操作。4.根据权利要求1所述的方法，其中，将标记分配给所述图像的一个或多个对象包括基于每个像素对所述图像进行语义分割。5.根据权利要求4所述的方法，其中，关联所述标记包括将所述图像的至少一部分像素的标记与所述点云的对应点相关联。6.根据权利要求1所述的方法，其中，将标记分配给所述图像的一个或多个对象包括识别所述图像内的动态交通参与者。7.根据权利要求1所述的方法，其中，确定所述点云的一个或多个对象集群包括识别所述点云的地平面以及从所述点云中移除所述地平面。8.一种用于自动驾驶车辆的定位和地图构建的系统，包括：用于捕获一个或多个图像的摄像机；用于捕获一个或多个点云的光探测器；联接到所述摄像机和所述光检测器的存储器，所述存储器用于存储所述一个或多个图像和所述一个或多个点云；以及联接到所述存储器的一个或多个处理器，其中所述一个或多个处理器被配置为：通过摄像机获得在第一位置处捕获的图像；将标记分配给所述图像的一个或多个对象；通过光检测器获得在第二位置处捕获的点云，所述第二位置在所述第一位置的阈值距离内；确定所述点云的一个或多个对象集群；将分配给所述图像的所述一个或多个对象的所述标记与所述点云的所述对象集群的点相关联；以及基于与所述对象集群的所述点相关联的所述标记，识别所述点云的三维(3D)对象。9.根据权利要求8所述的系统，其中，所述一个或多个处理器还被配置为：基于所述...

【专利技术属性】
技术研发人员：A·N·帕蒂尔，
申请(专利权)人：本田技研工业株式会社，
类型：发明
国别省市：日本,JP