来自多个传感器的数据集成制造技术

公开了涉及自主驾驶的方法和设备。在一个方面，公开了一种方法。方法包括：确定由光检测和测距LIDAR传感器捕获的道路目标信息中的一个或多个第一对象的三维边界指示符；确定由相机传感器捕获的道路图像信息中一个或多个第二对象的相机边界指示符；处理道路图像信息以生成相机矩阵；根据相机矩阵和三维边界指示符来确定投影边界指示符；根据投影边界指示符和相机边界指示符来确定一个或多个第一对象与一个或多个第二对象之间的关联以生成组合目标信息；以及由自主驾驶系统应用组合目标信息以产生车辆控制信号。

【技术实现步骤摘要】
来自多个传感器的数据集成
本文涉及自主驾驶。
技术介绍
自主驾驶使用传感器和处理系统，该传感器和处理系统将自主车辆周围的环境纳入考虑范围，并做出确保自主车辆和周围车辆安全的决策。传感器应当准确地确定到潜在干扰车辆以及其他可移动和不可移动对象的距离及其速度。需要一种新技术来对自主车辆系统进行测试，并根据从实际传感器获取的实际驾驶数据对自主车辆系统进行训练。
技术实现思路
所公开的主题涉及自主驾驶，并且具体地涉及用于自主驾驶的感知系统以及用于对感知系统进行基准测试和训练的数据。在一个方面，公开了一种生成驾驶数据并将所述驾驶数据应用于自主驾驶系统的方法。所述方法包括：确定由光检测和测距LIDAR传感器捕获的道路目标信息中的一个或多个第一对象的三维边界指示符；确定由相机传感器捕获的道路图像信息中一个或多个第二对象的相机边界指示符；处理所述道路图像信息以生成相机矩阵；根据所述相机矩阵和所述三维边界指示符来确定投影边界指示符；根据所述投影边界指示符和所述相机边界指示符来确定所述一个或多个第一对象与所述一个或多个第二对象之间的关联以生成组合目标信息；以及由所述自主驾驶系统应用所述组合目标信息以产生车辆控制信号。在另一方面，公开了一种用于生成数据并将所述数据应用于自主驾驶系统的装置。所述装置包括至少一个处理器以及包括可执行指令的存储器，所述可执行指令在被执行时执行前述方法。在另一方面，公开了一种非暂时性计算机可读介质，用于存储用于生成数据并将所述数据应用于自主驾驶系统的可执行指令。当所述可执行指令由至少一个处理器执行时，它们执行前述方法。以下特征可以包括在各种组合中。所述应用包括使用用于训练和测试的数据来训练系统，该训练和测试使用诸如机器感知系统、计算机视觉系统、深度学习系统等学习方法，该方法通过使用先前采集的道路图像信息和先前采集的道路目标信息来起作用，其中所述训练在感知系统被用于实况交通环境之前导致感知系统的变化。所述应用包括：在所述感知系统未在实况交通环境中操作的情况下，测试所述感知系统以评估所述感知系统的性能，其中，所述测试导致所述性能被评估为可接受或不可接受。所述一个或多个第一对象与所述一个或多个第二对象相同。所述相机矩阵包括外部矩阵参数和固有矩阵参数。所述固有矩阵参数包括像素坐标和相机坐标之间的一个或多个关系。所述外部矩阵参数包括关于所述相机的位置和取向的信息。所述相机边界指示符和投影边界指示符是二维的。所述关联是使用交并比(IOU)技术来执行的。所述车辆控制信号包括车辆转向控制输出、车辆油门控制输出和车辆制动控制输出中的一个或多个。在附图、具体实施方式和权利要求中更详细地描述了所公开的技术的以上和其他方面和特征。附图说明图1是实施所公开的主题的示例性系统的示意图；图2是根据一些实施例的流程图的示例；图3A描绘了根据一些实施例的相机图像以及在感兴趣对象周围生成的边界框的示例；图3B描绘了根据一些实施例的LIDAR图像以及在感兴趣对象周围生成的边界框的示例；图4是根据一些实施例的流程图的另一示例；以及图5描绘了根据一些实施例的硬件平台的示例。具体实施方式可以使用从多个传感器收集的传感器数据来测试或训练自主驾驶系统。例如，可以在实际驾驶场景中使用先前从多个传感器采集的数据来训练自主驾驶系统。传感器可以包括相机、光检测和测距(LIDAR)传感器和/或其他传感器。例如，可以在测试会话期间采集道路图像信息或数据，其中使用相机采集道路图像信息并将其存储以供后续对自主系统进行训练。该先前采集的图像数据可以被称为先前采集的道路图像信息。类似地，可以在测试会话期间采集道路目标信息，其中使用LIDAR传感器采集道路目标信息，并存储道路目标信息以供后续对自主驾驶系统进行训练。该先前采集的目标数据可以被称为先前采集的道路目标信息。来自传感器的数据可以被组合以生成“地面真值(groundtruth)”数据，然后该数据可以被自主驾驶系统用来训练该自主驾驶系统。地面真值数据还可以用于测试自主驾驶系统的性能，而无需自主驾驶系统实时在道路上行驶，而是使用先前采集和存储的相机和LIDAR信息。“地面真值”数据是表示传感器视野内的对象的数据，其具有驾驶场景内的车辆和对象的高度准确的位置、大小和速度信息。为了训练或测试自主驾驶系统，可以将部分地面真值数据提供给自主驾驶系统，并且可以将其余的地面真值数据用于在测试期间评估性能或在训练期间提供反馈。例如，可以将来自一个车辆的相机和LIDAR数据提供给自主驾驶系统以进行训练或测试，并且可以添加来自另一车辆的相机和LIDAR数据以评估自主驾驶系统。在训练了自主驾驶系统之后，该系统可以用于在交通(其可以被称为实况交通环境)中实时地自主驾驶车辆。图1是示例图100，其示出了车辆110、112、114和116在道路102上行进，其中车辆110和116分别以速度134和136行进。车辆110和116包括前视相机124和132以及后视相机118和128。车辆110和116还分别包括前视光检测和测距(LIDAR)122和130以及后视LIDAR120和126。相机124、132、118和128可以是任何类型的视频相机或静物相机，例如电荷耦合器件(CCD)图像传感器、互补金属氧化物半导体(CMOS)图像传感器或任何其他类型的图像传感器。在一些实施方式中，相机可以在距相机所安装的车辆的宽距离范围内捕获图像。例如，相机可以捕获距其所安装的车辆非常近(例如，5米)的对象的图像，并且相机可以在相同的图像中捕获达到或超过1000米的以及它们之间所有距离的对象。相机124、132、118和128可以相对于对应车辆指向固定方向，或者可以经由相机的机械转向或光学转向而是可转向的。LIDAR122、120、126和130包括基于激光器或基于发光二极管(LED)的光学传感器，其包括机械地或以其他方式扫描的光学传感器。LIDAR可以确定距其视野内的对象的精确距离。LIDAR扫描然后使得能够确定对象的三维位置。例如，LIDAR可以确定附近车辆的各个暴露部分的位置。在一些实施方式中，LIDAR传感器可以限于比相机更短的距离。例如，一些LIDAR传感器被限于大约100m。根据所公开的主题，可以将来自相机的二维图像数据映射到三维LIDAR数据或与三维LIDAR数据相关联。在图1的说明性示例中，车辆110以速度134移动。车辆116以速度136移动，该速度136可以与车辆110的速度相同。车辆112和114位于车辆110和116之间，并且可以以与车辆110和/或116相同的平均速度移动，但是随着时间的流逝可以移动得与车辆110和/或116越来越近和越来越远。在图1的说明性示例中，车辆110和116可以在道路102上相距1000m，车辆112可以在车辆110前方50m(并且距车辆116950m)，并且车辆114可以在车辆110前方250m(并且在车辆116后面750m)。相机124捕获车辆112、114和116的本文档来自技高网...

【技术保护点】
1.一种生成驾驶数据并将所述驾驶数据应用于自主驾驶系统的方法，所述方法包括：/n确定由光检测和测距LIDAR传感器捕获的道路目标信息中的一个或多个第一对象的三维边界指示符；/n确定由相机传感器捕获的道路图像信息中一个或多个第二对象的相机边界指示符；/n处理所述道路图像信息以生成相机矩阵；/n根据所述相机矩阵和所述三维边界指示符来确定投影边界指示符；/n根据所述投影边界指示符和所述相机边界指示符来确定所述一个或多个第一对象与所述一个或多个第二对象之间的关联，以生成组合目标信息；以及/n由所述自主驾驶系统应用所述组合目标信息以产生车辆控制信号。/n

【技术特征摘要】
1.一种生成驾驶数据并将所述驾驶数据应用于自主驾驶系统的方法，所述方法包括：
确定由光检测和测距LIDAR传感器捕获的道路目标信息中的一个或多个第一对象的三维边界指示符；
确定由相机传感器捕获的道路图像信息中一个或多个第二对象的相机边界指示符；
处理所述道路图像信息以生成相机矩阵；
根据所述相机矩阵和所述三维边界指示符来确定投影边界指示符；
根据所述投影边界指示符和所述相机边界指示符来确定所述一个或多个第一对象与所述一个或多个第二对象之间的关联，以生成组合目标信息；以及
由所述自主驾驶系统应用所述组合目标信息以产生车辆控制信号。


2.根据权利要求1所述的方法，其中，所述应用包括：使用先前采集的道路图像信息和先前采集的道路目标信息来训练感知系统，并且其中，所述训练在所述感知系统被用于实况交通环境中之前引起所述感知系统的改变。


3.根据权利要求1所述的方法，其中，所述应用包括：在感知系统未在实况交通环境中操作的情况下，测试所述感知系统以评估所述感知系统的性能，并且其中，所述测试导致所述性能被评估为可接受或不可接受。


4.根据权利要求1所述的方法，其中，所述一个或多个第一对象与所述一个或多个第二对象相同。


5.根据权利要求1所述的方法，其中，所述相机矩阵包括外部矩阵参数和固有矩阵参数。


6.根据权利要求5所述的方法，其中，所述固有矩阵参数包括像素坐标和相机坐标之间的一个或多个关系。


7.根据权利要求5所述的方法，其中，所述外部矩阵参数包括关于所述相机的位置和取向的信息。


8.根据权利要求1所述的方法，其中，所述相机边界指示符是二维的。


9.根据权利要求1所述的方法，其中，所述关联是使用交并比IOU技术来执行的。


10.根据权利要求1所述的方法，其中，所述车辆控制信号包括车辆转向控制输出、车辆油门控制输出和车辆制动控制输出中的一个或多个。


11.一种用于生成数据并将所述数据应用于自主驾驶系统的装置，包括：
至少一个处理器；以及
包括可执行指令的存储器，所述可执行指令在被执行时至少执行以下操作：
从相机传感器接收道路图像信息；
从光检测和测距LIDAR传感器接收道路目标信息；
确定由光检测和测距LIDAR传感器捕获的道路目标信息中的一个或多个...

【专利技术属性】
技术研发人员：葛灵庭，王一杰，甘奕乾，郝嘉楠，侯晓迪，
申请(专利权)人：图森有限公司，
类型：发明
国别省市：美国;US