从地图数据、激光和相机确定偏航误差制造技术

本公开涉及基于地图数据和从光检测和测距(LIDAR)设备和/或相机设备接收的传感器数据的各种组合来促进确定车辆姿态的方法和系统。示例方法包括从(LIDAR)设备接收点云数据，并且变换点云数据以提供自上向下的图像。该方法还包括将自上向下的图像与参考图像进行比较，并且基于比较来确定偏航误差。替代方法包括从相机接收相机图像数据，并且变换相机图像数据以提供自上向下的图像。该方法还包括将自上向下的图像与参考图像进行比较，并且基于比较来确定偏航误差。

Determination of yaw error from map data, laser and camera

【技术实现步骤摘要】
【国外来华专利技术】从地图数据、激光和相机确定偏航误差对相关申请的交叉引用本申请要求2017年7月25日提交的第15/658,800号美国专利申请的权益，该美国申请的内容通过引用合并于此。
技术介绍
除非本文另外指出，否则此部分中描述的材料不是本申请中权利要求的现有技术，并且不能由于包含在此部分中而被承认是现有技术。车辆可以被配置为以自主模式操作，在该模式下，车辆在具有来自驾驶员的很少或没有的输入的情况下在环境中导航。自主车辆可以包括一个或多个传感器，被配置为检测关于车辆在其中运行的环境的信息。这样的传感器可以包括光检测和测距(LIDAR)设备。LIDAR可以在扫描场景时估计到环境特征的距离，以组装指示环境反射表面的“点云”。其他传感器可以包括被配置为捕获车辆周围环境的图像帧的可见光相机和/或被配置为使用射频信号检测对象的RADAR设备。
技术实现思路
本公开涉及基于地图数据和从光检测和测距(LIDAR)设备和/或相机设备接收的传感器数据的各种组合来促进确定车辆姿态的方法和系统。例如，本公开可以提供用于确定和校正车辆姿态估计器的偏航(yaw)误差的系统和方法。在第一方面，提供一种方法。所述方法包括从光检测和测距(LIDAR)设备接收点云数据。所述方法还包括变换点云数据以提供自上向下(top-down)的图像。所述方法还包括将自上向下的图像与参考图像进行比较，并且基于比较确定偏航误差。在第二方面，提供一种方法。所述方法包括从相机接收相机图像数据，并且变换相机图像数据以提供自上向下的图像。所述方法还包括将自上向下的图像与参考图像进行比较，并且基于比较确定偏航误差。在第三方面，提供一种方法。所述方法包括接收参考数据，其中，从俯视(overhead)视角提供参考数据。所述方法还包括变换参考数据以对应于相机的视场，并且从相机接收相机图像数据。所述方法另外包括将变换的参考数据与相机图像数据进行比较，并且基于比较确定偏航误差。通过在适当参考附图来阅读以下详细描述，其他方面、实施例和实现方式对于本领域普通技术人员将变得明显。附图说明图1示出根据示例实施例的系统。图2示出根据示例实施例的车辆。图3A示出根据示例实施例的自上向下的地图图像。图3B示出根据示例实施例的自上向下的相机图像。图3C示出根据示例实施例的自上向下的聚合图像。图3D示出根据示例实施例的自上向下的聚合图像。图4A示出根据示例实施例的自上向下的地图图像。图4B示出根据示例实施例的自上向下的LIDAR图像。图4C示出根据示例实施例的自上向下的聚合图像。图4D示出根据示例实施例的自上向下的聚合图像。图5A示出根据示例实施例的前向地图图像。图5B示出根据示例实施例的前向相机图像。图5C示出根据示例实施例的前向聚合图像。图5D示出根据示例实施例的前向聚合图像。图6示出根据示例实施例的方法。图7示出根据示例实施例的方法。图8示出根据示例实施例的方法。具体实施方式本文描述了示例方法、设备和系统。应当理解，词语“示例”和“示例性”在本文中被用来意味着“用作示例、实例或示意”。本文中描述为“示例”或“示例性”的任何实施例或特征不是必需理解为比其他实施例或特征优选或有利。在不脱离本文提出的主题的范围的情况下，可以利用其他实施例并且可以进行其他改变。因此，本文描述的示例实施例不意味着是限制性的。如本文一般描述和附图所示，本公开的各方面可以以多种不同配置进行布置、替换、组合、分离和设计，所有这些均在本文中构想到。此外，除非上下文另有说明，否则在每个附图中示出的特征可以彼此结合使用。因此，在理解并非每个示例性实施例都需要所有图示特征的情况下，通常应将附图视为一个或多个总体实施例的组成部分。I.概述常规的车辆导航系统可以将惯性传感器(例如，加速度计和陀螺仪)与辅助传感器(例如，全球定位系统(GPS)、轮速传感器、相机、LIDAR等)和/或补充信息(例如，地图)组合以确定车辆的姿态。本文所述的系统和方法提供了车辆姿态，特别是其偏航(yaw)或航向(heading)的精确、频繁的测量。在许多驾驶情况下(例如，在相对平坦的表面上驾驶时)，车辆的偏航可以包括车辆的指南针方向(例如，北、南、东、西等)。偏航测量可以通过GPS或通过基于相对于地图的横向位置误差推断偏航误差来提供。然而，期望直接确定偏航误差。本文描述了可以通过使用LIDAR、无线电检测和测距(RADAR)和/或相机信息直接从地图确定小偏航误差的系统和方法。在示例实施例中，点云数据可以被投影到自上向下的图像中并且与地图数据进行比较。基于投影点云数据和地图数据之间的比较，可以直接确定偏航误差。例如，可以将偏航误差确定为适合于将投影点云数据正确地配准(register)(例如，对准或匹配)到地图数据的旋转角度调整。然后可以将确定的偏航误差作为调整信号提供给惯性导航系统。在一些其他实施例中，相机图像数据可以被投影到自上向下的图像中并且与地图数据进行比较。基于投影图像数据和地图数据之间的比较，可以以如上所述的类似方式直接确定偏航误差。在另外的实施例中，地图数据可以被投影到与相机图像帧相对应的透视图中。在这种情况下，地图数据和相机图像之间的从左到右的配准误差可能直接提供偏航误差。在一些实施例中，地图数据可以包括参考数据，该参考数据可以从先前相机图像、LIDAR点云、RADAR数据、卫星图像、其他类型的图像或关于环境的其他信息中生成。这样的信息可以被离线处理(例如，通过云服务器)，并且在一些实施例中，可以本地存储在车辆上。偏航误差可以通过各种匹配技术来推断，包括归一化互相关或其他图像配准方法。在一些实施例中，匹配可以在车辆上(on-boardthevehicle)执行，或者可以至少部分地由云服务器或另一种类型的分布式计算系统执行。在示例实施例中，图像比较和偏航误差调整可以近实时地执行。另外地或替选地，可以离线执行图像比较以获得关于例如给定传感器或参考数据的长期漂移的信息。本文所述的系统和方法可以提供关于车辆的姿态估计的改进的精确性和可靠性。通过提供更精确和可靠的姿态信息，可以更好地确定车辆的整体定位，这可以导致更好的感知、计划、避障(obstacleavoidance)、地图构建、勘测和改变检测。另外地或替选地，采用本文描述的方法和系统获得的精确偏航信息可以与多种驾驶行为一起使用，诸如车道保持、避障、一般导航和路线选择(routing)等。此外，在某些情况下，在使用相对低质量或低精度的传感器时，本文所述的方法可以提供更好的偏航确定。II.示例系统图1示出根据示例实施例的系统100。如图所示，系统100包括车辆110、俯视(overhead)图像源130和控制器150。车辆110可以包括汽车、卡车、飞机、船、移动机器人或另外类型的移动对象。车辆110可以包括各种传感本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n从光检测和测距(LIDAR)设备接收点云数据；/n变换点云数据以提供自上向下的图像；/n将自上向下的图像与参考图像进行比较；/n基于比较确定偏航误差。/n

【技术特征摘要】
【国外来华专利技术】20170725 US 15/658,8001.一种方法，包括：
从光检测和测距(LIDAR)设备接收点云数据；
变换点云数据以提供自上向下的图像；
将自上向下的图像与参考图像进行比较；
基于比较确定偏航误差。


2.根据权利要求1所述的方法，其中，点云数据包括指示车辆周围环境中的对象的信息。


3.根据权利要求2所述的方法，其中，自上向下的图像包括车辆周围环境的平坦二维图像。


4.根据权利要求1所述的方法，还包括：
基于确定的偏航误差，将调整信号提供给车辆的姿态估计器。


5.根据权利要求4所述的方法，还包括：
采用姿态估计器确定车辆的偏航方向；
基于调整信号和确定的偏航方向来确定细化的偏航方向。


6.根据权利要求1所述的方法，其中，参考图像包括地图数据的至少一部分。


7.根据权利要求1所述的方法，其中，参考图像包括以下中至少一个的至少一部分：一个或多个现有相机图像、LIDAR点云、RADAR数据、卫星图像或其他俯视图像。


8.一种方法，包括：
从相机接收相机图像数据；
变换相机图像数据以提供自上向下的图像；
将自上向下的图像与参考图像进行比较；
基于比较确定偏航误差。


9.根据权利要求8所述的方法，其中，相机图像数据包括指示车辆周围环境的信息。


10.根据权利要求8所述的方法，其中，自上向下的图像包括车辆周围环境的平坦二维图像。


11.根据权利...

【专利技术属性】
技术研发人员：J蒂斯戴尔，M蒙特莫洛，A查塔姆，
申请(专利权)人：伟摩有限责任公司，
类型：发明
国别省市：美国;US