传感器数据对齐和环境映射的校正制造技术

生成与环境相关联的地图可包括收集从一个或多个车辆接收的传感器数据并生成一组链接以对齐传感器数据。可以从对齐的传感器数据生成环境的网格表示。一种系统可以确定建议的链接以添加、建议的链接删除和/或建议的链接变更，并且接收修改，该修改包括添加、删除或修改链接的指令。响应于接收到修改，系统可以重新对齐与修改相关联的传感器数据的窗口。可以收集与其相关联的修改和/或传感器数据作为机器学习模型的训练数据，机器学习模型可以被训练以生成链接修改建议和/或确定传感器数据，该传感器数据可以与较差的传感器数据对齐相关联。关联。关联。

Calibration of sensor data alignment and environment mapping

【技术实现步骤摘要】
【国外来华专利技术】传感器数据对齐和环境映射的校正
[0001]相关申请
[0002]本PCT国际申请要求于2019年11月26日提交的美国专利申请号16/697,117的优先权，其内容通过引用并入本申请。

技术介绍

[0003]机器人和其他设备(例如增强现实设备)可以收集传感器数据以确定什么对象处于设备周围的环境中以及设备相对于这些对象在环境中处于什么位置。在一些示例中，可以收集传感器数据以生成环境地图和设备通过环境的路径。这种地图中的不准确性可能导致依赖于地图的设备错误地确定设备在环境中的位置，这可能会抑制设备执行的操作，甚至可能危及设备的用户或环境中其他人的安全。
[0004]此外，传感器数据和/或地图可能非常复杂和/或以机器语言编码，并在大范围内被收集，例如整个城市。这些因素中的任何一个都使得人类很难甚至不可能检测到传感器数据和/或由此生成的地图中的误差。
附图说明
[0005]参考附图来描述具体实施方式。在图中，附图标记的最左侧数字标识附图标记首次出现的图。不同图中相同的附图标记表示相似或相同的项目。
[0006]图1示出了示例场景，其中配置有定位组件的自主车辆可以至少部分地基于传感器数据和地图来确定自主车辆相对于环境的姿势和/或可以收集传感器数据以用于确定车辆的估计的轨迹和/或地图。
[0007]图2示出了包括定位组件、映射组件和校正组件的示例系统的框图。
[0008]图3A示出了环境的示例自顶向下表示。
[0009]图3B示出了与两个不同姿势相关联的两组传感器数据、姿势之间的链接以及示例传感器数据对齐。
[0010]图4示出了用于校正传感器定位、传感器数据对齐和/或轨迹、确定地图和/或生成用于训练机器学习模型以识别要移除、添加或调整的链接的训练数据的示例过程的流程图。
[0011]图5A和5B示出了两种类型的链接修改。图5A描绘了位于不同隧道中的两个姿势之间的链接删除。图5B描绘了高速公路两侧的两个姿势之间的链接添加。
具体实施方式
[0012]生成与环境相关联的地图可以包括收集从一个或多个车辆接收的传感器数据。车辆可以包括配置有一个或多个传感器的自主、半自主和/或有人驾驶车辆，这些传感器捕获与环境相关联的传感器数据。一个或多个传感器可以包括光检测和测距(激光雷达)传感器、无线电检测和测距(雷达)传感器、声音检测和测距(声纳)传感器、图像捕获设备(例如，RGB相机、强度相机、IR相机、立体相机、深度相机等)或其他传感器。作为非限制性示例，车
辆可以是配置有八(8)个激光雷达传感器的自主车辆。每个激光雷达传感器可以返回对应于环境中检测到的表面的数据。数据可以表示为具有对应于检测到的表面的至少一部分的坐标(例如，笛卡尔坐标、极坐标等)的点(例如，数据点)。
[0013]在一些示例中，一个或多个车辆可以从相同或相似的视点和/或从不同的视点多次经过环境的一部分，并且可以接收由一个或多个车辆捕获的传感器数据并将其聚合到传感器数据的集合中。从一个或多个车辆接收的传感器数据的集合因此可以包括与环境的相同部分相关联的传感器数据的子集。例如，传感器数据的集合可以包括从与环境的一部分相关联的车辆接收的第一传感器数据和与在随后时间从车辆接收或从另一车辆接收的相同部分相关联的第二传感器数据。第一传感器数据和第二传感器数据可以与相同、相似或不同的传感器姿势相关联。换言之，在捕获第一传感器数据时，车辆的传感器被定位和定向在第一姿势(即，姿势可以包括位置和/或朝向)，并且第二传感器数据在车辆(或另一车辆)的传感器可能已位于相同、相似或不同的姿势时被捕获。换句话说，环境的一部分可能从相同和不同的姿势可见。因此，尽管第二传感器数据可以与环境的与第一传感器数据相同的部分相关联，但是第二传感器数据可以包括与该部分的替代或附加部分相关联的传感器数据的至少一部分。例如，第一传感器数据可以包括指示建筑物第一侧的表面的数据点，并且第二传感器数据可以包括指示同一建筑物的第一侧和/或第二侧的表面的数据点，因为第二传感器数据是从与第一传感器数据不同的姿势捕获的。
[0014]使用收集的传感器数据中的至少一些来确定环境的地图可以包括确定收集的传感器数据的第一传感器数据和第二传感器数据之间的链接，其中链接可以指示第一传感器数据和第二传感器数据是与环境的相同部分相关联的和/或链接可以指示第一姿势与第二姿势相关联。确定链接可以至少部分地基于确定第一姿势和第二姿势满足全局参数，例如，姿势之间的阈值距离、与两个姿势相关联的传感器数据的相似性等。这样的链接可以是建议的链接。第一姿势可以与第一传感器数据相关联并且第二姿势可以与第二传感器数据相关联，因此链接可以隐式地(或如上明确所述地)将第一传感器数据和第二传感器数据相关联。在一些示例中，第一姿势和/或第二姿势可以是由自主车辆估计的姿势(例如，使用贝叶斯滤波器(例如卡尔曼滤波器)、束调整、最大后验估计(MAP)和/或任何同时定位和映射(SLAM)算法)，如2017年8月11日提交的美国专利申请第15/674,853号中更详细地讨论的，其全部内容并入本文。
[0015]在一些示例中，确定地图可以附加地或替代地包括至少部分地基于链接确定第一传感器数据与第二传感器数据的对齐。例如，确定对齐可以至少部分地基于第一姿势和第二姿势之间的建议的链接的存在。链接可以使本文讨论的系统尝试确定姿势的变换以对齐与其相关联的传感器数据和/或一旦确定变换就将变换与链接相关联。在一些示例中，该技术可以包括在确定对齐和/或地图之前显示建议的链接。对齐第一传感器数据和第二传感器数据可以包括扰动与第一传感器数据和第二传感器数据相关联的姿势中的至少一个以减少与对齐相关联的误差。在一些示例中，误差可以包括第一传感器数据和第二传感器数据的相应数据点之间的总残差。换言之，该误差可以指示第一传感器数据与第二传感器数据对齐有多远。
[0016]扰动姿势可以包括移动姿势的位置和/或朝向(例如，横向和/或纵向改变与姿势相关联的坐标，改变与姿势相关联的偏航、滚动和/或俯仰)，这可能关联于与其相关联的传
感器数据的朝向。换言之，姿势的位置和/或朝向的改变可能导致与其相关联的传感器数据的相应改变。在一些示例中，姿势可以是离散传感器的姿势，或者姿势可以是一个或多个传感器的参考系，例如与传感器相关联的车辆的位置和/或朝向。在后一个示例中，离散传感器可以与相对于车辆姿势的传感器姿势相关联。一旦通过扰动姿势/对齐传感器数据使误差最小化或以其他方式是足够的(例如，误差低于误差阈值)，与对齐相关联的变换可以与链接相关联地存储。
[0017]本文讨论的技术可以包括接收修改，该修改包括添加链接、删除链接或修改与链接相关联的参数的指令。例如，可以至少部分地基于用户与用户界面的交互来接收修改，并且参数可以包括协方差和/或阈值距离。该技术可以包括至少部分地基于接收到修改来发起新的传感器数据对齐。当添加链接时，该新的对齐可以包括对齐之前未对齐的传感器数据，而当删除链接时，新的对齐可以包括分离之前对齐的传感器数据。对本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种系统，包括：一个或多个处理器；以及存储器，其存储处理器可执行的指令，所述指令当由所述一个或多个处理器执行时，使所述系统执行以下操作，包括：接收与环境相关联的传感器数据；至少部分地基于所述传感器数据和链接，确定第一对齐，其中：所述链接包括与车辆的第一姿势相关联的所述传感器数据的第一部分对应于与第二姿势相关联的所述传感器数据的第二部分的指示，以及所述第一对齐包括所述传感器数据的第一部分与所述传感器数据的第二部分的对齐；接收修改，所述修改包括添加建议的链接的指令、删除所述链接的指令或与所述链接相关联的不确定性的修改中的至少一个；以及至少部分地基于所述传感器数据和所述修改，确定第二对齐。2.根据权利要求1所述的系统，其中，所述操作还包括：至少部分地基于所述第二对齐，确定地图；以及以下中的至少一个：将所述地图传输到自主车辆或使所述第二对齐被显示。3.根据权利要求1或2所述的系统，其中，所述操作还包括：确定与所述第一对齐或未对齐的传感器数据相关联的对齐程度；以及生成指示与所述对齐程度相关联的区域的通知，所述通知指示候选修改；其中，所述修改是至少部分地基于所述通知而接收的。4.根据权利要求1
‑
3中任一项所述的系统，其中：所述传感器数据包括第一传感器数据和第二传感器数据，以及所述第一传感器数据与第一系统的第一传感器相关联，并且所述第二传感器数据与第二系统的第二传感器数据相关联。5.根据权利要求1
‑
4中任一项所述的系统，其中，确定所述第二对齐包括确定与所述修改相关联的传感器数据的窗口，其中，确定所述第二对齐包括重新确定与对应于所述传感器数据的窗口的所述环境的一部分相关联的所述第一对齐的一部分。6.根据权利要求5所述的系统，其中，确定所述传感器数据的窗口包括确定在与所述修改相关联的位置或时间的阈值距离或阈值时间内的所述传感器数据的子集。7.根据权利要求1
‑
6中任一项所述的系统，其中：至少部分地基于接收到所述修改，将所述修改、所述第一部分和所述第二部分添加到训练数据集中；以及所述操作还包括至少部分地基于所述训练数据集训练机器学习模型，所述机器学习模型被训练以识别一个或多个修改，以添加另一个链接、移除所述链接或更改与所述链接相关联的参数。8.一个或多个非暂时性计算机可读介质，其存储处理器可执行的指令，所述指令当由一个或多个处理器执行时，使所述一个或多个处理器执行以下操作，包括：接收与环境相关联的传感器数据；至少部分地基于所述传感器数据和链接，确定...

【专利技术属性】
技术研发人员：D，
申请(专利权)人：祖克斯有限公司，
类型：发明
国别省市：