使用蒙片进行数据分割的系统和方法技术方案

一种车辆可包含用于检测环境中物体的各种传感器。传感器数据可通过车辆中的感知系统捕获并在体素空间中进行体现。操作可以包括对来自自上而下透视图的数据进行分析。从该透视图，多种技术可关联并生成代表体素空间中物体的蒙片。通过对蒙片的区域进行操纵，可以将与蒙片相关联的传感器数据和/或体素进行聚类或以其他方式分组以对与对象相关联的数据进行分割。分割。分割。

【技术实现步骤摘要】
使用蒙片进行数据分割的系统和方法
[0001]本申请是于2019年4月23日提交的专利技术名称为“使用蒙片进行的数据分割”的中国专利技术专利申请CN201980027927.5(国际申请号PCT/US2019/028667)的分案申请。
[0002]相关申请的交叉引用
[0003]本专利申请要求享有2018年4月26日提交的序列号为15/963,833的美国实用专利申请的优先权。本申请中全文引用上述序列号为15/963,833的申请。


[0004]本申请涉及一种用于使用蒙片进行数据分割的系统及其方法。

技术介绍

[0005]自动驾驶车辆可以使用传感器来捕获环境数据。为了有效地对环境进行导航，自动驾驶车辆使用传感器数据来检测环境中的物体以避免发生碰撞。分割/分段(segmentation)技术可用于将传感器数据与物体相关联。但是，三维数据的分割却遇到了一些特殊的挑战，而这些挑战可能会导致物体检测失准、分割失准和/或物体检测和分割的灵敏性较差。

技术实现思路

[0006]根据本专利技术的实施例，提供了一种用于数据分割的系统，包括：一个或多个处理器；以及一种或多种计算机可读介质，所述计算机可读介质存储可由所述一个或多个处理器执行的指令，其中所述指令在被执行时使所述系统执行以下操作，包括：用车辆上的传感器捕获传感器数据；将所述传感器数据与体素空间相关联，所述体素空间包括至少三个维度；生成所述体素空间的二维体现/表象(representation)；将所述二维体现输入到机器学习算法中；从机器学习算法接收第一蒙片，所述第一蒙片以两个维度体现所述体素空间中的物体；至少部分地基于所述第一蒙片的扩展，生成第二蒙片，所述扩展至少部分地基于区域生长算法、所述第一蒙片的尺寸、或与关联于另一物体的第三蒙片的相交的至少其中之一；以及至少部分地基于所述第二蒙片对所述传感器数据进行分割。
[0007]根据本专利技术的另一实施例，提供了一种用于数据分割的方法。
[0008]根据本专利技术的另一实施例，提供了一种非暂时性计算机可读介质，其在被执行时使一个或多个处理器实施上述方法。
附图说明
[0009]参照附图对说明书进行了详细的描述。在附图中，附图标记的最左边的数字表示该附图标记首次出现的附图。而在不同附图中用相同的附图标记体现相似或相同的组件或特征。
[0010]图1示出了自上而下进行分割的示例性的方法的图形流程图。
[0011]图2示出了捕获环境的传感器数据的示例性的车辆。
[0012]图3A示出了具有与体素空间相关联的传感器数据的示例性的体素空间。
[0013]图3B示出了以自上而下的视角观察的体素空间的示例性部分，其中传感器数据与该体素空间的该部分相关联。
[0014]图3C示出了以自上而下的视角观察的示例体素空间，其中蒙片与体素空间的部分相关联。
[0015]图4A示出了生成扩展的蒙片的示例性方法的图形流程图。
[0016]图4B示出了生成与在体素空间中体现的不同物体相关联的蒙片的示例性方法的图形流程图。
[0017]图5示出了用于扩展第一蒙片以生成第二蒙片的示例性方法。
[0018]图6示出了用于实现本文描述的技术的示例性系统的框图。
[0019]图7示出了用于训练机器学习算法以输出一个或多个蒙片的示例性方法。
[0020]图8示出了用于至少部分地基于传感器数据来命令自动驾驶车辆的示例性方法。
具体实施方式
[0021]本公开描述了用于对体积元素(“体素”)空间中所体现的三维数据进行分割以确定环境中的物体的方法、装置和系统。例如，自动驾驶车辆可以包括多个传感器，以捕获与车辆的环境相应的传感器数据。在某些情况中，传感器数据可以包括与环境相关联的数据，在这种环境中，多个物体(例如，行人、车辆、骑自行车的人等)位于彼此相邻或彼此紧靠的位置。本文中描述的技术可以包括，但不限于，捕获传感器数据；将传感器数据与体素空间相关联；从“自上而下的视角”查看传感器数据；以及使用机器学习算法，借以输出与一个或多个物体相关联的蒙片。可对这种算法进行训练，借以输出体现小于所检测到的一个或多个物体的区域的蒙片，进而可以在推理模式下增大蒙片的尺寸，直到蒙片的尺寸达到可通过固定值边缘(margin)或蒙片百分比体现的阈值，或者直到上述蒙片与体现其它车辆和/或物体的另一个蒙片相交。蒙片内的体素可以与一个或多个物体标识符相关联，并且可对与蒙片相关联的数据进行分割。经过分割的数据可被传递到其他分类器，借以对一个或多个物体进行分类和/或可将经过分割的数据传递到规划系统，借以确定车辆的轨迹。分割技术可用于LIDAR数据、RADAR数据、图像数据等数据。
[0022]正如本文中所论述的，传感器数据可由一个或一个以上传感器捕获并可体现于体素空间中。体素空间可以包括在三维空间中的体素网格内体现传感器数据。利用在体素空间中所体现的传感器数据，所进行的处理可以包括：用机器学习算法输出与环境中的物体相关联的蒙片。在某些情况下，这种蒙片可体现于平面图或自上而下的透视图中。而在其他情况下，这种蒙片可体现于正视图或侧面透视图中。如上所述，可对这种机器学习算法进行训练，借以输出尺寸稍小于相关联的地面实况物体的蒙片。
[0023]通过在进行推理期间对第一蒙片输出进行扩展，系统可以生成与环境中的物体相关联的第二蒙片(例如，也称为“扩展蒙片”)。在一些情况下，可将蒙片的尺寸增加到阈值增量(threshold increase)，进而，与没有第二蒙片的情况相比，第二蒙片可用体现物体的整体上更高置信度来体现传感器数据的一部分。另外，在某些情况下，与不使用本文所述技术方案的蒙片相比，第二蒙片可用体现物体的整体上更高置信度水平来体现传感器数据的一部分。
[0024]系统可以至少部分地基于第二蒙片来分割传感器数据。基于分割数据，系统可以检测并确定与传感器数据和环境相关的多个物体。在某些情况下，系统可以使用分割数据来生成车辆的轨迹并对车辆进行控制，借以穿越环境。
[0025]可以理解的是，就所需的数据处理量和计算资源量而言，确定和检测环境中的物体可能需要大量耗费。另外，传输大量数据既会增加功耗，也可能会增加网络拥塞。传统方法还可能会花费大量时间来确定并检测环境中的物体。同时，尤其是在车辆和自动驾驶车辆的情况下，环境中物体的确定与检测方法必须提供准确的结果。例如，现有的分割技术已经使用了会将多个离散物体组合为单个物体的聚类技术或区域生长技术(例如，分割不足)以及会将单个物体分割为多个独立物体的技术(例如，分割过度)。因此，本文讨论的技术提高了对各种类型的数据进行分割的准确性。
[0026]本文讨论的自上而下的分割技术可以通过减少分割传感器数据的计算资源数量来改善计算设备的运行(functioning)。在某些情况下，可采用减少计算资源上所操作的数据量的形式来减少计算资源的总量。而在其他情况中，可采用更有效处理数据的形式来减少计算资源的总量。在其他实例中，可同本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种系统，包括：一个或多个处理器；以及一种或多种计算机可读介质，所述计算机可读介质存储可由所述一个或多个处理器执行的指令，其中所述指令在被执行时使所述系统实施以下操作，包括：接收传感器数据，所述传感器数据指示环境中的物体的至少一部分；将所述传感器数据与三维空间相关联；确定与所述三维空间的一部分相关联的表象；所述表象使用不同的透视图表示所述物体的至少一部分；至少部分地基于所述表象，确定与所述物体相关联的至少一部分传感器数据。2.根据权利要求1所述的系统，其中：所述表象包括二维蒙片、边框或分割信息中的至少之一；并且所述三维空间包括体素空间。3.根据权利要求1所述的系统，其中所述表象为第一表象，所述操作进一步包括：至少部分地基于所述第一表象以及与所述三维空间中另一检测的物体相关联的第三表象而确定第二表象。4.根据权利要求1所述的系统，所述操作进一步包括：针对所述三维空间的一区域，确定语义分割概率；以及进一步至少部分地基于所述语义分割概率而确定与所述物体相关联的那部分传感器数据。5.根据权利要求4所述的系统，其中所述语义分割概率为与所述区域相关联的多个语义分割概率的其中之一。6.根据权利要求1所述的系统，其中确定所述至少一部分传感器数据包括使用区域生长算法将所述传感器数据进行分割。7.一种或多种非暂时性计算机可读介质，所述非暂时性计算机可读介质存储可由一个或多个处理器执行的指令，其中所述指令在被执行时使所述一个或多个处理器实施以下操作，包括：接收传感器数据，所述传感器数据指示环境中的物体；将所述传感器数据与三维空间相关联；确定与所述三维空间的一部分相关联的表象，所述表象使用不同的透视图表示所述物体的至少一部分；以及至少部分地基于所述表象，确定与所述物体相关联的一部分传感器数据。8.根据权利要求7所述的一种或多种非暂时性计算机可读介质，所述操作进一步包括：至少部分地基于与所述物体相关联的所述一部分传感器数据，产生用于自动驾驶车辆的轨迹；以及至少部分地基于所述轨迹控制所述自动驾驶车辆穿越所述环境。9.根据权利要求7所述的一种或多种非暂时性计算机可读介质，所述操作进一步包括：将所述传感器数据与多通道图像相关联；将所述多通道图像输入到机器学习算法中；以及将所述机器学习算法的输出作为所述表象进行接收。
10.根据权利要求9所述的一种或多种非暂时性计算机可读介质，其中所述多通道图像包括多个通道，所述多个通道至少部分地基于与所述多通道图像相关联的体素空间的高度和一个或多个...

【专利技术属性】
技术研发人员：王曾，D，
申请(专利权)人：祖克斯有限公司，
类型：发明
国别省市：