用于构建和使用视野（FOV）信息的系统和方法技术方案

本文描述了用于构建和使用车辆视野(FOV)信息的系统、方法和非暂时性计算机可读介质。可以结合车辆定位(诸如自主车辆(AV)的定位)、传感器数据融合等来使用FOV信息。可以提供定制的计算机器，其被配置为构建和使用FOV信息。定制的计算机器可以使用FOV信息，并且更具体地，使用其中包括的FOV语义数据来管理与结合AV的操作执行的处理有关的各种数据和执行方式，例如，数据预取操作、传感器数据输入流的重排以及多个处理核之间数据处理的分配。排以及多个处理核之间数据处理的分配。排以及多个处理核之间数据处理的分配。

【技术实现步骤摘要】
用于构建和使用视野(FOV)信息的系统和方法

技术介绍

[0001]本专利技术总体涉及FOV信息的构建和使用，并且更具体地，在一些实施例中，涉及使用FOV语义信息来管理各种数据和执行任务，包括数据预取操作、数据处理重排操作和将数据处理自适应分配给计算核。
技术介绍

[0002][0003]车辆(诸如自主车辆(AV))中的车载传感器通过提供从车辆周围环境捕获的连续传感器数据流来补充和增强车辆的FOV。传感器数据用于与多种基于车辆的应用(例如，包括盲点检测、变道辅助、用于碰撞警告或碰撞避免的后端雷达、停车辅助、交叉路口监控、制动辅助、紧急制动和自动距离控制)结合使用。
[0004]车载传感器大致可以分为两类：有源传感器，自身为操作提供能量源；以及无源传感器，依靠外部电源进行操作。车载传感器包括例如照相机、基于光检测和测距(LiDAR)的系统、基于雷达的系统、全球定位系统(GPS)系统、基于声纳的传感器、超声波传感器、惯性测量单元(IMU)、加速度计、陀螺仪、磁力计和远红外(FIR)传感器。传感器数据可以包括图像数据、反射的激光数据等。通常，由车载传感器捕获的图像利用三维(3D)坐标系来确定图像中的对象彼此之间以及相对于车辆的距离和角度。特别地，可以使用位于车辆各处的各种车载传感器来在车辆附近获取这种实时空间信息，然后可以对其进行处理以计算各种车辆参数并确定车辆的安全驾驶操作。
[0005]存在用于确定诸如AV的车辆的位置的各种技术。这样的技术包括例如传统GPS设备以及启用IMU的GPS设备，其允许GPS接收器在GPS信号不可用时(诸如在隧道中、建筑物内)或存在电子干扰时工作。然而，这些技术具有许多缺点。本文描述了解决这些缺点以及与其他AV相关处理(诸如传感器融合)相关的技术缺点的技术方案。

技术实现思路

[0006]本文描述了用于构建和使用FOV信息的系统、方法和非暂时性计算机可读介质。在示例性实施例中，可以结合车辆定位(诸如AV的定位)、传感器数据融合等来使用FOV信息。在示例性实施例中，提供了定制的计算机器，其被配置为构建和使用FOV信息。定制的计算机器可以在任何合适的设备上实现，包括但不限于现场可编程门阵列(FPGA)、专用集成电路(ASIC)等。在示例性实施例中，定制的计算机器可以使用FOV信息，并且更具体地，使用FOV语义数据来管理与结合AV的操作执行的处理有关的各种数据和执行方式，例如，数据预取操作、传感器数据输入流的重排以及多个处理核之间数据处理的分配。
[0007]本文公开的系统、方法和非暂时性计算机可读介质的这些和其他特征以及结构的相关元件的操作和功能以及部件的组合和制造的经济措施将通过参考附图考虑以下描述和所附权利要求而变得更显而易见，上述全部内容形成本说明书的一部分，其中相同的附图标记表示各附图中的对应部分。然而，应该清楚地理解，附图仅用于说明和描述的目的，并不旨在作为本专利技术的限制的定义。
附图说明
[0008]在所附权利要求中具体阐述了本技术的各种实施例的某些特征。通过参考以下详细描述将获得对该技术的特征和优点的更好理解，该详细描述阐述了利用本专利技术原理的说明性实施例以及附图：
[0009]图1是示出根据本专利技术示例性实施例的定制的FOV语义计算机器的操作的混合数据流和框图。
[0010]图2示出根据本专利技术示例性实施例的与高清晰度静态图相关的示例性FOV。
[0011]图3示出根据本专利技术实施例的将不同的竖直传感器扫描和对应的运动补偿数据分配给不同的处理核。
[0012]图4示出根据本专利技术示例性实施例的将竖直传感器扫描的所有帧和对应的运动补偿数据分配给同一处理核以提高计算性能并减少计算冗余。
[0013]图5是根据本专利技术示例性实施例的用于对输入传感器数据和预填充数据执行数据转换操作、从转换的数据中提取FOV语义、使用提取的FOV语义来管理数据和执行方式的说明性方法的处理流程图。
[0014]图6是根据本专利技术实施例的用于将不同的竖直传感器扫描和对应的运动补偿数据分配给不同处理核的说明性方法的处理流程图。
[0015]图7是示出配置为实施本专利技术的示例性实施例的示例性网络架构的示意性框图。
具体实施方式
[0016]在下面的描述中，阐述了某些具体细节以便提供对本专利技术的各种实施例的透彻理解。然而，本领域技术人员将理解，可以在没有这些细节的情况下实践本专利技术。而且，尽管本文公开了本专利技术的各种实施例，但是根据本领域技术人员的公知常识，可以在本专利技术的范围内做出许多修改和变型。这样的变型包括用已知等效物替代本专利技术的任何方面，以便以基本上相同的方式获得相同的结果。
[0017]除非上下文另外要求，否则在整个本说明书和权利要求书中，词语“包括”及其变体(诸如“包括”和“囊括”)应以开放的、包含性的含义来解释，即为“包括但不限于”。在整个说明书中对值的数值范围的引用旨在用作速记符号，分别指代落入包括限定范围的值在内的范围内的每个单独的值，并且每个单独的值如本文中单独列举的那样被并入说明书中。附加地，单数形式“一”、“一个”和“所述”包括复数对象，除非上下文另外明确指出。短语“至少之一”、“选自以下组中的至少一个”或“选自以下组成的组中的至少一个”等将以分离的方式解释(例如，不解释为A中的至少一个和B中的至少一个)。
[0018]在整个说明书中对“一个实施例”或“实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本专利技术的至少一个实施例中。因此，贯穿本说明书在各个地方出现的短语“在一个实施例中”或“在实施例中”并不一定都指代同一实施例，但是可以在一些实例中。此外，在一个或多个实施例中，特定特征、结构或特性可以以任何合适的方式组合。
[0019]通常，车辆(例如，自主车辆、无人驾驶车辆等)可以具有无数的车载传感器。这样的传感器可以设置在车辆的外部或内部，并且可以包括但不限于LiDAR传感器、雷达、照相机、GPS接收器、基于声纳的传感器、超声波传感器、IMU、加速度计、陀螺仪、磁力计、FIR传感
器，等等。这些传感器在自主车辆或无人驾驶车辆的运行和操作中起着核心作用。例如，可以将LiDAR用于检测和识别车辆周围环境中的对象(例如，其他车辆、路标、行人、建筑物等)。LiDAR还可以用于确定环境中对象的相对距离。作为另一非限制性示例，可以结合碰撞避免、自适应巡航控制、盲点检测、辅助停车等来使用雷达。作为又一非限制性示例，可以利用照相机来识别、解释和/或识别在对象的图像或视觉线索中捕获的对象。照相机和其他光学传感器可以使用电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)或类似元件来捕获图像数据。作为又一非限制性示例，IMU可以检测异常路面状况或障碍物，诸如道路中的凸起或凹坑。从这些传感器收集的数据可以被处理并用作配置为做出各种自主驾驶决策的算法的输入，这些决策包括与加速、减速、改变方向等的时间和程度有关的决策。例如，来自这些传感器的数据可以被进一步处理成捕获图像中色调分布的图形表示的图像直方图。
[0020本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于构建和使用视野(FOV)信息的方法，包括：从与车辆关联的多个传感器接收多个传感器数据输入流；检索预填充数据；对所述传感器数据输入流和所述预填充数据执行一个或多个数据转换操作以获得转换的数据；从所述转换的数据中提取FOV语义数据；以及使用所述FOV语义数据管理数据和执行方式。2.根据权利要求1所述的方法，其中，管理数据和执行方式包括以下中的至少一者：执行数据预取操作、重排所述传感器数据输入流和确定将处理分配给多个处理核。3.根据权利要求2所述的方法，其中，所述预填充数据是地图数据，并且其中，执行数据预取操作包括：至少部分地基于所述FOV语义数据来确定所述车辆的FOV；确定所述地图数据中与所述FOV对应的部分；以及执行对所述地图数据的所述部分的预取，其中，执行预取包括从第一数据存储装置中检索所述地图数据的所述部分并将所述地图数据中的检索到的所述部分存储在第二数据存储装置中，其中，所述第二数据存储装置具有比所述第一数据存储装置更快的访问速率。4.根据权利要求3所述的方法，其中，所述车辆的所述FOV具有不规则形状。5.根据权利要求4所述的方法，其中，所述地图数据与网格尺寸关联，所述网格尺寸允许检索所述地图数据中与所述车辆的所述FOV的所述不规则形状对应的部分。6.根据权利要求2所述的方法，其中，重排所述传感器数据输入流包括：修改至少两个传感器数据输入流的帧的处理序列，以确保所述地图数据的所述部分不会同时被不同的处理核访问。7.根据权利要求1所述的方法，还包括：对提取的所述FOV语义数据执行传感器融合。8.根据权利要求7所述的方法，其中，执行传感器融合包括数据插值和数据冗余消除中的至少一者。9.一种用于构建和使用视野(FOV)信息的计算机器，包括：多个处理核；和可编程逻辑，所述可编程逻辑包括：数据转换引擎，所述数据转换引擎被配置为：从与车辆关联的多个传感器接收多个传感器数据输入流；检索预填充数据；和对所述传感器数据输入流和所述预填充数据执行一个或多个数据转换操作以获得转换的数据；FOV语义提取引擎，所述FOV语义提取引擎被配置为从所述转换的数据中提取FOV语义数据；以及执行控制器，所述执行控制器被配置为使用所述FOV语义数据管理数据和执行方式。10.根据权利要求9所述的计算机器，其中，所述执行控制器被配置成通过执行以下中的至少一者来管理数据和执行方式：数据预取操作、所述传感器数据输入流的重排和确定将处理分配给所述多个处理核。
11.根据权利要求10所述的计算机器，其中，所述预填充数据是地图数据，并且其中，所述执行控制器被配置成至少部分地通过以下操作来执行所述数据预取操作：至少部分地基于所述FOV语义...

【专利技术属性】
技术研发人员：孟平凡，张钰勃，邱玮扬，李柏汉，
申请(专利权)人：小马智行，
类型：发明
国别省市：