使用占用流场预测代理在环境中的未来移动制造技术

用于预测代理在环境中未来移动的方法、系统和装置，包括在计算机存储介质上编码的计算机程序。具体而言，未来移动通过占用流场来预测，对于未来时间点序列中的每个未来时间点以及一组一个或多个代理类型中的每个代理类型，该占用流场指定：对未来时间步长的占用预测，对于每个网格单元，指定代理类型的任何代理将在未来时间点占用该网格单元的占用可能性，以及运动流预测，对于每个网格单元，指定表示在未来时间点在该网格单元内代理类型的代理的预测运动的运动向量。预测运动的运动向量。预测运动的运动向量。

【技术实现步骤摘要】
使用占用流场预测代理在环境中的未来移动
[0001]对相关申请的交叉引用
[0002]本申请要求2021年3月18日提交的美国临时申请No.63/162,988和2022年3月4日提交的美国临时申请No.63/316,801的权益。这些在先申请的公开内容被视为本申请公开内容的一部分，并通过引用并入本申请公开内容中。

技术介绍

[0003]本专利技术预测代理在环境中的运动。
[0004]环境可以是真实世界的环境，并且代理可以例如是环境中的载具、行人或骑自行车的人。预测对象的运动是运动规划所需的任务，例如自主载具。
[0005]自主载具包括自动驾驶汽车、船只和飞机。

技术实现思路

[0006]本说明书通常描述了在一个或多个位置的一个或多个计算机上实现为计算机程序的系统，生成环境的自上而下表示的特征，然后使用神经网络处理环境的自上而下表示的特征，以生成表征代理在环境中的未来运动的预测。
[0007]更具体地，对于未来时间点序列中的每个未来时间点和一组一个或多个代理类型中的每个代理类型，预测指定(i)对未来时间步长的占用预测，对于自上而下表示中的每个网格单元，指定代理类型的任何代理将在未来时间点占用该网格单元的占用可能性，以及(ii)运动流预测，对于每个网格单元，指定表示在未来时间点在该网格单元内代理类型的代理的预测运动的运动向量。
[0008]因此，对于给定代理类型，系统处理相同自上而下表示的相同特征，以并行生成一组占用预测和一组运动流预测二者。例如，系统可以为给定代理类型生成单个特征图，包括该代理类型的占用预测和该代理类型的运动流预测二者。
[0009]本说明书中描述的主题可以在特定实施例中实施，以便实现以下优点中的一个或多个。
[0010]运动预测是多代理环境中规划的重要组成部分，并且自主驾驶特别感兴趣。
[0011]一些现有方法对不确定的未来进行建模，即考虑到代理的未来运动可能具有多个可信的未来实现，作为每个代理的一组紧凑轨迹上的分布。相对于此，生成占用预测的基于占用网格的方法提供了一些显著的优势：非参数占用预测捕获更丰富的未来分布类别，结合形状和身份不确定性，并对时空单元中任何代理存在的联合概率(而不是每个代理的独立边际概率)建模。虽然这些优势使占用网格成为一个有吸引力的选择，但是占用网格方法的缺点是代理身份丢失，即，从给定占用预测中，哪个代理可能占用对应的网格单元并不明显(只有某些代理可能占用该单元)，并且没有显而易见的方法可以从网格中提取运动(这是时间间隔的快照)。这使得不清楚如何以更精细的时间粒度在占用预测之间进行插值，并且无法从占用预测直接预测单个代理的速度。
[0012]另一方面，本说明书描述了使用流场扩展标准占用网格的占用流场。也就是说，所
描述的技术也对每个网格单元并在每个未来时间点预测运动流预测，其表示在网格单元内适当类型的任何代理的预测运动。通过使用流估计来增强输出，所描述的技术允许系统，例如自主载具的规划系统，通过遵循预测流向量序列，而将占用从遥远未来网格位置跟踪到当前时间位置。因此，克服了无法从占用预测中恢复代理身份的缺点，即，因为这种“跟踪”允许为任何未来的网格单元恢复最可能的代理身份，同时保持上述优势。
[0013]并入流预测的另一个优点是它允许占用模型以更少的“关键帧”来捕获未来行为，即具有更少、更多间隔的未来时间步长的序列，因为流预测可以被用于在任何连续的时间点扭曲(warp)或变形(morph)占用，允许在存在占用预测的两个时间点之间的时间点进行有效插值。也就是说，如果自主载具的规划系统需要一个时间点的占用预测，该时间点不是已经对其生成预测的序列中的未来时间点之一，则系统可以使用序列中的一个或多个相邻未来时间点的流预测来修改(“扭曲”)在一个或多个相邻未来时间点的占用预测，以生成所需时间点的占用预测。
[0014]此外，当流公式为每个代理捕获多个行进方向时，变形处理将导致从最后一个已知代理占用保守地扩展占用。因此，规划系统可以安全地使用变形的占用，该规划系统为自主载具规划路径，以最小化载具与预测占用的托管。
[0015]更进一步，由于所描述的技术不进行以代理为中心的预测，而是使用占用和流预测对未来行为进行建模，因此系统可以有效地进行其中并入截至当前时间点尚未检测和跟踪的代理行为的预测。具体而言，考虑到当前最先进的实时感知，运动预测系统可用的跟踪质量可能会受到限制。例如，由于遮挡或距离增加，系统可能无法有效地跟踪代理。更重要地，新代理可能会通过解除遮挡或以其他方式进入自主载具的视野而出现。推理这些所谓的投机代理的位置和速度对于安全有效的自主驾驶至关重要。为已经检测到并跟踪的代理预测相应轨迹的轨迹预测模型不能处理可能从遮挡区域出来或可能进入传感器范围内的代理，而所描述的技术可以结合在未来时间步长在占用和流预测内的此类事件的可能性。
[0016]本说明书的主题的一个或多个实施例的细节在附图和以下描述中阐述。本主题的其他特征、方面和优点将从描述、附图和权利要求中变得显而易见。
附图说明
[0017]图1是示例系统的示意图。
[0018]图2是用于生成占用流预测的示例处理的流程图。
[0019]图3示出运动预测系统执行的操作的示例。
[0020]图4是用于为给定代理类型的未来时间点生成流扭曲占用的示例处理的流程图。
[0021]不同附图中相同的附图标记和名称表示相同的元件。
具体实施方式
[0022]本说明书描述了载具——例如，自主或半自主载具——如何使用训练的机器学习模型(在本说明书中称为“运动预测系统”)来生成占用流预测(occupancy flow prediction)，占用流预测表征在环境中周围代理在载具附近的预测未来运动。
[0023]在本说明书中，“周围代理”可以指代载具、自行车、行人、船舶、无人机或环境中的任何其他移动物体，而不失一般性。
[0024]本说明书也描述了如何使用由载具或其他源生成的训练示例来有效地训练运动预测系统以准确可靠地进行预测。
[0025]图1是示例系统100的示意图。系统100包括车载系统110和训练系统120。
[0026]车载系统110位于载具102上。虽然图1被示为汽车，但是车载系统102可以位于任何合适的载具类型上。
[0027]在一些情况下，载具102是自主载具。自主载具可以是完全自主的载具，其确定并执行全自主驾驶决策以便在环境中导航。自主载具也可以是使用预测来帮助人类驾驶员的半自主载具。例如，如果预测表明人类驾驶员将要与另一辆车相撞，则载具102可以自主地应用制动器。作为另一示例，载具102可以具有高级驾驶员辅助系统(ADAS)，其通过检测潜在的不安全情况并警告人类驾驶员或以其他方式响应不安全情况来辅助载具102的人类驾驶员驾驶载具102。作为特定示例，载具120可以在检测到障碍物时、在载具离开行驶车道时或在人类驾驶员的盲区中检测到对象时提醒载具102的驾驶员或采取自本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种由一个或多个计算机执行的方法，所述方法包括：在当前时间点接收表征环境中的场景的输入；从输入生成编码表示，包括环境的自上而下表示中的每个网格单元的相应特征；使用解码器神经网络处理编码表示，解码器神经网络被配置为处理编码表示以生成解码器输出，解码器输出对于未来时间点序列中的每个未来时间点以及一组一个或多个代理类型中的每个代理类型指定：未来时间步长的占用预测，对于每个网格单元指定代理类型的任何代理将在未来时间点占用网格单元的占用可能性，和运动流预测，对于每个网格单元指定运动向量，运动向量表示在未来时间点在网格单元内代理类型的代理的预测运动。2.根据权利要求1所述的方法，其中，对于每个代理类型，解码器输出包括特征图，特征图包括对于每个网格单元指定在每个未来时间点针对该网格单元的占用可能性和运动向量的相应向量。3.根据权利要求1或2所述的方法，其中，对于每个网格单元并且在每个未来时间点，运动向量表示对于在未来时间点位于该网格单元处的部分场景，对应先前时间点和未来时间点之间的部分的位置变化的预测。4.根据权利要求3所述的方法，其中，对于每个网格单元并且在每个未来时间点，运动向量等于(i)该网格单元的坐标与(ii)在对应先前时间点被部分场景占用的网格单元的坐标之间的预测差。5.根据权利要求3或4中的任一项所述的方法，其中，对于序列中的第一未来时间点，对应先前时间点是当前时间点，并且其中对于序列中的每个后续时间点，对应时间点是序列中紧接在前未来时间点。6.根据前述权利要求中的任一项所述的方法，其中，输入包括自上而下表示中的多个点，每个点与属性相关联并且表示在当前时间点在环境中的场景，并且其中属性至少标识自上而下表示中的点的坐标。7.根据权利要求6所述的方法，其中，从输入生成包括环境的自上而下表示中的每个网格单元的相应特征的编码表示包括，对于每个网格单元；识别在网格单元内的点；以及使用编码器神经网络处理在网格单元内的点的属性，以生成网格单元的相应特征。8.根据权利要求6或7所述的方法，其中，多个点包括：对于环境中的一个或多个代理中的每一个，表示代理在时间点的状态的、观察代理轨迹中的关于多个时间点中的每一个的一个或多个相应轨迹点。9.根据权利要求6至8中的任一项所述的方法，其中，多个点包括：对于一个或多个道路元素中的每一个，表示道路元素的相应一组道路元素点。10.根据权利要求6至9...

【专利技术属性】
技术研发人员：R马赫犹里安，J金，Y柴，M谭，B萨普，D安格洛夫，
申请(专利权)人：伟摩有限责任公司，
类型：发明
国别省市：