计算机系统技术方案

本发明专利技术涉及计算机系统

【技术实现步骤摘要】
计算机系统、计算机实现的方法和计算机可读介质


[0001]本公开涉及计算机系统、计算机实现的方法和计算机可读介质。

技术介绍

[0002]运载工具的环境的准确感知对于确保安全且有效的运载工具操作至关重要。然而，将各种可用的传感器模态组合成准确且有用的感知理解通常是具有挑战性的。

技术实现思路

[0003]一种计算机系统，包括：一个或多于一个计算机可读存储装置，其被配置为存储计算机可执行指令；以及一个或多于一个计算机处理器，其被配置为执行所述计算机可执行指令，其中，所述计算机可执行指令的执行使得所述计算机系统：获得数据对的集合，各个数据对包括：第一数据，其与表示基于区域中的运载工具的传感器数据而生成的区域的鸟瞰图的合成图像相对应，其中，所述合成图像识别区域中的对象；以及第二数据，其与表示区域中的运载工具的视点的照相机图像相对应，其中，所述照相机图像描绘所述对象；基于所述数据对的集合来训练机器学习模型以产生经训练模型，其中，所述机器学习模型包括至少一个卷积神经网络以处理所述数据对的集合，并且其中，所述机器学习模型接受所述数据对的集合的给定数据对作为输入，并且提供与所述给定数据对相对应的对象的预测运动作为输出；以及将所述经训练模型传输到目的地运载工具，其中，所述目的地运载工具被配置为将所述经训练模型应用于所述目的地运载工具的传感器数据，以预测在所述传感器数据内识别出的目标对象的运动。
附图说明
[0004]图1是可以实现包括自主系统的一个或多于一个组件的运载工具的示例环境；
[0005]图2是包括自主系统的运载工具的一个或多于一个系统的图；
[0006]图3是图1和图2的一个或多于一个装置和/或一个或多于一个系统的组件的图；
[0007]图4A是自主系统的某些组件的图；
[0008]图4B是神经网络的实现的图；
[0009]图4C和图4D是例示卷积神经网络的示例操作的图；
[0010]图5
‑
图9是用于将来自感知系统的合成图像和来自附加传感器模态的数据(诸如来自照相机的图像等)融合的机器学习模型的示例实现的图；
[0011]图10描绘了用于训练机器学习模型以将感知系统的输出和附加传感器模态的数据融合的示例例程；以及
[0012]图11描绘了利用经训练的机器学习模型来预测对象运动或规划运载工具的动作的例程。
具体实施方式
[0013]在以下描述中，为了解释的目的，阐述了许多具体细节，以便提供对本公开的透彻理解。然而，本公开所描述的实施例可以在没有这些具体细节的情况下实施将是明显的。在一些实例中，众所周知的构造和装置是以框图形式例示的，以避免不必要地使本公开的方面模糊。
[0014]在附图中，为了便于描述，例示了示意要素(诸如表示系统、装置、模块、指令块和/或数据要素等的那些要素等)的具体布置或次序。然而，本领域技术人员将要理解，除非明确描述，否则附图中示意要素的具体次序或布置并不意在意味着要求特定的处理次序或序列、或处理的分离。此外，除非明确描述，否则在附图中包含示意要素并不意在意味着在所有实施例中都需要这种要素，也不意在意味着由这种要素表示的特征不能包括在一些实施例中或不能在一些实施例中与其他要素结合。
[0015]此外，在附图中，连接要素(诸如实线或虚线或箭头等)用于例示两个或多于两个其他示意要素之间或之中的连接、关系或关联，没有任何此类连接要素并不意在意味着不能存在连接、关系或关联。换句话说，要素之间的一些连接、关系或关联未在附图中例示，以便不使本公开内容模糊。此外，为了便于例示，可以使用单个连接要素来表示要素之间的多个连接、关系或关联。例如，如果连接要素表示信号、数据或指令(例如，“软件指令”)的通信，本领域技术人员应理解，这种要素可以表示影响通信可能需要的一个或多于一个信号路径(例如，总线)。
[0016]尽管使用术语“第一”、“第二”和/或“第三”等来描述各种要素，但这些要素不应受这些术语的限制。术语“第一”、“第二”和/或第三”等仅用于区分一个要素与另一要素。例如，在没有背离所描述的实施例的范围的情况下，第一触点可被称为第二触点，并且类似地，第二触点可被称为第一触点。第一触点和第二触点这两者都是触点，但它们不是相同的触点。
[0017]在本文所描述的各种实施例的说明书中使用的术语仅是为了描述特定实施例的目的而包括的，而不是意在限制。如在所描述的各种实施例的说明书和所附权利要求书中所使用的，单数形式“a”、“an”和“the”也意在包括复数形式，并且可以与“一个或多于一个”或者“至少一个”互换使用，除非上下文另有明确说明。还将理解的是，如本文所使用的术语“和/或”是指并且包括关联的列出项中的一个或多于一个的任何和所有可能的组合。还将理解的是，当在本说明书中使用术语“包括”、“包含”、“具备”和/或“具有”时，具体说明存在所陈述的特征、整数、步骤、操作、要素和/或组件，但并不排除存在或添加一个或多于一个其他特征、整数、步骤、操作、要素、组件和/或其群组。
[0018]如本文所使用的，术语“通信”和“进行通信”是指信息(或者由例如数据、信号、消息、指令和/或命令等表示的信息)的接收、收到、传输、传送和/或提供等中的至少一者。对于要与另一单元进行通信的一个单元(例如，装置、系统、装置或系统的组件、以及/或者它们的组合等)而言，这意味着该一个单元能够直接地或间接地从另一单元接收信息和/或向该另一单元发送(例如，传输)信息。这可以是指本质上为有线和/或无线的直接或间接连接。另外，即使可以在第一单元和第二单元之间修改、处理、中继和/或路由所传输的信息，两个单元也可以彼此进行通信。例如，即使第一单元被动地接收信息并且不主动地向第二单元传输信息，第一单元也可以与第二单元进行通信。作为另一示例，如果至少一个中介单
元(例如，位于第一单元和第二单元之间的第三单元)处理从第一单元接收到的信息、并将处理后的信息传输至第二单元，则第一单元可以与第二单元进行通信。在一些实施例中，消息可以是指包括数据的网络分组(例如，数据分组等)。
[0019]如本文所使用的，取决于上下文，术语“如果”可选地被解释为意指“当
…
时”、“在
…
时”、“响应于确定为”和/或“响应于检测到”等。类似地，取决于上下文，短语“如果已确定”或“如果检测到[所陈述的条件或事件]”可选地被解释为意指“在确定
…
时”、“响应于确定为“或”在检测到[所陈述的条件或事件]时”和/或“响应于检测到[所陈述的条件或事件]”等。此外，如本文所使用的，术语“有”、“具有”或“拥有”等旨在是开放式术语。此外，除非另有明确说明，否则短语“基于”意在是意味着“至少部分基于”。
[0020]现在将详细参考实施例，其示例在附图中例示出。在以下的详细描述中，阐述了许多具体细节，以便提供对所描述的各种实施例的透彻理解。然而，对于本领域的普通技术人员来说将明显的是，可以在没有这些具体细节的情本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机系统，包括：一个或多于一个计算机可读存储装置，其被配置为存储计算机可执行指令；以及一个或多于一个计算机处理器，其被配置为执行所述计算机可执行指令，其中，所述计算机可执行指令的执行使得所述计算机系统：获得数据对的集合，各个数据对包括：第一数据，其与表示基于区域中的运载工具的传感器数据而生成的区域的鸟瞰图的合成图像相对应，其中，所述合成图像识别区域中的对象；以及第二数据，其与表示区域中的运载工具的视点的照相机图像相对应，其中，所述照相机图像描绘所述对象；基于所述数据对的集合来训练机器学习模型以产生经训练模型，其中，所述机器学习模型包括至少一个卷积神经网络以处理所述数据对的集合，并且其中，所述机器学习模型接受所述数据对的集合的给定数据对作为输入，并且提供与所述给定数据对相对应的对象的预测运动作为输出；以及将所述经训练模型传输到目的地运载工具，其中，所述目的地运载工具被配置为将所述经训练模型应用于所述目的地运载工具的传感器数据，以预测在所述传感器数据内识别出的目标对象的运动。2.根据权利要求1所述的计算机系统，其中，所述至少一个卷积神经网络包括用于处理所述给定数据对的第一数据的第一卷积神经网络、用于处理所述给定数据对的第二数据的第二卷积神经网络、以及用于生成与所述给定数据对相对应的对象的预测运动的稠密层。3.根据权利要求2所述的计算机系统，其中，所述第一卷积神经网络生成合成图像特征，其中，所述第二卷积神经网络生成照相机图像特征，并且其中，所述稠密层将所述合成图像特征和所述照相机图像特征的连结作为输入并且输出与所述给定数据对相对应的对象的预测运动。4.根据权利要求3所述的计算机系统，其中，所述稠密层还将与同所述给定数据对相对应的对象有关的状态信息作为输入，并且输出与所述给定数据对相对应的对象的预测运动。5.根据权利要求4所述的计算机系统，其中，所述状态信息包括与所述给定数据对相对应的对象的速率、与所述给定数据对相对应的对象的加速度以及与所述给定数据对相对应的对象的姿态中的一个或多于一个。6.根据权利要求1所述的计算机系统，其中，所述至少一个卷积神经网络是第一卷积神经网络，其中，所述第一卷积神经网络将根据与所述给定数据对的照相机图像相对应的所述第二数据而标注的、与所述给定数据对的合成图像相对应的第一数据作为输入。7.根据权利要求6所述的计算机系统，其中，所述至少一个卷积神经网络生成被提供给稠密层的输出，以提供与所述给定数据对相对应的对象的预测运动。8.根据权利要求6所述的计算机系统，其中，所述第一数据被标注以在所述给定数据对的对象上指示点亮的制动灯、点亮的转向信号、轮位置、肢体位置和关节位置其中至少之一。9.根据权利要求6所述的计算机系统，其中，经由将第二机器学习模型应用于所述给定数据对的第一数据和所述给定数据对的第二数据，所述第一数据被标注。
10.根据权利要求6所述的计算机系统，其中，所述机器学习模型包括第二卷积神经网络，以生成对所述给定数据对的第一数据的标注。11.根据权利要求10所述的计算机系统，其中，在所述机器学习模型的训练期间，所述第一卷积神经网络与所述第二卷积神经网络同时被训练。12.根据权利要求11所述的计算机系统，其中，所述第二卷积神经网络输出至用于提供信号概率的稠密层，并且其中，所述第一卷积神经网络用损失函数进行训练，其中，所述第一卷积神经网络将信号概率作为输入并且输出与所述给定数据对相对应的对象的预测运动。13.根据权利要求10所述的计算机系统，其中，所述第二卷积神经网络接受所述给定数据对的第二数据的裁剪部分作为输入，所述裁剪部分是根据所述给定数据对的第二数据内的与所述给定数据对相对应的对象的位置而选择的，所述给定数据对的第二数据内的位置由所述给定数据对的第一数据内的与所述给定数据对相对应的对象的位置来指示。14.根据权利要求1所述的计算机系统，其中，所述计算机可执行指令的执行还使得所述计算机系统：基于所述...

【专利技术属性】
技术研发人员：E，
申请(专利权)人：动态，
类型：发明
国别省市：