用于对象检测和轨迹预测的运动和外观特征的融合制造技术

描述了与自主车辆的对象检测和轨迹预测有关的技术和示例。处理器接收图像帧的输入流并且使用深度神经网络(DNN)来融合所述图像帧的时空输入流和所述图像帧的基于外观的流以生成所述图像帧的增强流。所述处理器基于所述增强流来执行所述图像帧中的一个或多个对象的对象检测和轨迹预测。

【技术实现步骤摘要】
用于对象检测和轨迹预测的运动和外观特征的融合
本公开大体涉及自主车辆，并且更具体地涉及用于自主车辆的对象检测和轨迹预测的系统。
技术介绍
自主车辆通常能够在没有人为输入的情况下感测环境和导航。作为要求，自主车辆需要能够在动态周围环境中留意和分类潜在移动对象。然而，跟踪视频序列中的多个对象以及预测多个对象未来将位于何处的能力仍然是一个挑战。虽然现有的努力获得了基于对象的先前位置来预测对象轨迹的结果，但所使用的模型往往缺乏从视频中提取时空特征动态以增强检测并改善用于对象跟踪的轨迹预测的能力。
技术实现思路
根据一个方面，公开了一种用于自主车辆的对象检测和轨迹预测的方法。所述方法包括由处理器接收图像帧的输入流。所述方法还包括由所述处理器使用深度神经网络(DNN)来融合所述图像帧的时空输入流和所述图像帧的基于外观的流以生成所述图像帧的增强流。所述方法还包括由所述处理器基于所述增强流来执行所述图像帧中的对象的对象检测和轨迹预测。根据本公开的另一个方面，接收所述图像帧的输入流包括从车辆上的一个或多个图像传感器接收所述图像帧的输入流。根据本公开的另一个方面，使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流包括利用所述图像帧的所述时空输入流来增强所述图像帧的所述基于外观的流以生成所述图像帧的所述增强流。根据本公开的另一个方面，使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流包括由所述处理器从所述图像帧的接收流生成所述图像帧的所述时空输入流。附加地，使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流还包括由所述处理器从所述图像帧的接收流生成所述图像帧的所述基于外观的流。根据本公开的另一个方面，生成所述图像帧的所述时空输入流包括执行以下任一项：(a)使用光流计算和时空滤波器来生成所述图像帧的所述时空输入流；或者(b)使用适于从所述图像帧的所述输入流中提取运动信息的网络流来生成所述图像帧的所述时空输入流。根据本公开的另一个方面，使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流包括使用级联所述时空输入流和所述基于外观的流的卷积神经网络(CNN)来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流。根据本公开的另一个方面，使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流包括使用具有早期融合架构的所述DNN来级联所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流，在所述早期融合架构中所述时空输入流和所述基于外观的流在没有单独处理的情况下被分别堆叠作为用于对象检测和轨迹预测的输入。根据本公开的另一个方面，使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流包括使用具有后期融合架构的所述DNN来级联所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流，在所述后期融合架构中所述时空输入流和所述基于外观的流在两个单独流中进行处理以创建两组单独的特征图，所述特征图被组合以形成用于对象检测和轨迹预测的输入。根据本公开的另一个方面，使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流包括使用具有缓慢融合架构的所述DNN来级联所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流，在所述缓慢融合架构中，所述时空输入流和所述基于外观的流分别进行处理用于一个或多个层，之后进行组合以形成用于对象检测和轨迹预测的输入。根据本公开的另一个方面，使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流包括使用具有递归连接的递归神经网络(RNN)以利用来自所述图像帧的先前视频帧的输出作为所述图像帧的当前视频帧的输入来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流。根据一个方面，一种可在车辆中实现的设备包括处理器。所述处理器能够执行包括以下操作的操作：(a)接收图像帧的输入流；(b)使用深度神经网络(DNN)来融合所述图像帧的时空输入流和所述图像帧的基于外观的流以生成所述图像帧的增强流；以及(c)基于所述增强流来执行所述图像帧中的对象的对象检测和轨迹预测。根据本公开的另一个方面，所述设备还包括通信地耦合到所述处理器的一个或多个图像传感器。所述一个或多个图像传感器能够捕获所述图像帧并将所述图像帧作为图像帧的输入流提供给所述处理器。根据本公开的另一个方面，在使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流时，所述处理器利用所述图像帧的所述时空输入流来增强所述图像帧的所述基于外观的流以生成所述图像帧的所述增强流。根据本公开的另一个方面，在使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流时，所述处理器从所述图像帧的所述接收流生成所述图像帧的所述时空输入流。此外，所述处理器从所述图像帧的所述接收流生成所述图像帧的所述基于外观的流。根据本公开的另一个方面，在生成所述图像帧的所述时空输入流时，所述处理器执行以下任一项：(a)使用光流计算和时空滤波器来生成所述图像帧的所述时空输入流；或者(b)使用适于从所述图像帧的所述输入流中提取运动信息的网络流来生成所述图像帧的所述时空输入流。根据本公开的另一个方面，在使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流时，所述处理器使用级联所述时空输入流和所述基于外观的流的卷积神经网络(CNN)来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流。根据本公开的另一个方面，在使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流时，所述处理器使用具有早期融合架构的所述DNN来级联所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流，在所述早期融合架构中所述时空输入流和所述基于外观的流在没有单独处理的情况下被分别堆叠作为用于对象检测和轨迹预测的输入。根据本公开的另一个方面，在使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流时，所述处理器使用具有后期融合架构的所述DNN来级联所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流，在所述后期融合架构中所述时空输入流和所述基于外观的流在两个单独流中进行处理以创建两组单独的特征图，所述特征图被组合以形成用于对象检测和轨迹预测的输入。根据本公开的另一个方面，在使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流时，所述处理器使用具有缓慢融合架构的所述DNN来级联所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流，在所述缓慢融合架构中，所述时空输入流和所述基于外观的流分别进行处理用于一个或多个层，之后进行组合以形成用于对象检测和轨迹预测的输入。根据本公开的另一个方面，在使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流时，所述处理器使用具有递归连接的递归神经网络(RNN)以利用来自所述图像帧的先前视频帧的输出作为所述图像帧的当前视频帧的输入来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流。附图说明参照以下附图描述本公开的非限制性和非穷尽性实施例本文档来自技高网...

【技术保护点】
1.一种方法，其包括：由处理器从车辆上的一个或多个图像传感器接收图像帧的输入流；由所述处理器使用深度神经网络(DNN)来融合所述图像帧的时空输入流和所述图像帧的基于外观的流以生成所述图像帧的增强流；以及由所述处理器基于所述增强流来执行所述图像帧中的对象的对象检测和轨迹预测。

【技术特征摘要】
2017.10.06 US 15/727,3251.一种方法，其包括：由处理器从车辆上的一个或多个图像传感器接收图像帧的输入流；由所述处理器使用深度神经网络(DNN)来融合所述图像帧的时空输入流和所述图像帧的基于外观的流以生成所述图像帧的增强流；以及由所述处理器基于所述增强流来执行所述图像帧中的对象的对象检测和轨迹预测。2.根据权利要求1所述的方法，其中使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流包括利用所述图像帧的所述时空输入流来增强所述图像帧的所述基于外观的流以生成所述图像帧的所述增强流。3.根据权利要求1所述的方法，其中使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流包括：由所述处理器从所述图像帧的所述接收流生成所述图像帧的所述时空输入流；以及由所述处理器从所述图像帧的所述接收流生成所述图像帧的所述基于外观的流，其中生成所述图像帧的所述时空输入流包括执行以下任一项：使用光流计算和时空滤波器来生成所述图像帧的所述时空输入流；或者使用适于从所述图像帧的所述输入流中提取运动信息的网络流来生成所述图像帧的所述时空输入流。4.根据权利要求1所述的方法，其中使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流包括使用级联所述时空输入流和所述基于外观的流的卷积神经网络(CNN)来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流。5.根据权利要求1所述的方法，其中使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流包括使用具有早期融合架构的所述DNN来级联所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流，在所述早期融合架构中所述时空输入流和所述基于外观的流在没有单独处理的情况下被分别堆叠作为用于对象检测和轨迹预测的输入。6.根据权利要求1所述的方法，其中使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流包括使用具有后期融合架构的所述DNN来级联所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流，在所述后期融合架构中所述时空输入流和所述基于外观的流在两个单独流中进行处理以创建两组单独的特征图，所述特征图被组合以形成用于对象检测和轨迹预测的输入。7.根据权利要求1所述的方法，其中使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流包括使用具有缓慢融合架构的所述DNN来级联所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流，在所述缓慢融合架构中，所述时空输入流和所述基于外观的流分别进行处理用于一个或多个层，之后进行组合以形成用于对象检测和轨迹预测的输入。8.根据权利要求1所述的方法，其中使用所述DNN来融合所述图像帧的所述时空输入流和所述图像帧的所述基于外观的流包括使用具有递归连接的递归神经网络(RNN)以利用来自所述图像帧的先前视频帧的输出作为所述图像帧的当前视频帧的输入来融合所述图像帧的所述时空输入流和所述图像帧的...

【专利技术属性】
技术研发人员：盖·霍特森，金塔拉斯·文森特·普斯科里奥斯，维迪亚·纳里亚曼特穆拉里，高拉夫·库马尔·辛格，波尔·拉多，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：美国,US