用于为车辆提供远程辅助的方法和系统技术方案

所描述的示例可以使得能够为自动驾驶车辆提供远程辅助。示例方法包括以倒带模式运行的计算系统。在倒带模式下，系统可以被配置为向基于满足的远程辅助触发标准而操作的远程辅助提供信息。当满足触发标准时，远程辅助系统可以将从在捕获自动驾驶的环境满足远程辅助触发标准之前的时间的数据提供给远程辅助操作者。基于查看数据，远程辅助操作者可以向系统提供并输入该系统，以将命令发布给自动驾驶车辆。

Methods and systems for providing remote assistance to vehicles

【技术实现步骤摘要】
【国外来华专利技术】用于为车辆提供远程辅助的方法和系统
技术介绍
车辆可以是任何轮式机动车辆，并且可以包括轿车、卡车、摩托车、公共汽车等。车辆可以用于各种任务，诸如人员和货物的运输以及许多其他用途。某些车辆可能是部分或完全自动驾驶的。例如，当车辆处于自动驾驶模式时，车辆操作的一些或全部驾驶方面可以由自动驾驶车辆系统(即，单独或共同起作用以促进对自动驾驶车辆的控制的任何一个或多个计算机系统)进行处理。在这种情况下，位于车载网络中和/或位于服务器网络中的计算设备可用于执行以下功能，诸如规划行驶路线、感测车辆的各个方面、感测车辆的环境以及控制驱动组件(诸如转向、节流阀(throttle)和制动)。因此，自动驾驶车辆可以减少或消除在车辆操作的各个方面中对人机交互的需求。
技术实现思路
在一个方面，本申请描述了一种为自动驾驶车辆提供远程辅助的方法。该方法可以包括基于从自动驾驶车辆接收的数据确定自动驾驶车辆已经停止。该方法还可以包括确定已经满足一个或多个检查标准。响应于满足一个或多个检查标准，该方法可以包括向操作者提供至少一个图像。该方法还包括接收操作者输入。更进一步，该方法可以包括响应于操作者输入，经由网络向自动驾驶车辆提供用于由自动驾驶车辆运行的指令。在另一方面，本申请描述了一种系统。该计算系统可以包括通信单元，该通信单元被配置为经过网络与自动驾驶车辆通信。通信单元可以被配置为从自动驾驶车辆接收数据，其中数据包括图像数据和位置数据，并且向自动驾驶车辆发送用于由自动驾驶车辆运行的指令。该系统还包括处理器。处理器可以被配置为确定自动驾驶车辆已经停止并且确定已经满足一个或多个检查标准。响应于满足一个或多个检查标准，处理器还可被配置为向操作者提供至少一个图像。处理器还被配置为接收操作者输入。更进一步，处理器被配置为确定用于自动驾驶车辆的至少一个指令，并使通信单元将指令发送到自动驾驶车辆。在另一方面，本申请描述一种制品(manufacture)，该制品包括具有存储在其上的指令的非暂时性计算机可读介质，当所述指令由计算系统中的处理器运行时，使计算系统执行操作。该操作可以包括基于从自动驾驶车辆接收的数据确定自动驾驶车辆已经停止。该操作还可能涉及确定已经满足一个或多个检查标准。响应于满足一个或多个检查标准，该操作可以涉及向操作者提供至少一个图像。该操作还包括接收操作者输入。更进一步，该操作可以包括响应于操作者输入，经由网络向自动驾驶车辆提供用于由自动驾驶车辆运行的指令。在又一方面，提供了一种系统，该系统包括用于以倒带(rewind)模式操作的装置。该系统可以包括用于基于从自动驾驶车辆接收的数据来确定自动驾驶车辆已经停止的装置。该系统还可以包括用于确定已经满足一个或多个检查标准的装置。响应于满足一个或多个检查标准，系统可以包括用于向操作者提供至少一个图像的装置。该系统还包括用于接收操作者输入的装置。另外，该系统可以包括响应于操作者输入，用于经由网络装置向自动驾驶车辆提供用于由自动驾驶车辆运行的指令的装置。前述
技术实现思路
仅是说明性的，并不旨在以任何方式进行限制。除了上述说明性方面、实施方式和特征之外，通过参考附图和以下详细描述，其他方面、实施方式和特征将变得显而易见。附图说明图1是根据示例实施方式示出车辆的功能框图。图2是根据示例实施方式的车辆的物理构造的概念图。图3A是根据示例实施方式的与自动驾驶车辆有关的各种计算系统之间的无线通信的概念图。图3B示出了描绘示例计算系统的示例组件的简化框图。图4A示出了根据示例实施方式的自动驾驶车辆操作场景的俯视图。图4B示出了根据示例实施方式的来自图4A的场景的传感器数据表示。图4C示出了根据示例实施方式的从图4A中的车辆获取的视频馈送(videofeed)。图4D示出了根据示例实施方式的包含来自图4B的传感器数据表示和来自图4C的视频馈送的图形用户界面。图4E示出了根据示例实施方式的来自图4D的包括控制菜单的GUI。图5是根据示例实施方式的自动驾驶车辆在操作期间的顶视图。图6A是根据示例实施方式的方法的流程图。图6B是根据示例实施方式的方法的流程图。图6C是根据示例实施方式的方法的流程图。图7是根据示例实施方式的计算机程序的示意图。具体实施方式本文描述了示例方法和系统。应当理解，词语“示例”、“示例性”和“说明性”在本文中用来表示“用作示例、例子或说明”。本文中描述为“示例”、“示例性”或“说明性”的任何实施方式或特征不一定要被解释为比其他实施方式或特征优选或有利。本文描述的示例实施方式并不意味着是限制性的。容易理解的是，可以以各种不同的配置来布置、替换、组合、分离和设计如本文一般地描述的以及在附图中示出的本公开的各方面，所有这些都在本文被明确地构想。另外，在本公开中，除非另外特定和/或除非特定上下文另外明确指出，否则术语“一个”或“一种”表示至少一个，并且术语“该”表示至少一个。此外，附图中所示的特定布置不应视为限制性的。应当理解，其他实施方式可以包括或多或少的给定图中所示的每个元件。此外，一些示出的元件可以被组合或省略。更进一步，示例实施方式可以包括在附图中未示出的元件。在实践中，自动驾驶车辆系统可以使用代表车辆环境的数据来识别对象。车辆系统然后可以将对象的识别用作执行其他动作(诸如，指示车辆以某种方式行动)的基础。例如，如果对象是停车标志，则车辆系统可以指示车辆在停车标志之前减速并停车，或者如果对象是道路中间的行人，则车辆系统可以指示车辆避开行人。在某些场景中，车辆控制技术可以实施远程辅助机制，操作人员可以通过该远程辅助机制与车辆系统协同工作以帮助识别对象或以其他方式辅助车辆系统控制车辆。例如，远程辅助可以帮助识别车辆正在运行中的天气和/或危险状况。这样的机制可以包括远程计算系统，该远程计算系统通信地链接到车辆系统，被配置用于远程辅助，并且由操作人员操作。通过这种机制，在确定对象的识别、验证对象的识别和/或确定控制车辆的指令时，可以考虑操作人员的输入。在一些实施方式中，响应于车辆系统已经以低于预定义的阈值的检测置信度(confidence)(即，在环境中已经正确识别出对象的可能性的指示)识别了对象，可以触发远程辅助处理。作为远程辅助处理的示例，车辆系统可以获取(例如，经由相机、LIDAR、雷达和/或其他传感器)包括车辆环境中的对象的环境数据。车辆系统然后可以确定对象的检测置信度低于预定义的阈值，然后将包括对象(诸如以对象的图像、对象的视频和/或对象的音频的形式)的环境数据发送到远程计算系统。操作人员可以向远程计算系统提供指示对象的正确识别和/或控制车辆的指令的输入，远程计算系统可以依次以远程辅助数据的形式将其向车辆系统提供，用于车辆系统用作控制车辆的基础。在示例远程辅助场景中，车辆系统可以检测在狭窄的两车道道路的一侧上存在对象，从而阻塞了两个车道中的一个，并且该对象可能不是车辆系统通常认出的对象。例如，该对象可以是以非典型方式引导交通本文档来自技高网...

【技术保护点】
1.一种为自动驾驶车辆提供远程辅助的方法，所述方法包括：/n从所述自动驾驶车辆接收所述自动驾驶车辆的环境的图像数据，其中，所接收的图像数据被存储在所述远程辅助系统的存储器中；/n确定已经满足一个或多个触发标准，其中所述触发标准包括以下中的至少一个：/n基于从所述自动驾驶车辆接收的数据确定所述自动驾驶车辆已经停止，/n基于从所述自动驾驶车辆接收的数据确定所述自动驾驶车辆的环境中的至少一个对象具有低于阈值的检测置信度，以及/n从所述自动驾驶车辆接收触觉事件的指示；响应于满足所述一个或多个触发标准，向操作者提供至少一个图像；接收操作者输入；以及/n响应于所述操作者输入，经由网络向所述自动驾驶车辆提供用于由所述自动驾驶车辆运行的指令。/n

【技术特征摘要】
【国外来华专利技术】20170711 US 62/531,087;20170711 US 62/531,072;20171.一种为自动驾驶车辆提供远程辅助的方法，所述方法包括：
从所述自动驾驶车辆接收所述自动驾驶车辆的环境的图像数据，其中，所接收的图像数据被存储在所述远程辅助系统的存储器中；
确定已经满足一个或多个触发标准，其中所述触发标准包括以下中的至少一个：
基于从所述自动驾驶车辆接收的数据确定所述自动驾驶车辆已经停止，
基于从所述自动驾驶车辆接收的数据确定所述自动驾驶车辆的环境中的至少一个对象具有低于阈值的检测置信度，以及
从所述自动驾驶车辆接收触觉事件的指示；响应于满足所述一个或多个触发标准，向操作者提供至少一个图像；接收操作者输入；以及
响应于所述操作者输入，经由网络向所述自动驾驶车辆提供用于由所述自动驾驶车辆运行的指令。


2.根据权利要求1所述的方法，其中，所述一个或多个触发标准中的至少一个与所述自动驾驶车辆停止了至少一阈值时间段有关，并且其中所述车辆已经停止等待接载乘客。


3.根据权利要求2所述的方法，其中，所述阈值时间段在所述自动驾驶车辆停止的持续时间内重复。


4.根据权利要求1所述的方法，其中，所述一个或多个触发标准中的至少一个与所接收的音频有关。


5.根据权利要求1所述的方法，其中，所述一个或多个触发标准中的至少一个与所述车辆的环境变化有关。


6.根据权利要求1所述的方法，其中，所述至少一个图像包括视频。


7.根据权利要求6所述的方法，其中，所述视频由所述自动驾驶车辆的相机记录。


8.根据权利要求7所述的方法，其中，所述视频包括从所述自动驾驶车辆存储的视频的预定长度。


9.根据权利要求1所述的方法，其中，对所述自动驾驶车辆的指令包括用于所述自动驾驶车辆改变位置的指令。


10.根据权利要求1所述的方法，其中，所述触觉事件的指示包括与所述触觉事件有关的力量信息。


11.根据权利要求10所述的方法，还包括向操作者提供所述触觉事件的模拟。


12.根据权利要求1所述的方法，其中，基于所述自动驾驶车辆指示所述至少一个对象的检测置信度低于阈值，来确定所述自动驾驶车辆的环境中的所述至少一个对象具有低于所述阈值的所述检测置信度。

<...

【专利技术属性】
技术研发人员：N费尔菲尔德，D多尔戈夫，J赫巴赫，
申请(专利权)人：伟摩有限责任公司，
类型：发明
国别省市：美国;US