碰撞检测、估计和避免制造技术

一种示例方法包括：获得指示在先前时间段期间的环境的传感器数据日志，其中传感器数据日志包括图像帧序列；以及确定传感器数据日志与碰撞相关，该碰撞涉及在先前时间段内的特定时间处在环境中的物理对象。该方法还包括，响应于确定传感器数据日志与碰撞相关，从传感器数据日志生成用于碰撞的训练数据集。用于碰撞的训练数据集可以包括：在图像帧序列中与特定时间相对应的图像帧之前的、图像帧序列中的多个图像帧。

Collision detection, estimation and avoidance

【技术实现步骤摘要】
【国外来华专利技术】碰撞检测、估计和避免相关申请的交叉引用本申请要求于2017年9月8日提交的美国非临时专利申请No.15/699,444的权益，其全部内容通过引用的方式并入。
本公开总体上涉及机器学习，并且更具体地涉及生成用于训练机器学习模型的训练数据集以及使用机器学习模型来执行碰撞估计。
技术介绍
当在环境中导航机器人设备时，可能需要避免与环境中的物理对象碰撞。例如，当在室内环境中导航机器人设备时，可能需要避免碰撞人、宠物和其他移动对象。在一些情况下，机器人设备被编程为通过以反应性方式动作来避免碰撞。例如，机器人设备可以包括红外接近传感器，并且机器人设备可以被编程为每当在机器人设备的特定范围内检测到对象时就停止或改变方向。然而，不幸的是，在一些情况下，机器人设备可能反应太慢，从而导致机器人设备与对象碰撞。此外，当在环境内导航时，以反应性方式操作的机器人设备可能无法估计移动对象(或可能移动的对象)的轨迹并且主动采取行动，以避免与对象碰撞。因此需要改进。
技术实现思路
在一个示例中，描述了一种计算机实现的方法。计算机实现的方法包括：由计算设备获得指示先前时间段期间的环境的传感器数据日志，其中传感器数据日志包括图像帧序列。计算机实现的方法还包括：由计算设备确定传感器数据日志与碰撞相关，该碰撞涉及在先前时间段内的特定时间处在环境中的物理对象。计算机实现的方法还包括：响应于确定传感器数据日志与相关，由计算设备从传感器数据日志生成用于碰撞的训练数据集。用于碰撞的训练数据集可以包括：在图像帧序列中与特定时间相对应的图像帧之前的、图像帧序列中的多个图像帧。在另一示例中，描述了一种计算设备。计算设备包括至少一个处理器、存储器以及存储在存储器中的程序指令，该程序指令当由至少一个处理器执行时，使得计算设备执行各种功能。功能包括：获得指示在先前时间段期间的环境的传感器数据日志，其中传感器数据日志包括图像帧序列。功能还包括：确定传感器数据日志与碰撞相关，该碰撞涉及在先前时间段内的特定时间处在环境中的物理对象。功能还包括：响应于确定传感器数据日志与碰撞相关，从传感器数据日志生成用于碰撞的训练数据集。用于碰撞的训练数据集可以包括：在图像帧序列中与特定时间相对应的图像帧之前的、图像帧序列中的多个图像帧。在另一示例中，描述了一种非瞬态计算机可读介质，非瞬态计算机可读介质具有存储在其中的指令，该指令当由计算设备执行时，使得计算设备执行功能。功能包括：获得指示在先前时间段期间的环境的传感器数据日志，其中传感器数据日志包括图像帧序列。功能还包括：确定传感器数据日志与碰撞相关，该碰撞涉及在先前时间段内的特定时间处在环境中的物理对象。功能还包括：响应于确定传感器数据日志与碰撞相关，从传感器数据日志生成用于碰撞的训练数据集。用于碰撞的训练数据集可以包括：在图像帧序列中与特定时间相对应的图像帧之前的、图像帧序列中的多个图像帧。已经讨论的特征、功能和优点可以在各种示例中独立实现，或者可以在另一些示例中结合地实现，其进一步细节可以参考以下描述和附图来看到。附图说明在所附权利要求中阐述了被认为是说明性示例的特点的新颖特征。然而，当结合附图阅读时，通过参考以下对本公开的说明性示例的详细描述，将最好地理解说明性示例以及优选的使用模式、进一步的目的及其描述，其中：图1图示了根据示例实施例的示例系统。图2图示了根据示例实施例的示例机器人设备。图3图示了根据示例实施例的示例计算设备。图4示出了根据示例实施例的示例方法的流程图。图5是根据示例实施例的涉及环境中的物理对象的碰撞的概念性图示。图6是根据示例实施例的涉及环境中的物理对象的碰撞的另一概念性图示。图7示出了根据示例实施例的另一示例方法的流程图。图8是根据示例实施例的碰撞估计和避免的概念性图示。具体实施方式下面将参照附图更全面地描述所公开的示例，附图中示出了所公开的一些示例，但并非全部示例。实际上，数个不同的示例可以被提供，并且不应被解释为仅限于本文所述的示例。相反，提供这些示例以使本公开更彻底和完整，并且将本公开的范围完全传达给本领域技术人员。本文描述了用于生成用于训练机器学习模型的训练数据集的系统和方法。在示例内，机器人设备可以检测涉及在环境中的物理对象的碰撞，并响应性地收集和打包与碰撞有关的数据作为用于机器学习模型的训练数据集。在使用该训练数据集和其他训练数据集训练机器学习模型之后，机器人设备(或另一机器人设备)可以随后使用该模型以预测未来何时将发生碰撞，并且采取预防动作以避免与物理对象碰撞。一种示例方法包括：由计算设备获得指示在先前时间段期间的环境的传感器数据日志。例如，在环境中导航的机器人设备可以记录并存储包括与先前时间段相对应的图像帧序列的传感器数据日志，以及将传感器数据日志提供给计算设备。该方法还包括：由计算设备确定传感器数据日志与碰撞相关，该碰撞涉及在先前时间段内的特定时间处在环境中的物理对象。例如，计算设备可以确定该碰撞是在物理对象与机器人设备之间的物理碰撞。并且，响应于确定传感器数据日志与碰撞相关，计算设备可以随后从传感器数据日志生成用于碰撞的训练数据集。训练数据集可以包括：在图像帧序列中与特定时间相对应的图像帧之前的、图像帧序列中的多个图像帧。在一些示例中，机器人设备可以具有捕获RGBD图像的红、绿、蓝、距离(RGBD)相机，并且传感器数据日志可以包括RGBD图像帧序列。利用这些示例，用于碰撞的训练数据集可以包括导致碰撞的RGDB图像帧。例如，如果移动对象(诸如弹跳球)与机器人设备碰撞并且触发训练数据集的生成，则训练数据集可以包括描绘该对象的运动的RGBD图像帧。计算设备可以以各种方式确定传感器数据日志与碰撞相关。例如，如下所述，计算设备可以确定由机器人设备记录的加速度计数据指示在物理对象与机器人设备之间的碰撞。类似地，计算设备可以确定由机器人设备记录的接触传感器数据指示物理对象与机器人设备之间的碰撞。本文还考虑并公开了用于识别碰撞和触发训练数据集的生成的其它技术。此外，在一些示例中，虚拟碰撞(诸如在物理对象与呈增强现实角色的形式的软件机器人之间的碰撞)也可以触发训练数据集的生成。例如，增强现实图形可以被定位在环境中的特定位置处，并且如果计算设备确定物理对象移动到该特定位置，则计算设备可以响应性地生成用于碰撞的训练数据集。有利的是，本文所公开的系统和方法可以促进生成用于机器学习模型的训练数据集，而无需人类标记人员后处理传感器数据日志和将传感器数据的部分标记为碰撞、或者在碰撞发生时实时触发训练数据集的生成。以下参考附图描述这些系统和方法的各种其他特征。现在参考图1，示例系统100被图示。特别地，图1示出了用于碰撞检测和/或碰撞估计的示例系统100。如本文所使用的，碰撞检测是指确定涉及在环境中的至少一个运动对象的碰撞已经发生的过程。根据上面的讨论，碰撞检测有助于收集与碰撞相关的数据，并且有助于生成用于训练机器学习模型本文档来自技高网...

【技术保护点】
1.一种计算机实现的方法，包括：/n由计算设备获得指示在先前时间段期间的环境的传感器数据日志，其中所述传感器数据日志包括图像帧序列；/n由所述计算设备确定所述传感器数据日志与碰撞相关，所述碰撞涉及在所述先前时间段内的特定时间处在所述环境中的物理对象；以及/n响应于确定所述传感器数据日志与所述碰撞相关，由所述计算设备从所述传感器数据日志生成用于所述碰撞的训练数据集，其中用于所述碰撞的所述训练数据集包括：在所述图像帧序列中与所述特定时间相对应的图像帧之前的、所述图像帧序列中的多个图像帧。/n

【技术特征摘要】
【国外来华专利技术】20170908 US 15/699,4441.一种计算机实现的方法，包括：
由计算设备获得指示在先前时间段期间的环境的传感器数据日志，其中所述传感器数据日志包括图像帧序列；
由所述计算设备确定所述传感器数据日志与碰撞相关，所述碰撞涉及在所述先前时间段内的特定时间处在所述环境中的物理对象；以及
响应于确定所述传感器数据日志与所述碰撞相关，由所述计算设备从所述传感器数据日志生成用于所述碰撞的训练数据集，其中用于所述碰撞的所述训练数据集包括：在所述图像帧序列中与所述特定时间相对应的图像帧之前的、所述图像帧序列中的多个图像帧。


2.根据权利要求1所述的计算机实现的方法，其中确定所述传感器数据日志与所述碰撞相关包括：确定所述碰撞是所述物理对象与机器人设备之间的物理碰撞。


3.根据权利要求2所述的计算机实现的方法，还包括：针对所述先前时间段的至少部分来获得加速度计数据，其中确定所述传感器数据日志与所述碰撞相关包括：确定所述加速度计数据指示所述物理对象与所述机器人设备之间的碰撞。


4.根据权利要求2所述的计算机实现的方法，还包括：针对所述先前时间段的至少部分来获得接触传感器数据，以及其中确定所述传感器数据日志与所述碰撞相关包括：确定所述接触传感器数据指示所述物理对象与所述机器人设备之间的碰撞。


5.根据权利要求2所述的计算机实现的方法，其中所述计算设备是所述机器人设备的计算设备。


6.根据权利要求2所述的计算机实现的方法，其中所述传感器数据日志还包括速率数据日志，所述速率数据日志指示在所述先前时间段期间在所述环境中所述机器人设备的移动，以及其中从所述传感器数据日志生成用于所述碰撞的所述训练数据集包括：生成所述训练数据集，以进一步包括所述速率数据日志的至少一部分。


7.根据权利要求2所述的计算机实现的方法，其中所述传感器数据日志还包括指示所述机器人设备的有效载荷的有效载荷数据，以及其中确定所述传感器数据日志与所述碰撞相关包括：确定所述有效载荷数据指示所述物理对象与所述机器人设备之间的碰撞。


8.根据权利要求1所述的计算机实现的方法，其中确定所述传感器数据日志与所述碰撞相关包括：确定所述碰撞是所述物理对象与围绕机器人设备的虚拟边界之间的虚拟碰撞、或者围绕所述物理对象的虚拟边界与所述机器人设备之间的虚拟碰撞。


9.根据权利要求8所述的计算机实现的方法，还包括：针对所述先前时间段的至少部分来获得接近传感器数据，其中确定所述传感器数据日志与所述碰撞相关包括：确定所述接近传感器数据指示所述物理对象与所述机器人设备之间的距离从大于阈值距离转变到小于所述阈值距离。


10.根据权利要求1所述的计算机实现的方法，其中确定所述传感器数据日志与所述碰撞相关包括：确定所述碰撞是所述物理对象与软件机器人之间的虚拟碰撞，所述软件机器人呈增强现实图形的形式。


11.根据权利要求10所述的计算机实现的方法，其中所述图像帧序列中的至少两个图...

【专利技术属性】
技术研发人员：R·M·希克曼，裴秀贤，
申请(专利权)人：奈安蒂克公司，
类型：发明
国别省市：美国;US