增强来自机器人设备的视觉输出的系统和方法技术方案

提出了一种用于可视化由机器人设备生成的数据的方法。该方法包括显示机器人设备在环境中的预期路径。该方法还包括显示环境中被识别为机器人设备可行驶的第一区域。该方法还包括接收输入以识别环境中可行驶的第二区域以及将第二区域传输到机器人设备。及将第二区域传输到机器人设备。及将第二区域传输到机器人设备。

【技术实现步骤摘要】
【国外来华专利技术】增强来自机器人设备的视觉输出的系统和方法
[0001]相关申请的交叉引用
[0002]本申请要求于2019年9月13日提交的题为“SYSTEM AND METHOD AUGMENTING A VISUAL OUTPUT FROM A ROBOTIC DEVICE”的美国专利申请第16/570,540号的权益，该申请要求于2019年7月23日提交的题为“KEYFRAME MATCHER”的美国临时专利申请第62/877,792号、于2019年7月23日提交的题为“VISUAL TEACH AND REPEAT FOR MANIPULATION
‑
TEACHING VR”的美国临时专利申请第62/877,791号、以及于2019年7月23日提交的题为“VISUALIZATION”的美国临时专利申请第62/877,793号的权益，其公开内容通过引用整体并入。


[0003]本公开的特定方面通常涉及机器人设备，并且更具体地，涉及用于提供用于查看和编辑来自机器人设备的视觉输出的用户界面的系统和方法。

技术介绍

[0004]自主代理(例如，车辆、机器人、无人机等)和半自主代理使用机器视觉来分析周围环境中的感兴趣区域。在操作中，自主代理可以依靠训练的神经网络来识别周围环境图像中的感兴趣区域内的对象。例如，可以训练神经网络识别和跟踪由一个或多个传感器(诸如光检测和测距(LIDAR)传感器、声纳传感器、红
‑
绿
‑
蓝(RGB)相机、RGB
‑
深度(RGB)
‑
D)相机等)捕获的对象。传感器可以耦合到设备(诸如自主代理)或与设备(诸如自主代理)通信。自主代理的对象检测应用可以分析传感器图像数据，用于从自主代理检测周围场景中的对象(例如，行人、骑自行车者、其他汽车等)。
[0005]在传统系统中，代理的视觉输出可以供应给操作员。例如，可以向操作员输出代理的预期路径(诸如预期路径)。如果输出不正确，则可以重新训练代理以获得正确的输出。期望改进系统以纠正代理的输出，而无需重新训练相关联的神经网络。

技术实现思路

[0006]在本公开的一个方面，公开了一种用于可视化由机器人设备生成的数据的方法。该方法包括显示机器人设备在环境中的预期路径。该方法还包括显示环境中被识别为机器人设备可行驶的第一区域。该方法还包括接收输入以识别环境中可行驶的第二区域。该方法还包括将第二区域传输到机器人设备。
[0007]在本公开的另一方面，公开了一种其上记录有非暂时性程序代码的非暂时性计算机可读介质。该程序代码用于可视化由机器人设备生成的数据。该程序代码由处理器执行并且包括显示机器人设备在环境中的预期路径的程序代码。该程序代码还包括显示环境中被识别为机器人设备可行驶的第一区域的程序代码。该程序代码还包括接收输入以识别环境中可行驶的第二区域的程序代码。该程序代码还包括将第二区域传输到机器人设备的程序代码。
[0008]本公开的另一方面涉及一种用于可视化由机器人设备生成的数据的装置。该装置具有存储器和耦合到该存储器的一个或多个处理器。该一个或多个处理器被配置为显示机器人设备在环境中的预期路径。该一个或多个一个或多个处理器还被配置为显示环境中被识别为机器人设备可行驶的第一区域。该一个或多个一个或多个处理器还被配置为接收输入以识别环境中可行驶的第二区域。该一个或多个一个或多个处理器还被配置为将第二区域传输到机器人设备。
[0009]这已经相当宽泛地概述了本公开的特征和技术优点，以便可以更好地理解下面的具体实施方式。下面将描述本公开的附加特征和优点。本领域技术人员应当理解，本公开可以容易地用作修改或设计用于实现与本公开相同目的的其他结构的基础。本领域技术人员也应该认识到，这样的等效构造未背离所附权利要求中阐述的本公开的教导。当结合附图考虑时，从以下描述中将更好地理解在其组织和操作方法两者方面被认为是本公开的特征的新颖特征以及进一步的目的和优点。然而，应当清楚地理解，提供每一附图仅用于说明和描述的目的，并不旨在作为对本公开的限制的限定。
附图说明
[0010]当与附图结合使用时，本公开的特征、性质和优点将从下面阐述的具体实施方式变得更加明显，在附图中相同的附图标记在全文中相应地标识。
[0011]图1说明了根据本公开的各个方面的操作员控制机器人设备的示例。
[0012]图2A、图2B和图2C说明了根据本公开的各个方面的机器人设备在环境中操作的示例。
[0013]图3A和图3B说明了根据本公开的各个方面的基于从在环境中操作的机器人设备提供的信息生成的视觉输出的示例。
[0014]图4是说明根据本公开的各个方面的机器人设备的硬件实现的示例的图。
[0015]图5说明了根据本公开的各个方面的所教导的行为的图形序列。
[0016]图6说明了根据本公开的各个方面的用于机器人系统的软件模块。
[0017]图7说明了根据本公开的各个方面的用于控制机器人设备的方法。
具体实施方式
[0018]下面结合附图阐述的具体实施方式旨在作为对各种配置的描述并且不旨在表示可以实践在此描述的概念的唯一配置。具体实施方式包括用于提供对各种概念的透彻理解的特定细节。然而，对于本领域技术人员来说显而易见的是，可以在没有这些特定细节的情况下实践这些概念。在某些情况下，众所周知的结构和组件以框图形式示出以避免混淆这些概念。
[0019]基于所述教导，本领域技术人员应当理解，本公开的范围旨在覆盖本公开的任何方面，无论是独立于本公开的任何其他方面还是与本公开的任何其他方面结合实施。例如，可以使用任何数量的所阐述的各个方面来实现装置，或者可以实践方法。此外，本公开的范围旨在覆盖使用除了/不同于本公开阐述的各个方面之外的其他结构、功能或结构和功能来实践的这种装置或方法。应当理解，本公开的任何方面都可以由权利要求的一个或多个元素体现。
[0020]词语“示例性”在本文中用于意味着“用作示例、实例或说明”。在本文中描述为“示例性”的任何方面不一定被解释为优于或胜于其他方面。
[0021]尽管在本文中描述了特定方面，但是这些方面的许多变化和排列落入本公开的范围内。尽管提到了优选方面的一些益处和优点，但本公开的范围不旨在限于特定的益处、用途或目标。相反，本公开的各个方面旨在广泛地适用于不同的技术、系统配置、网络和协议，其中一些在附图中和以下优选方面的描述中通过示例的方式说明。具体实施方式和附图仅是对本公开的说明而非限制，本公开的范围由所附权利要求及其等效物限定。
[0022]自主代理和半自主代理可以响应于检测到的对象来执行任务。例如，代理可以在环境中导航、识别环境中的对象和/或与环境中的对象交互。在本申请中，机器人或机器人设备是指自主代理或半自主代理。为简单起见，机器人设备被称为机器人。
[0023]本公开的各个方面不限于特定类型的机器人。设想了具有提供视觉/可视化输出的一个或多个视觉系统的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于可视化由机器人设备生成的数据的方法，包括：显示机器人设备在环境中的预期路径；显示环境中被识别为机器人设备可行驶的第一区域；接收输入以识别环境中可行驶的第二区域；以及将第二区域传输到机器人设备。2.如权利要求1所述的方法，还包括训练所述机器人设备以基于先前行进的路径确定预期路径。3.如权利要求1所述的方法，还包括将所述第一区域显示为预期路径上的覆盖。4.如权利要求1所述的方法，其中，所述输入包括标记对应于所述第二区域的像素。5.如权利要求1所述的方法，其中，所述机器人设备基于接收到的第二区域确定可行驶的第三区域。6.如权利要求1所述的方法，还包括显示当前图像与关键帧图像的比较，所述比较包括识别当前图像和关键帧图像中的匹配像素的可视化标记。7.如权利要求1所述的方法，还包括显示当前图像与一组关键帧中的每个关键帧之间的匹配置信度。8.如权利要求1所述的方法，其中，在远离机器人设备的定位处显示预期路径和第一区域。9.一种用于可视化由机器人设备生成的数据的装置，所述装置包括：存储器；和耦合到存储器的至少一个处理器，所述至少一个处理器被配置为：显示机器人设备在环境中的预期路径；显示环境中被识别为机器人设备可行驶的第一区域；接收输入以识别环境中可行驶的第二区域；以及将第二区域传输到机器人设备。10.如权利要求9所述的装置，其中，所述至少一个处理器还被配置为训练所述机器人设备以基于先前行进的路径确定预期路径。11.如权利要求9所述的装置，其中，所述至少一个处理器...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：丰田研究所股份有限公司，
类型：发明
国别省市：