用于监督式自主抓取的用户界面制造技术

一种由机器人(100)的数据处理硬件(142)执行的方法(500)包括接收机器人周围的环境(10)内的空间的传感器数据(134)。该方法包括从用户界面(UI)(300)接收指示对空间的表示(312)内的位置的用户选择的用户输入。所述位置对应于所述空间内的目标对象(302)的位置。该方法包括从UI接收多个抓取输入(304)，该多个抓取输入(304)指定机器人操纵器(126)的末端执行器(128H、150)抓取目标对象的取向和平移。该方法包括基于所接收的传感器数据和对应于用户输入的位置生成目标对象的三维(3D)位置。该方法包括使用所生成的3D位置和多个抓取输入来指示末端执行器抓取目标对象。输入来指示末端执行器抓取目标对象。输入来指示末端执行器抓取目标对象。

【技术实现步骤摘要】
【国外来华专利技术】用于监督式自主抓取的用户界面


[0001]本公开涉及一种用于监督式自主抓取的用户界面。

技术介绍

[0002]机器人通常被定义为可重新编程和多功能的操纵器，其被设计为通过可变的编程运动来移动材料、部件、工具或专用设备以用于任务的执行。机器人可以是物理锚定的操纵器(例如，工业机器人臂)、在整个环境中移动的移动机器人(例如，使用腿、轮子或基于牵引的机构)、或操纵器和移动机器人的某种组合。机器人用于各种行业，包括例如制造、运输、危险环境、勘探和医疗保健。因此，针对各种行为以快速且有效的方式对机器人进行编程的能力为这些行业提供了额外的益处。

技术实现思路

[0003]本公开的一个方面提供了一种计算机实现的方法，该方法在由机器人的数据处理硬件执行时使数据处理硬件执行操作。该操作包括接收机器人周围的环境内的空间的传感器数据。该操作还包括从与数据处理硬件通信的用户界面(UI)接收用户输入，该用户输入指示对所述空间的二维(2D)表示内的位置的用户选择。该位置对应于所述空间内的目标对象的位置。该操作还包括从UI接收多个抓取输入，该多个抓取输入指定机器人操纵器的末端执行器抓取目标对象的取向和平移。此外，该操作包括基于所接收的传感器数据和对应于所述用户输入的所述位置来生成所述目标对象的三维(3D)位置。另外，该操作包括使用所生成的3D位置和指定机器人操纵器的末端执行器的取向和平移的多个抓取输入来指示机器人操纵器的末端执行器抓取目标对象。
[0004]本公开的方面可以包括以下可选特征中的一个或多个。在一些实施方式中，该操作还包括由机器人操纵器的末端执行器抓取目标对象。在一些实施例中，多个抓取输入对应于对机器人操纵器的末端执行器的一个或多个自由度的多个约束。在进一步的实施例中，一个或多个自由度包括末端执行器的俯仰、末端执行器的滚动、在x方向上的第一平移和在y方向上的第二平移。在更进一步的实施例中，一个或多个自由度还包括在z方向上的第三平移。
[0005]在一些示例中，接收指定机器人操纵器的末端执行器抓取目标对象的取向和平移的多个抓取输入包括接收指定机器人操纵器的末端执行器抓取目标对象的第一取向的第一抓取输入，以及基于机器人操纵器的末端执行器的所设计的第一取向指示修改UI处的包括目标对象的视口图像。在另外的示例中，第一取向包括用于机器人操纵器的末端执行器抓取目标对象的俯仰或滚动中的一个。在其他另外的示例中，UI包括第一窗口和与第一窗口分开的第二窗口。第一窗口包括视口图像，视口图像显示机器人周围的环境内的包括目标对象的空间的传感器数据。第二窗口包括表示末端执行器的图形图标。图形图标能够被用户操纵以指示第一抓取输入，该第一抓取输入指定用于机器人操纵器的末端执行器抓取目标对象的第一取向。在更进一步的示例中，图形图标包括末端执行器的线框表示和径向
刻度盘，以指定俯仰作为机器人操纵器的末端执行器抓取目标对象的第一取向。在其他更进一步的示例中，操作还包括在视口图像上叠加处于由第一抓取输入指定的第一取向的末端执行器的表示，以及从UI接收第二抓取输入，该第二抓取输入指定机器人操纵器的末端执行器抓取目标对象的第二取向。
[0006]在另外的更进一步的示例中，第二取向对应于机器人操纵器的末端执行器抓取目标对象的滚动。在其他另外的甚至进一步的示例中，接收指定第二取向的第二抓取输入包括接收另一用户输入，所述另一用户输入指示图形图标的另一用户选择，所述另一用户选择指示机器人操纵器的末端执行器抓取目标对象的滚动。
[0007]本公开的另一方面提供了一种机器人。机器人包括主体、耦接到主体的机器人操纵器、与机器人操纵器通信的数据处理硬件以及与数据处理硬件通信的存储器硬件。机器人操纵器包括末端执行器，该末端执行器被配置为抓取机器人周围的环境内的对象。存储器硬件存储指令，当所述指令在数据处理硬件上执行时使数据处理硬件执行操作。该操作包括接收机器人周围的环境内的空间的传感器数据。该操作还包括从与数据处理硬件通信的用户界面(UI)接收用户输入，该用户输入指示对所述空间的二维(2D)表示内的位置的用户选择。该位置对应于所述空间内的目标对象的位置。该操作还包括从UI接收多个抓取输入，该多个抓取输入指定机器人操纵器的末端执行器抓取目标对象的取向和平移。此外，该操作包括基于所接收的传感器数据和对应于用户输入的位置来生成目标对象的三维(3D)位置。另外，该操作包括使用所生成的3D位置和指定机器人操纵器的末端执行器的取向和平移的多个抓取输入来指示机器人操纵器的末端执行器抓取目标对象。
[0008]本公开的方面可以包括以下可选特征中的一个或多个。在一些实施方式中，该操作还包括由机器人操纵器的末端执行器抓取目标对象。在一些实施例中，多个抓取输入对应于对机器人操纵器的末端执行器的一个或多个自由度的多个约束。在进一步的实施例中，一个或多个自由度包括末端执行器的俯仰、末端执行器的滚动、在x方向上的第一平移和在y方向上的第二平移。在更进一步的实施例中，一个或多个自由度还包括在z方向上的第三平移。
[0009]在一些示例中，接收指定机器人操纵器的末端执行器抓取目标对象的取向和平移的多个抓取输入包括接收指定机器人操纵器的末端执行器抓取目标对象的第一取向的第一抓取输入，以及基于机器人操纵器的末端执行器的所设计的第一取向指示修改UI处的包括目标对象的视口图像。在另外的示例中，第一取向包括用于机器人操纵器的末端执行器抓取目标对象的俯仰或滚动中的一个。在其他另外的示例中，UI包括第一窗口和与第一窗口分开的第二窗口。第一窗口包括视口图像，视口图像显示机器人周围的环境内的包括目标对象的空间的传感器数据，第二窗口包括表示末端执行器的图形图标。该图形图标能够被用户操纵以指示第一抓取输入，该第一抓取输入指定用于机器人操纵器的末端执行器抓取目标对象的第一取向。在更进一步的示例中，该图形图标包括末端执行器的线框表示和径向刻度盘，以指定俯仰作为机器人操纵器的末端执行器抓取目标对象的第一取向。在其他更进一步的示例中，操作还包括在视口图像上叠加处于由第一抓取输入指定的第一取向的末端执行器的表示，以及从UI接收第二抓取输入，该第二抓取输入指定机器人操纵器的末端执行器抓取目标对象的第二取向。
[0010]在另外的更进一步的示例中，第二取向对应于机器人操纵器的末端执行器抓取目
标对象的滚动。在其他另外的甚至进一步的示例中，接收指定第二取向的第二抓取输入包括接收另一用户输入，所述另一用户输入指示图形图标的另一用户选择，所述另一用户选择指示机器人操纵器的末端执行器抓取目标对象的滚动。
[0011]在附图和下面的描述中阐述了本公开的一个或多个实施方式的细节。其他方面、特征和优点将从说明书和附图以及权利要求书中显而易见。
附图说明
[0012]图1A是能够抓取对象的示例机器人的透视图。
[0013]图1B是图1A的机器人的透视图，其中远程控制器与机器人通信。
[0014]图1C是图1A的机器人的示例系统的示意图。
[0015]图2A
‑...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法(500)，其在由机器人(100)的数据处理硬件(142)执行时使所述数据处理硬件(142)执行操作，所述操作包括：接收所述机器人(100)周围的环境(10)内的空间的传感器数据(134)；从与所述数据处理硬件(142)通信的用户界面(UI)(300)接收指示对所述空间的二维(2D)表示(312)内的位置的用户选择的用户输入，所述位置对应于所述空间内的目标对象(302)的位置；从所述UI(300)接收多个抓取输入(304)，所述多个抓取输入(304)指定机器人操纵器(126)的末端执行器(128
H
、150)抓取所述目标对象(302)的取向和平移；基于所接收的传感器数据(134)和对应于所述用户输入的所述位置来生成所述目标对象(302)的三维(3D)位置；以及使用所生成的3D位置和指定所述机器人操纵器(126)的所述末端执行器(128
H
、150)的取向和平移的所述多个抓取输入(304)，指示所述机器人操纵器(126)的所述末端执行器(128
H
、150)抓取所述目标对象(302)。2.根据权利要求1所述的方法(500)，其中，所述操作还包括由所述机器人操纵器(126)的所述末端执行器(128
H
、150)抓取所述目标对象(302)。3.根据权利要求1或权利要求2所述的方法(500)，其中，所述多个抓取输入(304)对应于对所述机器人操纵器(126)的所述末端执行器(128
H
、150)的一个或多个自由度的多个约束。4.根据权利要求3所述的方法(500)，其中，所述一个或多个自由度包括所述末端执行器(128
H
、150)的俯仰、所述末端执行器(128
H
、150)的滚动、在x方向上的第一平移和在y方向上的第二平移。5.根据权利要求4所述的方法(500)，其中，所述一个或多个自由度还包括在z方向上的第三平移。6.根据权利要求1
‑
5中任一项所述的方法(500)，其中，接收指定所述机器人操纵器(126)的所述末端执行器(128
H
、150)抓取所述目标对象(302)的所述取向和平移的所述多个抓取输入(304)包括：接收第一抓取输入(304)，所述第一抓取输入(304)指定所述机器人操纵器(126)的所述末端执行器(128
H
、150)抓取所述目标对象(302)的第一取向；以及基于所述机器人操纵器(126)的所述末端执行器(128
H
、150)的所设计的第一取向，指示在所述UI(300)处修改包括所述目标对象(302)的视口图像(312)。7.根据权利要求6所述的方法(500)，其中，所述第一取向包括用于所述机器人操纵器(126)的所述末端执行器(128
H
、150)抓取所述目标对象(302)的俯仰或滚动中的一个。8.根据权利要求6或权利要求7所述的方法(500)，其中，所述UI(300)包括第一窗口(310)和与所述第一窗口(310)分开的第二窗口(320)，所述第一窗口(310)包括所述视口图像(312)，所述视口图像(312)显示所述机器人(100)周围的所述环境(10)内的包括所述目标对象(302)的空间的所述传感器数据(134)，所述第二窗口(320)包括表示所述末端执行器(128
H
、150)的图形图标(322)，所述图形图标(322)能够被用户操纵以指示所述第一抓取输入(304)，所述第一抓取输入(304)指定所述机器人操纵器(126)的所述末端执行器(128
H
、150)抓取所述目标对象(302)的所述第一取向。
9.根据权利要求8所述的方法(500)，其中，所述图形图标(322)包括所述末端执行器(128
H
、150)的线框表示和径向刻度盘，以指定俯仰作为所述机器人操纵器(126)的所述末端执行器(128
H
、150)抓取所述目标对象(302)的所述第一取向。10.根据权利要求6
‑
9中任一项所述的方法(500)，其中，所述操作还包括：在所述视口图像(312)上叠加处于由所述第一抓取输入(304)指定的所述第一取向的所述末端执行器(128
H
、150)的表示；以及从所述UI(300)接收第二抓取输入(304)，所述第二抓取输入(304)指定所述机器人操纵器(126)的所述末端执行器(128
H
、150)抓取所述目标对象(302)的第二取向。11.根据权利要求10所述的方法(500)，其中，所述第二取向对应于所述机器人操纵器(126)的所述末端执行器(128
H
、150)抓取所述目标对象(302)的滚动。12.根据权利要求10或权利要求11所述的方法(500)，其中，接收指定所述第二取向的所述第二抓取输入(304)包括接收另一用户输入，所述另一用户输入指示对所述图形图标(322)的另一用户选择，所述另一用户选择指示所述机器人操纵器(126)的所述末端执行器(128
H
、150)抓取所述目标对象(302)的滚动。13.一种机器人(100)，包括：主体(110)；机器人操纵器(126)，其耦接到所述主体(110)，所述机器人操纵器(126)包括末端执行器(128
H
、150)，所述末端执行器被配置为抓取所述机器人(10...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：波士顿动力公司，
类型：发明
国别省市：