监督式自主抓取制造技术

一种用于机器人(100)的方法(500)包括接收机器人周围的环境(10)内的空间的传感器数据(134)的三维点云。该方法包括接收指示在对应于空间的图像(300)中表示的目标对象的用户选择的选择输入。目标对象用于由机器人操纵器(126)的末端执行器(150)抓取。该方法包括通过将来自图像的所选择的目标对象的多条射线(218)投影到传感器数据的三维点云上来生成用于机器人操纵器的末端执行器的抓取区(216)。该方法包括确定用于机器人操纵器在抓取区内抓取目标对象的抓取几何形状(212)。该方法包括指示机器人操纵器的末端执行器基于抓取几何形状在抓取区内抓取目标对象。何形状在抓取区内抓取目标对象。何形状在抓取区内抓取目标对象。

【技术实现步骤摘要】
【国外来华专利技术】监督式自主抓取


[0001]本公开涉及监督式自主抓取。

技术介绍

[0002]机器人通常被定义为可重新编程和多功能的操纵器，其被设计为通过可变的编程运动来移动材料、部件、工具或专用设备以执行任务。机器人可以是物理锚定的操纵器(例如，工业机器人臂)、在整个环境中移动的移动机器人(例如，使用腿、轮子或基于牵引的机构)、或操纵器和移动机器人的一些组合。机器人用于各种行业，包括例如制造、运输、危险环境、勘探和医疗保健。因此，针对各种行为以快速且有效的方式对机器人进行编程的能力为这些行业提供了额外的益处。

技术实现思路

[0003]本公开的一个方面提供了一种计算机实现的方法，该方法在由机器人的数据处理硬件执行时使数据处理硬件执行操作。操作包括接收机器人周围的环境内的空间(例如，体积)的传感器数据的三维点云。操作还包括接收选择输入，该选择输入指示对在对应于空间的图像中表示的目标对象的用户选择。目标对象用于由机器人的机器人操纵器的末端执行器抓取。操作还包括通过将来自图像的所选择的目标对象的多条射线投影到传感器数据的三维点云上来生成机器人操纵器的末端执行器的抓取区。另外，操作包括确定用于机器人操纵器在抓取区内抓取目标对象的抓取几何形状。此外，操作包括指示机器人操纵器的末端执行器基于抓取几何形状在抓取区内抓取目标对象。
[0004]本公开的方面可以提供以下可选特征中的一个或多个。在一些实施方式中，确定用于机器人操纵器在抓取区内抓取目标对象的抓取几何形状包括基于抓取区内的目标对象生成多个候选抓取几何形状。确定用于机器人操纵器在抓取区内抓取目标对象的抓取几何形状还包括：对于多个候选抓取几何形状中的每个候选抓取几何形状，确定用于抓取目标对象的抓取分数。抓取分数指示基于相应的候选抓取几何形状使用机器人操纵器的末端执行器抓取目标对象的成功可能性。确定用于机器人操纵器在抓取区内抓取目标对象的抓取几何形状还包括选择具有最大抓取分数的相应的候选抓取几何形状作为被指定用于抓取目标对象的初始抓取几何形状。初始抓取几何形状基于机器人操纵器的末端执行器的初始姿势。在进一步的实施方式中，操作包括接收针对机器人操纵器的末端执行器的第二姿势的更新的传感器数据。在这些另外的实施方式中，操作包括基于更新的传感器数据确定新的一组候选抓取几何形状。新的一组候选抓取几何形状中的每个候选抓取几何形状包括相应的抓取分数。在这些进一步的实施方式中，操作包括确定来自新的一组候选抓取几何形状的相应的候选抓取几何形状包括超过初始抓取几何形状的抓取分数的对应抓取分数。在这些进一步的实施方式中，操作包括基于来自新的一组候选抓取几何形状的相应的候选抓取几何形状来修改初始抓取几何形状。
[0005]在一些实施例中，操作还包括接收末端执行器约束，该末端执行器约束约束机器
人操纵器的末端执行器抓取目标对象的一个或多个自由度。在一些实施方式中，在对应于空间的图像中表示的目标对象对应于由机器学习算法分类的对象。
[0006]在一些示例中，操作包括接收对应于空间的图像。在这些示例中，操作包括使用机器学习对象分类算法对所接收的图像内的可抓取对象进行分类。在一些实施方式中，机器人操纵器的末端执行器基于抓取几何形状指示在抓取区内抓取目标对象包括指示机器人的主体朝向目标对象俯仰，或者指示机器人的第一腿使第一腿的上构件围绕膝关节朝向第一腿的下构件旋转。
[0007]在一些实施例中，接收选择对应于空间的图像中表示的目标对象的选择输入发生在与机器人的数据处理硬件远程通信的用户设备处。在一些示例中，操作包括接收对应于空间的图像并校准所接收的图像。在一些实施方式中，末端执行器包括具有可动钳口(jaw)和固定钳口的夹持器(gripper)。可动钳口被构造成相对于固定钳口移动，以在夹持器的打开位置和夹持器的闭合位置之间移动。在一些实施例中，机器人操纵器包括安装在末端执行器处或附近的一个或多个传感器，以捕获定义机器人周围的环境内的空间的三维点云的传感器数据。
[0008]本公开的另一方面提供了一种机器人。机器人包括主体、联接到主体的多个腿、联接到主体的机器人操纵器、与机器人操纵器通信的数据处理硬件以及与数据处理硬件通信的存储器硬件。机器人操纵器包括末端执行器，该末端执行器被配置为抓取机器人周围的环境内的对象。该存储器硬件存储指令，该指令当在该数据处理硬件上执行时使该数据处理硬件执行操作。操作包括接收机器人周围的环境内的空间的传感器数据的三维点云。操作还包括从机器人的用户接收选择输入，该选择输入指示对在对应于空间的图像中表示的目标对象的用户选择。目标对象用于由机器人操纵器的末端执行器抓取。另外，操作包括通过将来自图像的所选择的目标对象的多条射线投影到传感器数据的三维点云上来生成机器人操纵器的末端执行器的抓取区。此外，操作包括确定用于机器人操纵器在抓取区内抓取目标对象的抓取几何形状。操作还包括指示机器人操纵器的末端执行器基于抓取几何形状在抓取区内抓取目标对象。
[0009]本公开的方面可以提供以下可选特征中的一个或多个。在一些实施例中，确定用于机器人操纵器在抓取区内抓取目标对象的抓取几何形状包括基于抓取区内的目标对象生成多个候选抓取几何形状。在这些实施例中，对于多个候选抓取几何形状中的每个候选抓取几何形状，确定用于机器人操纵器在抓取区内抓取目标对象的抓取几何形状还包括确定用于抓取目标对象的抓取分数。抓取分数指示基于相应的候选抓取几何形状使用机器人操纵器的末端执行器抓取目标对象的成功可能性。在这些实施例中，确定用于机器人操纵器在抓取区内抓取目标对象的抓取几何形状还包括选择具有最大抓取分数的相应的候选抓取几何形状作为被指定用于抓取目标对象的初始抓取几何形状。初始抓取几何形状基于机器人操纵器的末端执行器的初始姿势。在进一步的实施例中，操作还包括接收针对机器人操纵器的末端执行器的第二姿势的更新的传感器数据。在这些另外的实施例中，操作包括基于更新的传感器数据确定新的一组候选抓取几何形状。新的一组候选抓取几何形状中的每个候选抓取几何形状包括相应的抓取分数。在这些另外的实施例中，操作包括确定来自新的一组候选抓取几何形状的相应的候选抓取几何形状包括超过初始抓取几何形状的抓取分数的对应抓取分数。在这些另外的实施例中，操作包括基于来自新的一组候选抓取
几何形状的相应的候选抓取几何形状来修改初始抓取几何形状。
[0010]在一些实施方式中，操作还包括接收末端执行器约束，该末端执行器约束约束机器人操纵器的末端执行器抓取目标对象的一个或多个自由度。在一些示例中，在对应于空间的图像中表示的目标对象对应于由机器学习算法分类的对象。在一些实施例中，操作还包括接收对应于空间的图像。在这些实施例中，操作包括使用机器学习对象分类算法对接收图像内的可抓取对象进行分类。
[0011]在一些示例中，机器人操纵器的末端执行器基于抓取几何形状指示在抓取区内抓取目标对象包括指示机器人的主体朝向目标对象俯仰或指示机器人的第一腿使第一腿的上构件围绕膝关节朝向第一腿的下构件旋转。在一些实施方式中，接收选择对应于空间的图像中本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法(500)，当由机器人(100)的数据处理硬件(142)执行时，使所述数据处理硬件(142)执行操作，所述操作包括：接收所述机器人(100)周围的环境(10)内的空间的传感器数据(134)的三维点云；接收选择输入，所述选择输入指示在对应于所述空间的图像(300)中表示的目标对象的用户选择，所述目标对象用于由所述机器人(100)的机器人操纵器(126)的末端执行器(128
H
，150)抓取；通过将来自所述图像(300)的所选择的目标对象的多条射线(218)投影到传感器数据(134)的三维点云上来生成用于所述机器人操纵器(126)的所述末端执行器(128
H
，150)的抓取区(216)；确定用于所述机器人操纵器(126)在所述抓取区(216)内抓取所述目标对象的抓取几何形状(212)；以及指示所述机器人操纵器(126)的所述末端执行器(128
H
，150)基于所述抓取几何形状(212)在所述抓取区(216)内抓取所述目标对象。2.根据权利要求1所述的方法(500)，其中，确定用于所述机器人操纵器(126)在所述抓取区(216)内抓取所述目标对象的所述抓取几何形状(212)包括：基于所述抓取区(216)内的所述目标对象生成多个候选抓取几何形状(212)；对于所述多个候选抓取几何形状(212)中的每个候选抓取几何形状(212)，确定用于抓取所述目标对象的抓取分数(242)，所述抓取分数(242)指示基于相应的候选抓取几何形状(212)使用所述机器人操纵器(126)的所述末端执行器(128
H
，150)抓取所述目标对象的成功可能性；以及选择具有最大抓取分数(242)的相应的候选抓取几何形状(212)作为被指定用于抓取所述目标对象的初始抓取几何形状(212I)，所述初始抓取几何形状(212I)基于所述机器人操纵器(126)的所述末端执行器(128
H
，150)的初始姿势。3.根据权利要求2所述的方法(500)，其中，所述操作还包括：接收针对所述机器人操纵器(126)的所述末端执行器(128
H
、150)的第二姿势的更新的传感器数据(134U)；基于所述更新的传感器数据(134U)确定新的一组候选抓取几何形状(212N)，所述新的一组候选抓取几何形状(212N)中的每个候选抓取几何形状(212N)包括相应的抓取分数(242)；确定来自所述新的一组候选抓取几何形状(212N)的相应的候选抓取几何形状(212N)包括超过所述初始抓取几何形状(212I)的抓取分数(242)的对应抓取分数(242)；以及基于来自所述新的一组候选抓取几何形状(212N)的相应的候选抓取几何形状(212N)来修改所述初始抓取几何形状(212I)。4.根据权利要求1
‑
3中任一项所述的方法(500)，其中，所述操作还包括接收末端执行器约束，所述末端执行器约束约束所述机器人操纵器(126)的末端执行器(128
H
，150)抓取所述目标对象的一个或多个自由度。5.根据权利要求1
‑
4中任一项所述的方法(500)，其中，在对应于所述空间的所述图像(300)中表示的所述目标对象对应于由机器学习算法分类的对象。6.根据权利要求1至5中任一项所述的方法(500)，其中，所述操作还包括：
接收对应于所述空间的所述图像(300)；以及使用机器学习对象分类算法对所接收的图像(300)内的可抓取对象进行分类。7.根据权利要求1
‑
6中任一项所述的方法(500)，其中，指示所述机器人操纵器(126)的所述末端执行器(128
H
，150)基于所述抓取几何形状(212)在所述抓取区(216)内抓取所述目标对象包括：指示所述机器人(100)的主体(110)朝向所述目标对象俯仰；或指示所述机器人(100)的第一腿(120)使所述第一腿(120)的上部构件(122
U
)围绕膝关节(J
k
)朝向所述第一腿(120)的下部构件(122
L
)旋转。8.根据权利要求1至7中任一项所述的方法(500)，其中，接收选择在对应于所述空间的所述图像(300)中表示的所述目标对象的所述选择输入发生在与所述机器人(100)的所述数据处理硬件(142)远程通信的用户设备(20)处。9.根据权利要求1至8中任一项所述的方法(500)，其中，所述操作还包括：接收对应于所述空间的所述图像(300)；以及校准所接收的图像(300)。10.根据权利要求1至9中任一项所述的方法(500)，其中，所述末端执行器(128
H
，150)包括具有可动钳口和固定钳口的夹持器(128
H
，150)，所述可动钳口被配置为相对于所述固定钳口移动，以在所述夹持器(128
H
，150)的打开位置和所述夹持器(128
H
，150)的闭合位置之间移动。11.根据权利要求1
‑
10中任一项所述的方法(500)，其中，所述机器人操纵器(126)包括安装在所述末端执行器(128
H
，150)处或附近的一个或多个传感器(130，130c)，以捕获定义所述机器人(100)周围的环境(10)内的空间的三维点云的传感器数据(134)。12.一种机器人(100)，包括：主体(110)；多个腿(120)，联接到所述主体(110)；机器人操纵器(126)，联接到所述主体(110)，所述机器人操纵器(126)包括末端执行器(128
H
，150)，所述末端执行器...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：波士顿动力公司，
类型：发明
国别省市：