基于机器人的夹具组的控制方法及装置制造方法及图纸

本发明专利技术公开了一种基于机器人的夹具组的控制方法及装置，方法包括：沿预设深度方向获取与三维物品区域相对应的二维彩色图以及对应于二维彩色图的深度图；将二维彩色图以及深度图输入深度学习模型，根据输出结果预测二维彩色图中包含的可抓取区域；根据可抓取区域的轮廓线确定可抓取区域的几何特征，根据几何特征确定对应于可抓取区域的夹具数量以及各个夹具的夹具标识；控制机器人调用夹具组中包含的与夹具标识相对应的各个夹具执行抓取操作。该方式根据可抓取区域的轮廓线确定可抓取区域的几何特征，从而确定对应于可抓取区域的夹具数量以及各个夹具的夹具标识。通过几何特征确定夹具数量以及夹具标识的方式能够显著提升夹具抓取的可靠性。升夹具抓取的可靠性。升夹具抓取的可靠性。

【技术实现步骤摘要】
基于机器人的夹具组的控制方法及装置


[0001]本专利技术涉及机械手控制
，具体涉及一种基于智能程控机器人的夹具组的控制方法及装置。

技术介绍

[0002]目前，随着智能程控机器人的广泛普及，越来越多的物品能够借助智能程控机器人实现抓取以及运输操作。例如，物流包装能够通过智能程控机器人进行抓取，从而大幅提升抓取效率。为了提升抓取效率，也为了能够灵活适配多种物品对象，智能程控机器人通常会安装由多个夹具构成的夹具组，以便根据不同的物品对象灵活调用夹具组中的不同夹具。
[0003]但是，常规的智能机器人只能用于抓取已知的物品对象。例如，在预先知晓物品对象的放置位置、尺寸、类型等特征时，通过与尺寸和类型相匹配的夹具进行针对性抓取。然而，对于未知的任意物品而言，由于无法预先确定该物品的形状以及位置等信息，则无法准确抓取，更无法预先判断该调用哪些夹具进行抓取。

技术实现思路

[0004]鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的基于机器人的夹具组的控制方法及装置。
[0005]根据本专利技术的一个方面，提供了一种基于机器人的夹具组的控制方法，包括：
[0006]沿预设深度方向获取与三维物品区域相对应的二维彩色图以及对应于所述二维彩色图的深度图；
[0007]将所述二维彩色图以及所述深度图输入深度学习模型，根据输出结果预测所述二维彩色图中包含的可抓取区域；
[0008]根据所述可抓取区域的轮廓线确定所述可抓取区域的几何特征，根据所述可抓取区域的几何特征确定对应于所述可抓取区域的夹具数量以及各个夹具的夹具标识；
[0009]控制机器人调用夹具组中包含的与所述夹具标识相对应的各个夹具执行抓取操作。
[0010]可选的，所述根据所述可抓取区域的轮廓线确定所述可抓取区域的几何特征包括：
[0011]根据所述可抓取区域的轮廓线，绘制所述可抓取区域的最大内接圆、最小内接圆、最大内接矩形和/或最小内接矩形。
[0012]可选的，所述根据所述可抓取区域的几何特征确定对应于所述可抓取区域的夹具数量以及各个夹具的夹具标识包括：
[0013]获取可抓取区域的最大内接圆的半径，和/或获取可抓取区域的主轴长度；
[0014]将所述半径与第一半径阈值进行比较，和/或将所述主轴长度与主轴阈值进行比较，根据比较结果确定对应于所述可抓取区域的夹具数量以及各个夹具的夹具标识。
[0015]可选的，所述根据所述可抓取区域的几何特征确定对应于所述可抓取区域的夹具数量以及各个夹具的夹具标识包括：
[0016]获取可抓取区域的最大内接圆的半径，和/或获取可抓取区域的最大内接矩形的长度；
[0017]将所述半径与第二半径阈值进行比较，和/或将所述最大内接矩形的长度与第一长度阈值进行比较，根据比较结果确定对应于所述可抓取区域的夹具数量以及各个夹具的夹具标识。
[0018]可选的，所述根据所述可抓取区域的几何特征确定对应于所述可抓取区域的夹具数量以及各个夹具的夹具标识包括：
[0019]获取可抓取区域的最大内接矩形的宽度，和/或获取可抓取区域的最大内接矩形的长度；
[0020]将所述宽度与宽度阈值进行比较，和/或将所述最大内接矩形的长度与第二长度阈值进行比较，根据比较结果确定对应于所述可抓取区域的夹具数量以及各个夹具的夹具标识。
[0021]可选的，所述控制机器人调用夹具组中包含的与所述夹具标识相对应的各个夹具执行抓取操作包括：
[0022]获取相机坐标系与机器人坐标系之间的转换关系，根据所述转换关系，将对应于相机坐标系的可抓取区域的位置信息转换到机器人坐标系中，向机器人输出转换后的各个可抓取对象的位置信息以及夹具标识。
[0023]可选的，所述夹具组包括：多个吸盘式夹具。
[0024]根据本专利技术的又一个方面，还提供了一种基于机器人的夹具组的控制装置，包括：
[0025]获取模块，适于沿预设深度方向获取与三维物品区域相对应的二维彩色图以及对应于所述二维彩色图的深度图；
[0026]预测模块，适于将所述二维彩色图以及所述深度图输入深度学习模型，根据输出结果预测所述二维彩色图中包含的可抓取区域；
[0027]确定模块，适于根据所述可抓取区域的轮廓线确定所述可抓取区域的几何特征，根据所述可抓取区域的几何特征确定对应于所述可抓取区域的夹具数量以及各个夹具的夹具标识；
[0028]控制模块，适于控制机器人调用夹具组中包含的与所述夹具标识相对应的各个夹具执行抓取操作。
[0029]可选的，所述确定模块具体适于：
[0030]根据所述可抓取区域的轮廓线，绘制所述可抓取区域的最大内接圆、最小内接圆、最大内接矩形和/或最小内接矩形。
[0031]可选的，所述确定模块具体适于：
[0032]获取可抓取区域的最大内接圆的半径，和/或获取可抓取区域的主轴长度；
[0033]将所述半径与第一半径阈值进行比较，和/或将所述主轴长度与主轴阈值进行比较，根据比较结果确定对应于所述可抓取区域的夹具数量以及各个夹具的夹具标识。
[0034]可选的，所述确定模块具体适于：
[0035]获取可抓取区域的最大内接圆的半径，和/或获取可抓取区域的最大内接矩形的
长度；
[0036]将所述半径与第二半径阈值进行比较，和/或将所述最大内接矩形的长度与第一长度阈值进行比较，根据比较结果确定对应于所述可抓取区域的夹具数量以及各个夹具的夹具标识。
[0037]可选的，所述确定模块具体适于：
[0038]获取可抓取区域的最大内接矩形的宽度，和/或获取可抓取区域的最大内接矩形的长度；
[0039]将所述宽度与宽度阈值进行比较，和/或将所述最大内接矩形的长度与第二长度阈值进行比较，根据比较结果确定对应于所述可抓取区域的夹具数量以及各个夹具的夹具标识。
[0040]可选的，所述控制模块具体适于：
[0041]获取相机坐标系与机器人坐标系之间的转换关系，根据所述转换关系，将对应于相机坐标系的可抓取区域的位置信息转换到机器人坐标系中，向机器人输出转换后的各个可抓取对象的位置信息以及夹具标识。
[0042]可选的，所述夹具组包括：多个吸盘式夹具。
[0043]根据本专利技术的又一方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
[0044]所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述基于机器人的夹具组的控制方法对应的操作。
[0045]根据本专利技术的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述基于机器人的夹具组的控制方法对应的操作。
[0046]在本专利技术所提供的基于机器人的夹具组的控制方法及装置中，能够沿预设深度方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器人的夹具组的控制方法，包括：沿预设深度方向获取与三维物品区域相对应的二维彩色图以及对应于所述二维彩色图的深度图；将所述二维彩色图以及所述深度图输入深度学习模型，根据输出结果预测所述二维彩色图中包含的可抓取区域；根据所述可抓取区域的轮廓线确定所述可抓取区域的几何特征，根据所述可抓取区域的几何特征确定对应于所述可抓取区域的夹具数量以及各个夹具的夹具标识；控制机器人调用夹具组中包含的与所述夹具标识相对应的各个夹具执行抓取操作。2.根据权利要求1所述的方法，其中，所述根据所述可抓取区域的轮廓线确定所述可抓取区域的几何特征包括：根据所述可抓取区域的轮廓线，绘制所述可抓取区域的最大内接圆、最小内接圆、最大内接矩形和/或最小内接矩形。3.根据权利要求2所述的方法，其中，所述根据所述可抓取区域的几何特征确定对应于所述可抓取区域的夹具数量以及各个夹具的夹具标识包括：获取可抓取区域的最大内接圆的半径，和/或获取可抓取区域的主轴长度；将所述半径与第一半径阈值进行比较，和/或将所述主轴长度与主轴阈值进行比较，根据比较结果确定对应于所述可抓取区域的夹具数量以及各个夹具的夹具标识。4.根据权利要求2所述的方法，其中，所述根据所述可抓取区域的几何特征确定对应于所述可抓取区域的夹具数量以及各个夹具的夹具标识包括：获取可抓取区域的最大内接圆的半径，和/或获取可抓取区域的最大内接矩形的长度；将所述半径与第二半径阈值进行比较，和/或将所述最大内接矩形的长度与第一长度阈值进行比较，根据比较结果确定对应于所述可抓取区域的夹具数量以及各个夹具的夹具标识。5.根据权利要求2所述的方法，其中，所述根据所述可抓取区域的几何特征确定对应于所述可抓取区域的夹具数量以及各个夹具的夹具标识包括：获取可抓取区域的最大内接矩形的宽度，和/或获取可抓取区域的最大内接矩形的长度；将所述宽度与宽度阈值进行比较，和/或将所述最大内接矩形的长度与第二长度阈值进行比较，根据比较结果确定对应于所述可抓取区域的夹具数量以及各个夹具的夹具标识。6.根据权利要求1
‑
5任一所述的方法，其中，所述控制机器人调用夹具组中包含的与所述夹具标识相对应的各个夹具执行抓取操作包括：获取相机坐标系与机器人坐标系之间的转换关系，根据所述转换关系，将对应于相机坐标系的可抓取区域的位置信息转换到机器人坐标系中，向机器人输出转换后的各个可抓取对象的位置信息以及夹具标识。7.根据权利要求1
‑
6任一所述的方法，其中，所述夹具组包括：多个吸盘式夹具。8.一种基于机器人的夹具组的控制装置，包括：获取模块，适于沿预设深度方向获取与三维物品区域相对应的二维彩色图以及对应于所述二维彩色图...

【专利技术属性】
技术研发人员：段文杰，夏冬青，丁有爽，邵天兰，
申请(专利权)人：梅卡曼德北京机器人科技有限公司，
类型：发明
国别省市：