对象抓取方法及装置制造方法及图纸

本发明专利技术公开了一种对象抓取方法及装置，方法包括：沿预设深度方向获取与三维物品区域相对应的二维彩色图以及对应于所述二维彩色图的深度图；将所述二维彩色图以及所述深度图输入深度学习模型，根据输出结果预测所述二维彩色图中包含的多个可抓取对象；根据与所述三维物品区域相对应的点云信息，计算各个可抓取对象的三维位姿信息；根据所述三维位姿信息将各个可抓取对象沿所述预设深度方向进行排序，根据排序结果确定各个可抓取对象的抓取顺序。该方式通过深度学习模型能够实现任意物品的抓取操作，并且，通过将各个可抓取对象沿预设深度方向进行排序，能够确保在多个物品之间存在堆叠情况时先抓取位于上层的物品，从而保障抓取效率，提高抓取质量。提高抓取质量。提高抓取质量。

【技术实现步骤摘要】
对象抓取方法及装置


[0001]本专利技术涉及机械手控制
，具体涉及一种对象抓取方法及装置。

技术介绍

[0002]目前，随着机械手等智能机器人的广泛普及，越来越多的物品能够借助智能机器人实现抓取以及运输操作。例如，物流包装能够通过智能机器人进行抓取，从而大幅提升抓取效率。
[0003]在现有技术中，为了实现准确抓取，需要预先针对待抓取的物品进行注册，从而确定待抓取的物品的数量、形状以及位置等特征，然后，再根据待抓取的物品的数量、形状以及位置等特征控制机器人执行抓取操作。
[0004]然而，专利技术人在实现本专利技术的过程中发现，现有的抓取方式只能用于抓取预先注册的物品，而对于未注册的物品而言，由于无法确定未注册物品的形状以及位置等信息，则无法正常抓取。由此可见，现有的抓取方式无法针对任意物品进行灵活抓取，使用场景受限。

技术实现思路

[0005]鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的对象抓取方法及装置。
[0006]根据本专利技术的一个方面，提供了一种对象抓取方法，包括：
[0007]沿预设深度方向获取与三维物品区域相对应的二维彩色图以及对应于所述二维彩色图的深度图；
[0008]将所述二维彩色图以及所述深度图输入深度学习模型，根据输出结果预测所述二维彩色图中包含的多个可抓取对象；
[0009]根据与所述三维物品区域相对应的点云信息，计算各个可抓取对象的三维位姿信息；
[0010]根据所述三维位姿信息将各个可抓取对象沿所述预设深度方向进行排序，根据排序结果确定各个可抓取对象的抓取顺序。
[0011]可选的，所述方法执行之前，进一步包括：
[0012]采集与三维样本区域相对应的样本图像，确定所述样本图像中包含的多个物品对象；
[0013]根据所述多个物品对象之间的位置关系，对所述样本图像中包含的可抓取区域以及不可抓取区域分别进行标注，根据标注后的样本图像训练所述深度学习模型。
[0014]可选的，所述根据所述多个物品对象之间的位置关系，对所述样本图像中包含的可抓取区域以及不可抓取区域分别进行标注包括：
[0015]确定各个物品对象沿所述预设深度方向的堆叠次序，将位于顶层的物品对象所对应的区域标注为可抓取区域，将位于底层的物品对象所对应的区域标注为不可抓取区域；
和/或，
[0016]根据各个物品对象的暴露比例，将暴露比例大于预设阈值的物品对象所对应的区域标注为可抓取区域，将暴露比例不大于预设阈值的物品对象所对应的区域标注为不可抓取区域；和/或，
[0017]根据各个物品对象的形状和/或类型确定各个物品对象中包含的接触区域，将接触区域未受到遮挡的物品对象所对应的区域标注为可抓取区域，将接触区域受到遮挡的物品对象所对应的区域标注为不可抓取区域。
[0018]可选的，所述根据标注后的样本图像训练所述深度学习模型包括：
[0019]将标注后的样本图像作为原始训练集，通过随机调节图片亮度和/或对比度、图片仿射变换方式和/或图片白平衡变换方式，对所述原始训练集进行扩充处理，通过扩充后得到的扩充训练集训练所述深度学习模型。
[0020]可选的，所述点云信息根据所述二维彩色图以及对应于所述二维彩色图的深度图构建得到，则所述计算各个可抓取对象的三维位姿信息包括：
[0021]建立与所述三维物品区域相对应的三维坐标系；其中，所述三维坐标系中包含的第一坐标轴以及第二坐标轴的方向与所述二维彩色图相匹配，所述三维坐标系中的第三坐标轴的方向与所述预设深度方向相匹配；
[0022]计算各个可抓取对象对应于所述第三坐标轴的深度坐标值，根据所述深度坐标值计算各个可抓取对象的三维位姿信息。
[0023]可选的，预设深度方向包括以下中的至少一个：相机拍照方向、重力方向以及物品承载面的垂直线所在的方向，其中，所述物品承载面为用于放置三维物品的载体所在的平面，所述载体包括：地面、托盘、传送带和/或物料筐；所述根据所述三维位姿信息将各个可抓取对象沿所述预设深度方向进行排序，根据排序结果确定各个可抓取对象的抓取顺序包括：
[0024]将各个可抓取对象按照与摄像头或物品承载面之间的距离远近进行排序，并根据排序结果确定各个可抓取对象的抓取顺序；
[0025]其中，距离摄像头越近的可抓取对象的抓取顺序越靠前；距离摄像头越远的可抓取对象的抓取顺序越靠后；或者，距离物品承载面越近的可抓取对象的抓取顺序越靠后；距离物品承载面越远的可抓取对象的抓取顺序越靠前。
[0026]可选的，所述根据排序结果确定各个可抓取对象的抓取顺序之后，进一步包括：
[0027]获取相机坐标系与机器人坐标系之间的转换关系；
[0028]根据所述转换关系，将对应于相机坐标系的各个可抓取对象的三维位姿信息转换到机器人坐标系中，向机器人输出转换后的各个可抓取对象的三维位姿信息，以供机器人执行抓取操作。
[0029]可选的，所述三维位姿信息为位置信息；所述三维物品区域中包括多个沿预设深度方向堆叠的可抓取对象；其中，所述可抓取对象包括：纸箱、纸盒、信封、塑料软包、药妆品、和/或玩具。
[0030]根据本专利技术的又一个方面，还提供了一种对象抓取装置，包括：
[0031]获取模块，适于沿预设深度方向获取与三维物品区域相对应的二维彩色图以及对应于所述二维彩色图的深度图；
[0032]预测模块，适于将所述二维彩色图以及所述深度图输入深度学习模型，根据输出结果预测所述二维彩色图中包含的多个可抓取对象；
[0033]计算模块，适于根据与所述三维物品区域相对应的点云信息，计算各个可抓取对象的三维位姿信息；
[0034]排序抓取模块，适于根据所述三维位姿信息将各个可抓取对象沿所述预设深度方向进行排序，根据排序结果确定各个可抓取对象的抓取顺序。
[0035]可选的，所述预测模块进一步适于：
[0036]采集与三维样本区域相对应的样本图像，确定所述样本图像中包含的多个物品对象；
[0037]根据所述多个物品对象之间的位置关系，对所述样本图像中包含的可抓取区域以及不可抓取区域分别进行标注，根据标注后的样本图像训练所述深度学习模型。
[0038]可选的，所述预测模块具体适于：
[0039]确定各个物品对象沿所述预设深度方向的堆叠次序，将位于顶层的物品对象所对应的区域标注为可抓取区域，将位于底层的物品对象所对应的区域标注为不可抓取区域；和/或，
[0040]根据各个物品对象的暴露比例，将暴露比例大于预设阈值的物品对象所对应的区域标注为可抓取区域，将暴露比例不大于预设阈值的物品对象所对应的区域标注为不可抓取区域；和/或，
[0041]根据各个物品对象的形状和/或类型确定各个物品对象中包含的接触区域，将接触区域未受到遮挡的物品对象所对应的区域标注为可抓取区域，将接触区域受到遮挡的物品对象所对应的区域标注为不可抓取区域。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对象抓取方法，包括：沿预设深度方向获取与三维物品区域相对应的二维彩色图以及对应于所述二维彩色图的深度图；将所述二维彩色图以及所述深度图输入深度学习模型，根据输出结果预测所述二维彩色图中包含的多个可抓取对象；根据与所述三维物品区域相对应的点云信息，计算各个可抓取对象的三维位姿信息；根据所述三维位姿信息将各个可抓取对象沿所述预设深度方向进行排序，根据排序结果确定各个可抓取对象的抓取顺序。2.根据权利要求1所述的方法，其中，所述方法执行之前，进一步包括：采集与三维样本区域相对应的样本图像，确定所述样本图像中包含的多个物品对象；根据所述多个物品对象之间的位置关系，对所述样本图像中包含的可抓取区域以及不可抓取区域分别进行标注，根据标注后的样本图像训练所述深度学习模型。3.根据权利要求2所述的方法，其中，所述根据所述多个物品对象之间的位置关系，对所述样本图像中包含的可抓取区域以及不可抓取区域分别进行标注包括：确定各个物品对象沿所述预设深度方向的堆叠次序，将位于顶层的物品对象所对应的区域标注为可抓取区域，将位于底层的物品对象所对应的区域标注为不可抓取区域；和/或，根据各个物品对象的暴露比例，将暴露比例大于预设阈值的物品对象所对应的区域标注为可抓取区域，将暴露比例不大于预设阈值的物品对象所对应的区域标注为不可抓取区域；和/或，根据各个物品对象的形状和/或类型确定各个物品对象中包含的接触区域，将接触区域未受到遮挡的物品对象所对应的区域标注为可抓取区域，将接触区域受到遮挡的物品对象所对应的区域标注为不可抓取区域。4.根据权利要求2或3所述的方法，其中，所述根据标注后的样本图像训练所述深度学习模型包括：将标注后的样本图像作为原始训练集，通过随机调节图片亮度和/或对比度、图片仿射变换方式和/或图片白平衡变换方式，对所述原始训练集进行扩充处理，通过扩充后得到的扩充训练集训练所述深度学习模型。5.根据权利要求1
‑
4任一所述的方法，其中，所述点云信息根据所述二维彩色图以及对应于所述二维彩色图的深度图构建得到，则所述计算各个可抓取对象的三维位姿信息包括：建立与所述三维物品区域相对应的三维坐标系；其中，所述三维坐标系中包含的第一坐标轴以及第二坐标轴的方向与所述二维彩色图相匹配，所述三维坐标系中的第三坐标轴的方向与所述预设深度方向相匹配；计算各个可抓取对象对应于所述第三坐标轴的深度坐标值，根据所述深度坐标值计算各个可抓取对象的三维位姿信息。6.根据权利要求5所述的方法，其中，预设深度方向包括以下中的至少一个：相机拍照方向、重力方向以及物品承载面的垂直线所在的方向，其中，所述物品承载面为用于放置三维物品的载体所在的平面，所述载体包括：地面、托盘、传送带和/或物料筐；
则所述根据所述三维位姿信息将各个可抓取对象沿所述预设深度方向进行排序，根据排序结果确定各个可抓取对象的抓取顺序包括：将各个可抓取对象按照与摄像头或物品承载面之间的距离远近进行排序，并根据排序结果确定各个可抓取对象的抓取顺序；其中，距离摄像头越近的可抓取对象的抓取顺序越靠前；距离摄像头越远的可抓取对象的抓取顺序越靠后；或者，距离物品承载面越近的可抓取对象的抓取顺序越靠后；距离物品承载面越远的可抓取对象的抓取顺序越靠前。7.根据权利要求1
‑
6任一所述的方法，其中，所述根据排序结果确定各个可抓取对象的抓取顺序之后，进一步包括：获取相机坐标系与机器人坐标系之间的转换关系；根据所述转换关系，将对应于相机坐标系的各个可抓取对象的三维位姿信息转换到机器人坐标系中，向机器人输出转换后的各个可抓取对象的三维位姿信息，以供机器人执行抓取操作。8.根据权利要求1
‑
7任一所述的方法，其中，所述三维位姿信息为位置信息；所述三维物品区域中包括多个沿预设深度方向堆叠的可抓取对象；其中，所述可抓取对象包括：纸箱、纸盒、塑料软包、药妆品、和/或玩具。9.一种对象抓取装置，包括：获取模块，适于沿预设深度方向获取与三维物品区域相对应的二维彩色图以及对应于所述二维彩色图的深度图；预测模块，适于将所述二...

【专利技术属性】
技术研发人员：段文杰，夏冬青，陈亚南，耿嘉，王正，丁有爽，邵天兰，
申请(专利权)人：梅卡曼德北京机器人科技有限公司，
类型：发明
国别省市：