一种基于分割识别的三维机械臂自动抓取方法和装置制造方法及图纸

本发明专利技术一种基于分割识别的三维机械臂自动抓取方法和装置，包括：S10、通过手眼标定算法确定待抓取物体在机械臂末端法兰盘坐标系下的单位坐标信息；S20、通过深度相机获取待抓取物体的画面图像，并将该画面图像输入已训练好的分割识别算法中，对待抓取物体进行分割识别，输出像素级分割识别结果：S30、根据分割识别结果计算待抓取物体中心点坐标，计算出抓取顺序数组；S40、根据待抓取物体在机械臂末端法兰盘坐标系下的单位坐标信息及分组排序结果，依次控制机械臂抓取物体；本发明专利技术通过将手眼标定算法和分割识别算法相结合，从而完成机械臂的自动抓取，可节约成本，提高了生产效率。提高了生产效率。提高了生产效率。

【技术实现步骤摘要】
一种基于分割识别的三维机械臂自动抓取方法和装置


[0001]本专利技术属于机器人的
，具体涉及一种基于分割识别的三维机械臂自动抓取方法和装置。

技术介绍

[0002]随着人工智能的高速发展，智能制造为工业自动化进程带来了新的动力和研究热点。在机械工厂中，使用机械臂取代人工做一些复杂危险且不断重复的抓取、焊接、搬运、喷涂等工作，不仅可以很大程度上降低生产成本，还能进一步提高生产效率，因此更加智能的视觉算法和精准的机械臂操控，成为了实现智能化无人车间的必要前提，研究基于视觉算法的三维机械臂抓取技术是提高机器人智能化最有效的方法。
[0003]将相机安装在机械臂末端的执行器是一种手在眼上的机械臂抓取方式，首先从相机捕捉到的图像中检测物体，然后根据检测结果由机械臂完成抓取移动等操作，但是由于相机检测的坐标位置都是建立相机坐标系下，将检测结果从相机坐标系下转换到机械臂坐标系下，需要精准的手眼转换矩阵，因此研究基于视觉的精准三维手眼标定方法成为了机器人智能化的关键技术。
[0004]现在的机械臂抓取功能大多基于提前设定好的坐标位置，通过固定位置和固定移动模式的方式来实现定点抓取物体，这种固定抓取方式简单、稳定和高效，现在已经应用于各行各业生产生活中的机械臂大部分基于此原理进行作业。但是，该固定抓取方法移植性差、适用范围小、鲁棒性低，这种方式设定的坐标和移动方式只适用于固定生产生活场景，一旦更换作业环境很难将之前的程序进行移植，绝大多数时候需要重新设定坐标和程序，移植性差，重新设定费时费力；该固定抓取方法对于作业场景和作业需求要求较高，一般要求在抓取之前要求通过其他工序将待抓取固定物体按照固定位姿放置于固定坐标位置，才能保证物体抓取正常执行，这种要求无疑提高了生产成本，将机械臂抓取适用范围缩小，适用范围较固定。该抓取方式只能在固定物体、固定位置和物体摆放固定位姿的情况下工作，鲁棒性差，对于更换物体类型、坐标不固定物体和无规则码放物体的情况几乎不能胜任。
[0005]综上所述，设计实现三维手眼标定，并利用标定结果实现三维机械臂自动抓取方法对于机械臂抓取作业具有重要意义。

技术实现思路

[0006]本专利技术克服现有技术存在的不足，所要解决的技术问题为：提供一种基于分割识别的三维机械臂自动抓取方法和装置，能够降低机械臂对固定抓取方式的依赖性及提高抓取物体分割识别精度。
[0007]为了解决上述技术问题，本专利技术采用的技术方案为：一种基于分割识别的三维机械臂自动抓取方法，包括：S10、通过手眼标定算法确定待抓取物体在机械臂末端法兰盘坐标系下的单位坐标信息；S20、通过深度相机获取待抓取物体的画面图像，并将该画面图像输入已训练好的分割识别算法中，对待抓取物体进行分割识别，输出像素级分割识别结果：
S30、根据分割识别结果计算待抓取物体中心点坐标，计算出抓取顺序数组；S40、根据待抓取物体在机械臂末端法兰盘坐标系下的单位坐标信息及分组排序结果，依次控制机械臂抓取物体。
[0008]进一步地，所述通过深度相机获取待抓取物体的画面图像，并将该画面图像输入已训练好的分割识别算法中，对抓取物体进行分割识别，输出像素级分割识别结果，具体包括：S201、通过深度相机获取当前摄像头画面图像并保存，并计算待抓取物体的物理长度A
l
、物理宽度A
w
和物理高度A
h
；S202、将获取到的画面图像输入已训练好的分割识别算法中，对待抓取物体进行分割识别，输出像素级分割识别结果，即物体种类P
c
、每个物体的掩码P
m
，物体像素长度P
l
、物体像素宽度P
w
、物体像素高度P
h
。
[0009]进一步地，所述根据分割识别结果计算待抓取物体中心点坐标，计算出抓取顺序数组；具体包括：S301、对分割识别结果进行解码，输出物体的掩码P
m
；S302、对输出的掩码信息进行重心计算，计算出该物体掩码的表示重心G
i
；通过该重心来代表物体中心点坐标C
i
(i≥0)；根据P
m
进行最小外接矩形计算，输出该掩码表示的矩形框B
i
，该矩形框表示物体的像素边框；S303、根据待抓取物体的物理长度A
l
、物理宽度A
w
、物理高度A
h
和物体像素边框B
i
计算实际距离与像素距离的比例，依据该比例关系和实际物体信息，通过A
′
l
＝A
l
/P
l
×
P
l
,A
′
w
＝A
l
/P
l
×
P
w
,A
′
h
＝A
l
/P
l
×
P
h
计算出物体像素长宽高对应的物理长度A'
l
、物理宽度A'
w
和物理高度A'
h
，将此数据与实际物理信息进行对比去除尺寸异常物体信息，即将其从中心点坐标数组C
i
(i≥0)和像素边框数组B
i
中删除；S304、将步骤S303输出的中心点坐标数组C
i
(i≥0)和像素边框数组B
i
输入到自定义的NMS算法中，去除重IOU值大于设定阈值的中心点；S305、对处理后的中心点坐标C
i
(i≥0)进行分组排序。
[0010]进一步地，所述自定义的NMS算法步骤如下：
[0011]S3041、对输入的像素边框数组B
i
按照置信度从大到小排序；
[0012]S3042、从像素边框数组B
i
中取第一个元素B0，计算元素B0与像素边框数组B
i
中剩余所有边框的IOU值，当剩余元素中某个边框与元素B0的IOU值大于设定阈值时，则将该元素从像素边框数组B
i
中删除，并删除其对应的中心点坐标从中心点坐标数组C
i
(i≥0)中删除；
[0013]S3043、将元素B0从像素边框数组B
i
中删除并保存至新的数组out_list中；
[0014]S3044、当像素边框数组B
i
为空时，输出out_list和C
i
(i≥0)；
[0015]5、根据权利要求4所述的一种基于分割识别的三维机械臂自动抓取方法，其特征在于：所述对处理后的中心点坐标C
i
(i≥0)进行分组排序，包括：
[0016]S3051、声明一个空数组result_list和一个空数组list；
[0017]S3052、从中心点坐标数组C
i
(i≥0)中取第一个，计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分割识别的三维机械臂自动抓取方法，其特征在于：包括：S10、通过手眼标定算法确定待抓取物体在机械臂末端法兰盘坐标系下的单位坐标信息；S20、通过深度相机获取待抓取物体的画面图像，并将该画面图像输入已训练好的分割识别算法中，对待抓取物体进行分割识别，输出像素级分割识别结果：S30、根据分割识别结果计算待抓取物体中心点坐标，计算出抓取顺序数组；S40、根据待抓取物体在机械臂末端法兰盘坐标系下的单位坐标信息及分组排序结果，依次控制机械臂抓取物体。2.根据权利要求1所述的一种基于分割识别的三维机械臂自动抓取方法，其特征在于：所述通过深度相机获取待抓取物体的画面图像，并将该画面图像输入已训练好的分割识别算法中，对抓取物体进行分割识别，输出像素级分割识别结果，具体包括：S201、通过深度相机获取当前摄像头画面图像并保存，并计算待抓取物体的物理长度A
l
、物理宽度A
w
和物理高度A
h
；S202、将获取到的画面图像输入已训练好的分割识别算法中，对待抓取物体进行分割识别，输出像素级分割识别结果，即物体种类P
c
、每个物体的掩码P
m
，物体像素长度P
l
、物体像素宽度P
w
、物体像素高度P
h
。3.根据权利要求2所述的一种基于分割识别的三维机械臂自动抓取方法，其特征在于：所述根据分割识别结果计算待抓取物体中心点坐标，计算出抓取顺序数组；具体包括：S301、对分割识别结果进行解码，输出物体的掩码P
m
；S302、对输出的掩码信息进行重心计算，计算出该物体掩码的表示重心G
i
；通过该重心来代表物体中心点坐标C
i
(i≥0)；根据P
m
进行最小外接矩形计算，输出该掩码表示的矩形框B
i
，该矩形框表示物体的像素边框；S303、根据待抓取物体的物理长度A
l
、物理宽度A
w
、物理高度A
h
和物体像素边框B
i
计算实际距离与像素距离的比例，依据该比例关系和实际物体信息，通过A
′
l
＝A
l
/P
l
×
P
l
,A
′
w
＝A
l
/P
l
×
P
w
,A
′
h
＝A
l
/P
l
×
P
h
计算出物体像素长宽高对应的物理长度A'
l
、物理宽度A'
w
和物理高度A'
h
，将此数据与实际物理信息进行对比去除尺寸异常物体信息，即将其从中心点坐标数组C
i
(i≥0)和像素边框数组B
i
中删除；S304、将步骤S303输出的中心点坐标数组C
i
(i≥0)和像素边框数组B
i
输入到自定义的NMS算法中，去除重IOU值大于设定阈值的中心点；S305、对处理后的中心点坐标C
i
(i≥0)进行分组排序。4.根据权利要求3所述的一种基于分割识别的三维机械臂自动抓取方法，其特征在于：所述自定义的NMS算法步骤如下：S3041、对输入的像素边框数组B
i
按照置信度从大到小排序；S3042、从像素边框数组B
i
中取第一个元素B0，计算元素B0与像素边框数组B
i
中剩余所有边框的IOU值，当剩余元素中某个边框与元素B0的IOU值大于设定阈值时，则将该元素从像素边框数组B
i
中删除，并删除其对应的中心点坐标从中心点坐标数组C
i
(i≥0)中删除；S3043、将元素B0从像素边框数组B
i
中删除并保存至新的数组out_list中；S3044、当像素边框数组B
i
为空时，输出out_list和C
i

【专利技术属性】
技术研发人员：杨帆，
申请(专利权)人：北京中科讯龙科技有限公司太原科技大学山西讯龙智能科技有限公司，
类型：发明
国别省市：