一种基于单目视觉的移动机械臂2D平面抓取方法技术

本发明专利技术公开了基于单目视觉的移动机械臂2D平面抓取方法，该方法包括以下步骤：标定相机内参；标定手眼关系；建立机械臂的标准拍照位姿和标准抓取位姿；使用基于形状的模板匹配方法识别标志物；通过视觉伺服原理求解AGV的旋转角度；计算AGV移动后机械臂的新抓取位姿。该系统的装置包括AGV移动机器人、安装在AGV上的6自由度机械臂、安装在机械臂末端的单目相机和夹爪、位置固定的待抓取物体、设置在待抓取物旁的标志物。本发明专利技术通过识别与定位标志物来计算抓取位姿，识别精度高，稳定性强，可适用于不同形状和纹理的工件；同时，本发明专利技术将三维场景退化为二维，简化了问题的复杂度和计算过程。程。程。

【技术实现步骤摘要】
一种基于单目视觉的移动机械臂2D平面抓取方法


[0001]本专利技术涉及移动机械臂工件抓取领域，尤其涉及一种基于单目视觉的移动机械臂2D平面抓取方法。

技术介绍

[0002]移动机械臂结合了自动导航小车的大范围行动能力和机械臂的高效作业能力，打破了固有的流水线作业方式，提升了生产线的柔性，被广泛应用于抓取、焊接、救援、搬运等工作。但由于自动导航小车定位精度低，给机械臂的抓取任务引入了偏差，因此研究一种基于机器视觉技术的移动机械臂抓取方法具有重要意义。
[0003]在移动机械臂研究方面，将自动导航小车与工业机器人结合是设计移动机械臂的一种便捷方式。VENATOR E等人将ABB的电动轮椅和ABB的工业机器人集成，设计了一款用于抓取、搬运的移动机械臂，MADSEN O等将移动平台与KUKA 机器人集成，设计了一款用于装配转子的移动机械臂。在视觉定位方面，传统方法直接对抓取目标进行识别与定位。ANH和SONG基于SURF算法在图像特定区域检测特征点，在杂乱环境下能够准确抓取物体。YANG Y等用基于SIFT特征点匹配的目标识别法实现了机械手的目标物体抓取。GUO Q等通过检测边缘与角点实现了长方形工件的识别与定位。总体来说，直接对抓取目标进行识别与定位的方法，易受环境影响产生误匹配，稳定性差；受抓取物形状、颜色和体积等限制；匹配难度大，计算时间长。
[0004]本专利技术通过对标志物进行模板匹配来间接定位抓取物，计算量小，稳定性强，可抓取多种类型的物体。本专利技术将三维场景退化为二维，简化了问题的复杂度和计算过程。同时使用了视觉伺服的原理多次旋转机械臂末端，有效提高了模板匹配的精度。

技术实现思路

[0005]有鉴于现有技术的上述缺陷，本专利技术所要解决的问题是自主导航小车定位精度低，使用视觉识别定位难度大、稳定性差、受工件形状、颜色等因素限制的问题。
[0006]为实现上述目的，本专利技术提供了一种基于单目视觉的移动机械臂2D平面抓取方法，包括如下步骤：
[0007]步骤1、标定相机内参，标定手眼关系；
[0008]步骤2、建立机械臂的标准抓取位姿；
[0009]步骤3、保持机械臂末端坐标系的z轴与基坐标系的z轴平行，建立机械臂的标准拍照位姿；
[0010]步骤4、在标准拍照位姿下获取一幅图片，针对标志物创建ROI，采用Canny 边缘检测算法对ROI进行边缘提取，制作匹配的模板；
[0011]步骤5、AGV位置固定不动，机械臂的末端沿基坐标的x轴或y轴平移一定距离后重新获取一幅图片，计算图像坐标系下标志物的平移量；
[0012]步骤6、计算步骤5中所述标志物的真实平移量和标志物在图像中投影的平移量的
比值；
[0013]步骤7、根据步骤1中的所述相机内参和手眼关系及步骤3中所述机械臂的标准拍照位姿，求解拍照时图像坐标系到基坐标系的位姿变换矩阵；
[0014]步骤8、根据步骤2中所述机械臂的标准抓取位姿和步骤7中所述图像坐标系到基坐标系的位姿变换矩阵，求解抓取时机械臂末端坐标系到拍照时图像坐标系的位姿变换矩阵；
[0015]步骤9、机械臂保持标准拍照位姿，移动AGV到新的位置后重新获取一幅图片，结合步骤4中所述模板进行模板匹配，根据步骤6中的所述比值计算标志物相对于模板的平移量旋转角度；
[0016]步骤10、根据步骤9的计算结果，将机械臂基座沿z轴旋转步骤9中所述平移量旋转角度相同的角度，拍摄一幅图片，重新计算标志物相对于模板的旋转角度；
[0017]步骤11、若步骤10计算出的所述旋转角度的绝对值小于阈值，计算总的旋转角度，并结合步骤9中图像坐标系下标志物的平移量，得到图像坐标系的位姿变换矩阵；若步骤10计算出的所述旋转角度的绝对值大于阈值，则将绝对值大于阈值的所述旋转角度代替步骤9中的所述平移量旋转角度，重复步骤10；
[0018]步骤12、根据步骤7中所述图像坐标系到基坐标系的位姿变换矩阵、步骤8 中所述机械臂末端坐标系到拍照时图像坐标系的位姿变换矩阵和步骤11中所述图像坐标系的位姿变换矩阵，求解机械臂新的抓取位姿；
[0019]步骤13、方法验证。
[0020]进一步地，步骤1中采用张正友标定方法，标定板为圆点标定板，获得所述相机内参如下：
[0021][0022]式中f是工业相机焦距，dx是像素横向比例，dy是像素纵向比例，u0、v0是图像的主点坐标；
[0023]图像坐标系到像素坐标系的坐标变换矩阵如下：
[0024][0025]相机坐标系到图像坐标系的坐标变换矩阵如下：
[0026][0027]进一步地，步骤5中通过基于形状的模板匹配方法，得到标志物中心点的平移量，并将其变换在图像坐标系中，得到所述图像坐标系下标志物的平移量：
[0028][0029]式中
△
u＝u
‑
u0，
△
v＝v
‑
v0，[u0,v0]为所述模板位置所述标志物中心点的像素坐标， [u,v]为所述机械臂末端平移后所述标志物中心点的像素坐标，
△
x、
△
y为所述图像坐标系下标志物中心点的平移量。
[0030]进一步地，步骤6中所述标志物的真实平移量和所述标志物在图像中投影的平移量的比值计算公式如下：
[0031][0032]式中
△
l为所述机械臂末端在所述基坐标系下的平移量。
[0033]进一步地，步骤7中计算得到的所述拍照时图像坐标系到基坐标系的位姿变换矩阵如下：
[0034][0035]式中，为拍照时机械臂末端坐标系到所述基坐标系的坐标变换矩阵；通过手眼标定获得。
[0036]进一步地，步骤8中计算所述抓取时机械臂末端坐标系到拍照时图像坐标系的位姿变换矩阵如下：
[0037][0038]式中，为抓取时机械臂末端到基座标的坐标变换矩阵；为未知量。
[0039]进一步地，步骤11中所述图像坐标系下标志物的平移量如下：
[0040][0041]式中
△
u1＝u1‑
u0，
△
v1＝v1‑
v0，[u0,v0]为模板位置标志物中心点的像素坐标，[u1,v1] 为AGV移动后标志物中心点的像素坐标，
△
x1，
△
y1为图像坐标系下标志物中心点的平移量。
[0042]进一步地，步骤11中所述图像坐标系的平移量如下：
[0043][0044]所述图像坐标系的旋转量如下：
[0045]θ＝
‑
(θ1+θ2+
…
+θ
m
)；
[0046]式中θ
i
表示步骤10中所述机械臂第i次旋转的旋转角度，m表示所述机械臂的旋转次数；
[0047]所述图像坐标系的位姿变换矩阵如下：
[0048][0049]进一步地，步骤12中所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单目视觉的移动机械臂2D平面抓取方法，其特征在于，包括如下步骤：步骤1、标定相机内参，标定手眼关系；步骤2、建立机械臂的标准抓取位姿；步骤3、保持机械臂末端坐标系的z轴与基坐标系的z轴平行，建立机械臂的标准拍照位姿；步骤4、在标准拍照位姿下获取一幅图片，针对标志物创建ROI，采用Canny边缘检测算法对ROI进行边缘提取，制作匹配的模板；步骤5、AGV位置固定不动，机械臂的末端沿基坐标的x轴或y轴平移一定距离后重新获取一幅图片，计算图像坐标系下标志物的平移量；步骤6、计算步骤5中所述标志物的真实平移量和标志物在图像中投影的平移量的比值；步骤7、根据步骤1中的所述相机内参和手眼关系及步骤3中所述机械臂的标准拍照位姿，求解拍照时图像坐标系到基坐标系的位姿变换矩阵；步骤8、根据步骤2中所述机械臂的标准抓取位姿和步骤7中所述图像坐标系到基坐标系的位姿变换矩阵，求解抓取时机械臂末端坐标系到拍照时图像坐标系的位姿变换矩阵；步骤9、机械臂保持标准拍照位姿，移动AGV到新的位置后重新获取一幅图片，结合步骤4中所述模板进行模板匹配，根据步骤6中的所述比值计算标志物相对于模板的平移量旋转角度；步骤10、根据步骤9的计算结果，将机械臂基座沿z轴旋转步骤9中所述平移量旋转角度相同的角度，拍摄一幅图片，重新计算标志物相对于模板的旋转角度；步骤11、若步骤10计算出的所述旋转角度的绝对值小于阈值，计算总的旋转角度，并结合步骤9中图像坐标系下标志物的平移量，得到图像坐标系的位姿变换矩阵；若步骤10计算出的所述旋转角度的绝对值大于阈值，则将绝对值大于阈值的所述旋转角度代替步骤9中的所述平移量旋转角度，重复步骤10；步骤12、根据步骤7中所述图像坐标系到基坐标系的位姿变换矩阵、步骤8中所述机械臂末端坐标系到拍照时图像坐标系的位姿变换矩阵和步骤11中所述图像坐标系的位姿变换矩阵，求解机械臂新的抓取位姿；步骤13、方法验证。2.如权利要求1所述的基于单目视觉的移动机械臂2D平面抓取方法，其特征在于，步骤1中采用张正友标定方法，标定板为圆点标定板，获得所述相机内参如下：式中f是工业相机焦距，dx是像素横向比例，dy是像素纵向比例，u0、v0是图像的主点坐标；图像坐标系到像素坐标系的坐标变换矩阵如下：
相机坐标系到图像坐标系的坐标变换矩阵如下：3.如权利要求1所述的基于单目视觉的移动机械臂2D平面抓取方法，其特征在于，步骤5中通过基于形状的模板匹配方法，得到标志物中心点的平移量，并将其变换在图像坐标系中，得到所述图像坐标系下标志物的平移量：式中
△
u＝u
‑
u...

【专利技术属性】
技术研发人员：庄春刚，史泽林，袁鑫，
申请(专利权)人：上海智能制造功能平台有限公司，
类型：发明
国别省市：