基于机器人手眼视觉反馈的高精度凸焊误差补偿系统技术方案

本发明专利技术属于机器视觉、图像处理与机器人控制领域，尤其是一种基于机器人手眼视觉反馈的高精度凸焊误差补偿系统，针对现有的机器人螺母凸焊工艺中，由于工件自身制造误差导致的机器人示教焊接轨迹偏差问题，现提出如下方案，其包括深度相机、焊接设备、凸焊电极、焊接机器人、目标焊孔，所述深度相机和凸焊电极均设于焊接设备的一侧，目标焊孔位于凸焊电极的下方，焊接机器人位于焊接设备的外侧，通过深度相机采集工件焊接点区域的RGB图像和深度图像；提取RGB图像的焊孔ROI区域，并进行Canny边缘检测，获取边缘图像，本发明专利技术有效解决了工件制造导致的焊接轨迹误差，提高了机器人自动化螺母凸焊工艺的焊接精度和质量。螺母凸焊工艺的焊接精度和质量。螺母凸焊工艺的焊接精度和质量。

High precision projection welding error compensation system based on robot hand eye visual feedback

【技术实现步骤摘要】
基于机器人手眼视觉反馈的高精度凸焊误差补偿系统


[0001]本专利技术涉及机器视觉、图像处理与机器人控制
，尤其涉 及基于机器人手眼视觉反馈的高精度凸焊误差补偿系统。

技术介绍

[0002]在机器人自动化螺母凸焊领域，目前广泛采用示教
‑
再现的焊接 模式，即首先针对焊接对象的焊接点位预先对焊接机器人进行示教和 离线编程，然后控制机器人抓取工件沿固定的焊接路径和焊接参数进 行焊接。
[0003]现有的焊接模式对工件本身的一致性有较高要求，工件的加工误 差会导致焊接孔位和标准的孔位偏离。因此机器人抓取工件按照标准 孔位示教得到的轨迹进行焊接过程中，工件的焊孔无法与凸焊设备的 焊枪对准，严重影响焊接精度和质量。

技术实现思路

[0004]本专利技术的目的是为了解决现有技术中存在机器人螺母凸焊工艺 中，由于工件自身制造误差导致的机器人示教焊接轨迹偏差的缺点， 而提出的基于机器人手眼视觉反馈的高精度凸焊误差补偿系统。
[0005]为了实现上述目的，本专利技术采用了如下技术方案：
[0006]基于机器人手眼视觉反馈的高精度凸焊误差补偿系统，包括深度 相机、焊接设备、凸焊电极、焊接机器人、目标焊孔，所述深度相机 和凸焊电极均设于焊接设备的一侧，目标焊孔位于凸焊电极的下方， 焊接机器人位于焊接设备的外侧。
[0007]优选的，所述深度相机和焊接机器人构建手眼视觉反馈系统，对 焊孔图像进行椭圆识别并求解中心点像素坐标，计算求解获得的椭圆 中心点坐标和标定的焊接中心点坐标的像素偏差，将图像空间的像素 偏差映射到焊接机器人笛卡尔空间，得到焊接机器人TCP坐标微调 量，并控制焊接机器人执行坐标微调操作。
[0008]优选的，所述坐标微调包括以下步骤：
[0009]S1、在凸焊设备焊接工作区域安装固定双目结构光相机，搭建机 器人手眼视觉反馈系统；
[0010]S2、对RGB图像进行焊孔ROI提取，获取焊孔图像；
[0011]S3、对焊孔ROI图像进行Canny边缘检测，获取边缘图像；
[0012]S4、对焊孔ROI边缘图像进行轮廓提取，得到连通轮廓的像素点 集合，对轮廓进行椭圆识别求解椭圆中心点坐标；
[0013]S5、计算求解获得的椭圆中心点坐标和标定的焊接中心点坐标的 像素偏差；
[0014]S6、标定焊接机器人和相机的手眼关系矩阵，焊接机器人和凸焊 设备工具坐标系的空间变换矩阵，利用标定结果将图像空间的像素偏 差映射到机器人笛卡尔空间，得到机器人TCP坐标微调量，并控制焊 接机器人执行坐标微调操作；
[0015]S7、重复执行反馈
‑
微调的误差补偿过程，直到像素偏差小于阈 值或焊接机器人
的微调量小于阈值，即完成误差补偿，焊接机器人继 续执行后续凸焊作业。
[0016]优选的，所述S1中，在凸焊设备焊接工作区域安装固定双目结 构光相机，搭建机器人手眼视觉反馈系统，机器人抓取零件凸焊时， 通过深度相机采集零件RGB图像和深度图像。
[0017]优选的，所述S2中，对RGB图像进行焊孔ROI提取，获取焊孔 图像，将深度图像转换为3D点云并对焊孔ROI点云进行RANSAC平面 拟合，获取平面方程。
[0018]与现有技术相比，本专利技术的有益效果在于：
[0019]通过引入视觉传感器和机器人构建手眼视觉反馈系统，提出了基 于边缘轮廓和概率霍夫变换的工件焊孔椭圆识别算法，得到焊孔的椭 圆中心参数，通过机器人手眼关系构建图像空间到机器人笛卡尔空间 的映射关系，将焊孔的图像偏差转换到机器人末端TCP微调量，实现 焊接误差的在线补偿；
[0020]本专利技术有效解决了工件制造导致的焊接轨迹误差，提高了机器人 自动化螺母凸焊工艺的焊接精度和质量。
附图说明
[0021]图1为本专利技术提出的基于机器人手眼视觉反馈的高精度凸焊误 差补偿系统的结构示意图；
[0022]图2为基于连通轮廓和概率霍夫变换的快速椭圆拟合算法流程 图；
[0023]图3为本专利技术提出的基于机器人手眼视觉反馈的高精度凸焊误 差补偿系统的3点法椭圆参数求解方法图示；
[0024]图4为本专利技术提出的基于机器人手眼视觉反馈的高精度凸焊误 差补偿系统的整体流程图。
[0025]图中：1深度相机、2焊接设备、3凸焊电极、4焊接机器人、5 目标焊孔。
具体实施方式
[0026]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方 案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部 分实施例，而不是全部的实施例。
[0027]参照图1
‑
4，基于机器人手眼视觉反馈的高精度凸焊误差补偿系 统，包括深度相机1、焊接设备2、凸焊电极3、焊接机器人4、目标 焊孔5，深度相机1和凸焊电极3均设于焊接设备2的一侧，目标焊 孔5位于凸焊电极3的下方，焊接机器人4位于焊接设备2的外侧。
[0028]系统工作过程如下：
[0029]1、首先对机器人自动化螺母凸焊系统进行离线标定，需要标定 的参数有手眼相机的内参矩阵K，相机坐标系{C}在机器人坐标系{B} 下的6D变换关系以及按照示教轨迹进行焊接点对准时提取的焊 孔椭圆中心点像素坐标标定值p0＝[u0,v0,1]T
，椭圆中心提取方法见后续 步骤；
[0030]2、机器人抓取工件按照示教轨迹到达焊接目标点后，利用深 度相机采集焊接工作区域的RGB图像和深度图像；
[0031]3、从RGB图像中提取焊孔ROI区域，然后对焊孔ROI图像进 行Canny边缘检测，并提取边缘图像的8邻域连通轮廓集合。对于集 合中的每一个连通轮廓P
i
＝{p1,p2,p3,...,p
m
}，
统计其轮廓长度L，轮廓面 积S以及轮廓最小外界矩形的长宽比R。根据这些特征对连通轮廓进 行筛选，仅保留特征在阈值范围内的轮廓作为候选椭圆轮廓，即 L
min
≤L≤L
max
，S
min
≤S≤S
max
，R
min
≤R≤R
max
；
[0032]4、连通轮廓拟合的椭圆方程可以表示为 A(x
‑
x0)2+2B(x
‑
x0)(y
‑
y0)+C(y
‑
y0)2＝1，其中需要求解的参数为椭圆 中心点坐标x0＝(x0,y0)、椭圆长短轴以及旋转角度相关的参数(A,B,C)；
[0033]5、对候选的连通轮廓P
i
＝{p1,p2,p3,...,p
m
}随机采样，生成N组像素 点三元组(x1,x2,x3)，定义为x1＝(x1,y1)、x2＝(x2,y2)和x3＝(x3,y3)，同时 在像素点邻域内用最小二乘法拟合其边缘切向向量d1,d2,d3；
[0034本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于机器人手眼视觉反馈的高精度凸焊误差补偿系统，包括深度相机(1)、焊接设备(2)、凸焊电极(3)、焊接机器人(4)、目标焊孔(5)，其特征在于，所述深度相机(1)和凸焊电极(3)均设于焊接设备(2)的一侧，目标焊孔(5)位于凸焊电极(3)的下方，焊接机器人(4)位于焊接设备(2)的外侧。2.根据权利要求1所述的基于机器人手眼视觉反馈的高精度凸焊误差补偿系统，其特征在于，所述深度相机(1)和焊接机器人(4)构建手眼视觉反馈系统，对焊孔图像进行椭圆识别并求解中心点像素坐标，计算求解获得的椭圆中心点坐标和标定的焊接中心点坐标的像素偏差，将图像空间的像素偏差映射到焊接机器人(4)笛卡尔空间，得到焊接机器人(4)TCP坐标微调量，并控制焊接机器人(4)执行坐标微调操作。3.根据权利要求2所述的基于机器人手眼视觉反馈的高精度凸焊误差补偿系统，其特征在于，所述坐标微调包括以下步骤：S1、在凸焊设备焊接工作区域安装固定双目结构光相机，搭建机器人手眼视觉反馈系统；S2、对RGB图像进行焊孔ROI提取，获取焊孔图像；S3、对焊孔ROI图像进行Canny边缘检测，获取边缘图像；S4、对焊孔ROI边缘图像进行轮廓提取...

【专利技术属性】
技术研发人员：刘超，周德鑫，杨艺，熊振华，盛鑫军，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：