一种变间隙梯形焊缝多参数同步视觉检测跟踪方法技术

本发明专利技术公开了一种变间隙梯形焊缝多参数同步视觉检测跟踪方法，该方法利用二维焊缝图像得到焊缝三维的位置信息以及焊缝间隙，使得图像特征的变化和焊枪运动之间存在线性关系，根据智能相机传感器采集的单帧图像，提取出图像特征点，由特征点计算出焊枪在三维空间的位置坐标和焊缝间隙，在跟踪过程中，视觉系统将计算得到的三维坐标信息和焊缝间隙通过通信线传输给控制系统，控制系统寻找焊缝初始点，之后实时跟踪焊缝，视觉系统识别焊缝终止点后，将焊缝终止点传给控制系统后，焊接结束。此方法可实现焊枪在三维空间焊点的准确定位，并且在实时焊接过程中对较大的焊缝间隙进行摆动焊接，摆动频率由焊缝间隙大小决定。

【技术实现步骤摘要】
一种变间隙梯形焊缝多参数同步视觉检测跟踪方法
本专利技术涉及确定焊缝位置及焊缝间隙值的检测跟踪方法，具体是一种变间隙梯形焊缝多参数同步视觉检测跟踪方法。
技术介绍
焊接作为金属制造行业重要的加工手段，因其可靠、低成本连接材料的方法而广泛地应用于金属连接领域。随着焊接技术和工业机器人技术的不断发展，机器人焊接将逐步取代手工焊接，广泛应用在汽车、船舶、工程机械等行业中。采用焊接机器人可以获得比手工焊接更快的焊接速度，更高的焊接质量，具有高可靠性、精确性，可以有效减缓焊接过程产生的热辐射、弧光、烟尘以及弧光等对工人健康带来的危害，改善劳动环境，提高生产效率。因此，推进焊接自动化、机械化、智能化，减轻焊工劳动强度和改善工作条件的机器人焊接方法成为研究焦点。而梯形焊件广泛应用于集装箱、工业厂房、展厅屋顶等，梯形焊件焊缝的跟踪问题是制约梯形焊件焊接发展的重要难题之一。在强干扰恶劣的情况下，视觉信息的获取和图像处理问题研究成为制约当前焊接机器人视觉检测应用、实现焊缝跟踪控制的一个技术瓶颈。中国专利CN104107973A公开了一种集装箱波纹板焊缝的识别方法、识别装置及焊接控制系统，该方法通过两个激光器发出两束面激光，由图像传感器采集照射在焊缝的激光图像，并对此图像进行处理，比较采集的两个激光器特征点坐标，获得焊缝X方向、Y方向的位置坐标，其不足之处在于：由于梯形焊件焊缝并不是十分平整，在焊缝的高度方向Z方向也会有偏差，并且不能够得出焊缝间隙的大小。对于冲压不规则的梯形焊件，这些焊件的拐点处会有一定的弧度，需要对采集的离散点做连续化处理，若只是利用离散点跟踪焊缝，在梯形焊缝拐点处精度有可能会达不到焊接要求。
技术实现思路
针对现有技术的不足，本专利技术拟解决的技术问题是，提供一种变间隙梯形焊缝多参数同步视觉检测跟踪方法。该方法针对梯形焊件焊缝设计，根据智能相机传感器采集的单帧图像，提取出图像特征点，由特征点计算出焊枪在三维空间的位置坐标和焊缝间隙，在跟踪过程中，视觉系统将计算得到的三维坐标信息和焊缝间隙通过通信线传输给控制系统，控制系统寻找焊缝初始点，之后实时跟踪焊缝，视觉系统识别焊缝终止点后，将焊缝终止点传给控制系统后，焊接结束。此方法可实现焊枪在三维空间焊点的准确定位，并且在实时焊接过程中对较大的焊缝间隙进行摆动焊接，摆动频率由焊缝间隙大小决定。本专利技术解决所述技术问题所采用的技术方案是，设计一种变间隙梯形焊缝多参数同步视觉检测跟踪方法，该方法利用二维焊缝图像得到焊缝三维的位置信息以及焊缝间隙，使得图像特征的变化和焊枪运动之间存在线性关系，该方法的具体步骤是：第一步，图像处理和特征提取1-1图像获取：通过智能相机传感器获取包含激光条纹的焊缝区域图像；1-2图像阈值自适应分割：在步骤1-1的基础上，以每五列为单位，选取像素值相同个数最多的像素值为阈值，每五列中，以像素值大于所述阈值的，确定为激光条纹的有效点，从图像中分割出有效点；1-3激光条纹中心线提取：将步骤1-2中确定的激光条纹的有效点采用逐列提取的方式，把每列激光条纹有效点提取中间点，把中间点存到数组中，这个数组为激光条纹中心线数组；1-4Hough直线变换：在步骤1-3的基础上对提取的激光条纹中心线求取hough直线，得到两条直线，分别对应为梯形焊件上的直线和焊件底板上的直线；1-5两个特征点提取：在步骤1-4的基础上求取两条直线的交点，并且提取交点的纵坐标值和横坐标值，此交点为第一特征点，坐标为智能相机传感器采集图像的梯形焊件上的激光条纹，该激光条纹的末端点为梯形焊件需要焊接的焊点，此点为第二特征点坐标为1-6求取间隙值：第一特征点与第二特征点的欧式几何距离为焊缝间隙的像素值大小；第二步，图像信息分析2-1水平X方向位置计算：焊枪水平X方向的坐标Xn为在X方向上焊枪到梯形焊件前表面的初始测量距离DE与梯形焊件上激光条纹的位置在X方向上到梯形焊件前表面的距离BC的和，即Xn＝DE+BC(5)；2-2水平Y方向位置计算：控制系统通过通信线向视觉系统实时传输焊枪在测试平台Y方向导轨上的距离mccur，由焊枪在测试平台Y方向导轨上的距离mccur以及AB和焊枪与智能相机传感器在X方向上的距离EF,得到焊枪水平Y方向的坐标Yn，即Yn＝mccur-AB-EF(6)；式中AB＝BC×tanα；2-3垂直Z方向位置计算：已知焊枪与焊件底板的初始测量距离JK，求出实时跟踪时梯形焊件上焊缝与初始跟踪时激光条纹所在焊件底板位置在Z方向上的距离d，则焊枪垂直Z方向的坐标Zn为焊枪到焊件底板的初始测量距离JK和实时跟踪时梯形焊件上焊缝与初始跟踪时激光条纹所在焊件底板位置在Z方向上的距离d之差，即Zn＝JK-d(11)；2-4间隙大小识别：依据智能相机传感器与梯形焊件的物距几何模型，进一步得到焊缝间隙的大小，即间隙大小为：式中，为实时采集的第一特征点坐标值，为实时采集的第二特征点x坐标值，为初始采集的第一组第一特征点的坐标，LM为梯形焊件前表面与智能相机传感器的距离，kxd为梯形焊件前后表面在X方向上的距离与对应的y方向像素差的比值，kzd为测量得到的焊缝间隙的距离ΔZ与梯形焊件的前表面记录下焊缝间隙像素坐标差值δz的比值；第三步，实时跟踪3-1寻找焊缝初始点：测试平台启动后，视觉系统在测试平台Y方向上移动，并通过视觉系统检测焊缝，并确定焊缝初始点；视觉系统将检测到的焊缝初始点的位置信息通过通信线传输给控制系统，控制系统控制焊枪移动到焊缝初始点位置；3-2实时跟踪：寻找到初始点后，视觉系统持续将检测的图像焊缝特征点坐标转换为焊缝的三维位置坐标，检测的焊缝位置具有离散性；将离散的焊缝位置转换为连续的焊缝位置，控制系统实时向视觉系统发送焊枪在Y方向移动距离mccur，视觉系统依据mccur计算焊枪在Y方向的位置，随后将与此Y方向对应的X方向、Z方向的坐标和焊缝间隙一块传输给控制系统，控制系统控制焊枪跟踪焊缝，并且由焊缝间隙大小确定焊枪是否摆动以及摆动频率；3-3识别焊缝终止点：在检测中，视觉系统移动到梯形焊件末端焊缝，识别焊缝终止点，并通过视觉系统确定焊缝终止点，然后由视觉系统将焊缝终止点坐标通过通信线传输给控制系统，并给控制系统一个焊接完毕的信号，焊枪焊接完终止点后自动移动焊枪到达焊枪初始点，等待下次焊接。与现有技术相比，本专利技术的有益效果是：本专利技术方法通过智能相机传感器采集图像，并通过Hough直线变换等一系列方式对图像进行处理，提取出二维焊缝特征信息，即可计算出焊枪在三维空间内相对焊缝中心在X、Y、Z方向的距离和焊缝间隙，进而可实现在三维空间焊点的准确定位。本专利技术采用单目视觉在获取焊缝二维信息后转换为焊枪三维坐标，标定简单，避免了建立复杂的智能相机传感器成像模型，大大节约了图像处理时间，显著提高了系统的实时性和适应性。在跟踪阶段，视觉系统自动识别焊缝初始点和终止点，实时地把焊缝位置坐标传输给控制系统，并传输焊接开始和焊接终止信号，自动焊接，不需要人工干预，提高了工作效率。主要工作是视觉系统完成，简化了控制算法，降低了对控制器的要求。本专利技术方法适用于变间隙梯形焊缝的检测、识别与焊接，梯形焊件广泛应用于集装箱、工业厂房、展厅屋顶等，提高梯形焊件焊接自动化的关键是梯形焊缝的跟踪和检测焊本文档来自技高网...

【技术保护点】
一种变间隙梯形焊缝多参数同步视觉检测跟踪方法，该方法利用二维焊缝图像得到焊缝三维的位置信息以及焊缝间隙，使得图像特征的变化和焊枪运动之间存在线性关系，该方法的具体步骤是：第一步，图像处理和特征提取1‑1图像获取：通过智能相机传感器获取包含激光条纹的焊缝区域图像；1‑2图像阈值自适应分割：在步骤1‑1的基础上，以每五列为单位，选取像素值相同个数最多的像素值为阈值，每五列中，以像素值大于所述阈值的，确定为激光条纹的有效点，从图像中分割出有效点；1‑3激光条纹中心线提取：将步骤1‑2中确定的激光条纹的有效点采用逐列提取的方式，把每列激光条纹有效点提取中间点，把中间点存到数组中，这个数组为激光条纹中心线数组；1‑4Hough直线变换：在步骤1‑3的基础上对提取的激光条纹中心线求取hough直线，得到两条直线，分别对应为梯形焊件上的直线和焊件底板上的直线；1‑5两个特征点提取：在步骤1‑4的基础上求取两条直线的交点，并且提取交点的纵坐标值和横坐标值，此交点为第一特征点，坐标为智能相机传感器采集图像的梯形焊件上的激光条纹，该激光条纹的末端点为梯形焊件需要焊接的焊点，此点为第二特征点，坐标为1‑6求取间隙值：第一特征点与第二特征点的欧式几何距离为焊缝间隙的像素值大小；第二步，图像信息分析2‑1水平X方向位置计算：焊枪水平X方向的坐标Xn为在X方向上焊枪到梯形焊件前表面的初始测量距离DE与梯形焊件上激光条纹的位置在X方向上到梯形焊件前表面的距离BC的和，即Xn＝DE+BC   (5)；2‑2水平Y方向位置计算：控制系统通过通信线向视觉系统实时传输焊枪在测试平台Y方向导轨上的距离mccur，由焊枪在测试平台Y方向导轨上的距离mccur以及AB和焊枪与智能相机传感器在X方向上的距离EF,得到焊枪水平Y方向的坐标Yn，即Yn＝mccur‑AB‑EF   (6)；式中AB＝BC×tanα；2‑3垂直Z方向位置计算：已知焊枪与焊件底板的初始测量距离JK，求出实时跟踪时梯形焊件上焊缝与初始跟踪时激光条纹所在焊件底板位置在Z方向上的距离d，则焊枪垂直Z方向的坐标Zn为焊枪到焊件底板的初始测量距离JK和实时跟踪时梯形焊件上焊缝与初始跟踪时激光条纹所在焊件底板位置在Z方向上的距离d之差，即Zn＝JK‑d   (11)；2‑4间隙大小识别：依据智能相机传感器与梯形焊件的物距几何模型，进一步得到焊缝间隙的大小，即间隙大小为：Γn=Kzd×(x3n-x4n)×LM+kxd×(y3n-y3Int)LM---(12);]]>式中，为实时采集的第一特征点坐标值，为实时采集的第二特征点x坐标值，为初始采集的第一组第一特征点的坐标，LM为梯形焊件前表面与智能相机传感器的距离，kxd为梯形焊件前后表面在X方向上的距离与对应的y方向像素差的比值，kzd为测量得到的焊缝间隙的距离ΔZ与梯形焊件的前表面记录下焊缝间隙像素坐标差值δz的比值；第三步，实时跟踪3‑1寻找焊缝初始点：测试平台启动后，视觉系统在测试平台Y方向上移动，并通过视觉系统检测焊缝，并确定焊缝初始点；视觉系统将检测到的焊缝初始点的位置信息通过通信线传输给控制系统，控制系统控制焊枪移动到焊缝初始点位置；3‑2实时跟踪：寻找到初始点后，视觉系统持续将检测的图像焊缝特征点坐标转换为焊缝的三维位置坐标，检测的焊缝位置具有离散性；将离散的焊缝位置转换为连续的焊缝位置，控制系统实时向视觉系统发送焊枪在Y方向移动距离mccur，视觉系统依据mccur计算焊枪在Y方向的位置，随后将与此Y方向对应的X方向、Z方向的坐标和焊缝间隙一块传输给控制系统，控制系统控制焊枪跟踪焊缝，并且由焊缝间隙大小确定焊枪是否摆动以及摆动频率；3‑3识别焊缝终止点：在检测中，视觉系统移动到梯形焊件末端焊缝，识别焊缝终止点，并通过视觉系统确定焊缝终止点，然后由视觉系统将焊缝终止点坐标通过通信线传输给控制系统，并给控制系统一个焊接完毕的信号，焊枪焊接完终止点后自动移动焊枪到达焊枪初始点，等待下次焊接。...

【技术特征摘要】
1.一种变间隙梯形焊缝多参数同步视觉检测跟踪方法，该方法利用二维焊缝图像得到焊缝三维的位置信息以及焊缝间隙，使得图像特征的变化和焊枪运动之间存在线性关系，该方法的具体步骤是：第一步，图像处理和特征提取1-1图像获取：通过智能相机传感器获取包含激光条纹的焊缝区域图像；1-2图像阈值自适应分割：在步骤1-1的基础上，以每五列为单位，选取像素值相同个数最多的像素值为阈值，每五列中，以像素值大于所述阈值的，确定为激光条纹的有效点，从图像中分割出有效点；1-3激光条纹中心线数组提取：将步骤1-2中确定的激光条纹的有效点采用逐列提取的方式，把每列激光条纹有效点提取中间点，把中间点存到数组中，这个数组为激光条纹中心线数组；1-4hough直线变换：在步骤1-3的基础上对提取的激光条纹中心线数组求取hough直线，得到两条直线，分别对应为梯形焊件上的直线和焊件底板上的直线；1-5两个特征点提取：在步骤1-4的基础上求取两条直线的交点，并且提取交点的纵坐标值和横坐标值，此交点为第一特征点，坐标为智能相机传感器采集图像的梯形焊件上的激光条纹，该激光条纹的末端点为梯形焊件需要焊接的焊点，此点为第二特征点，坐标为1-6求取间隙值：第一特征点与第二特征点的欧式几何距离为焊缝间隙的像素值大小；第二步，图像信息分析2-1水平X方向位置计算：焊枪水平X方向的坐标Xn为在X方向上焊枪到梯形焊件前表面的初始测量距离DE与梯形焊件上激光条纹的位置在X方向上到梯形焊件前表面的距离BC的和，即Xn＝DE+BC(5)；2-2水平Y方向位置计算：控制系统通过通信线向视觉系统实时传输焊枪在测试平台Y方向导轨上的距离mccur，由焊枪在测试平台Y方向导轨上的距离mccur以及AB和焊枪与智能相机传感器在X方向上的距离EF,得到焊枪水平Y方向的坐标Yn，即Yn＝mccur-AB-EF(6)；式中AB＝BC×tana，a为激光线AC与智能相机传感器的照射的平行面的夹角；2-3垂直Z方向位置计算：已知焊枪与焊件底板的初始测量距离JK，求出实时跟踪时梯形焊件上焊缝与初始跟踪时激光条纹所在焊件底板位置在Z方向上的距离d，则焊枪...

【专利技术属性】
技术研发人员：陈海永，李泽楠，欧洋，王亚男，
申请(专利权)人：河北工业大学，天津爱普杰科技有限公司，
类型：发明
国别省市：天津;12