一种用于机器人制孔系统的视觉单元在机标定方法技术方案

本发明专利技术公开了一种用于机器人制孔系统的视觉单元在机标定方法，涉及飞机数字化装配制造领域，包括以下步骤：S10：末端执行器中某个单元工作时，从工作位置移开其他单元，将该单元移动到工作位置；S20：调整末端执行器位姿使制孔方向与试切板法矢重合，末端执行器在试切板上加工标定孔；S30：通过基于视觉单元的工业相机测量S20中的标定孔，采用基准孔特征分割与检测方法，获得标定孔在图像坐标系中的像素直径和像素位置坐标；S40：通过孔探单元测量在S30中标定孔实际直径，计算工业相机内参数，实现制孔系统的视觉单元在机标定。保证测量定位精度同时降低成本，提高机器人制孔系统工作的效率和定位精度，不需要人工干预，提高标定过程的效率和便捷性。程的效率和便捷性。程的效率和便捷性。

【技术实现步骤摘要】
一种用于机器人制孔系统的视觉单元在机标定方法


[0001]本专利技术涉及飞机数字化装配制造领域，尤其是涉及一种用于机器人制孔系统的视觉单元在机标定方法。

技术介绍

[0002]在利用机器人制孔系统进行飞机壁板制孔时，机器人制孔系统及壁板的理论模型是制孔加工程序产生的基础，然而由于理论模型与其制孔现场实际状态并不一致，导致制孔位置误差的产生。考虑到低成本、非接触、满意的测量精度，可将视觉单元集成到机器人制孔系统中用于工件定位。有效的标定是视觉单元精确测量的基础。
[0003]在现有技术中，现有的视觉单元标定方法往往需要高精度专用标定板，标定板的安装和多视角拍摄，通常导致机器人制孔系统加工操作较长时间的中断，降低生产效率和易用性，增大了生产成本，另外也难以实现视觉单元在线校准，不能满足机器人制孔加工时视觉单元在机标定需求。有鉴于此，本专利技术拟提出一种用于机器人制孔系统的视觉单元在机标定方法，实现机器人制孔系统视觉单元在机标定。

技术实现思路

[0004]为了克服现有技术中存在需要使用专用标定板、标定过程繁琐且需要人工干预，造成机器人制孔系统加工操作较长时间中断的技术问题，本专利技术提供了一种用于机器人制孔系统的视觉单元在机标定方法，通过孔探单元获取标定孔实际大小，配合视觉单元所得基准孔图像计算得出相机内参数、机器人制孔系统手眼关系，结合机器人前向运动学模型、刀具坐标系，最终实现机器人制孔加工时视觉单元的在机标定。
[0005]为了实现上述目的，本专利技术是通过以下技术方案实现：一种用于机器人制孔系统的视觉单元在机标定方法，包括以下步骤：S10：机器人制孔系统末端执行器中某个单元工作时，从工作位置移开其他单元，将该单元移动到设于末端执行器几何对称面的工作位置；S20：调整末端执行器位姿使制孔方向与试切板法矢重合，末端执行器在试切板上加工标定孔；S30：通过基于视觉单元的工业相机测量S20中的标定孔，采用基准孔特征分割与检测方法，获得标定孔在图像坐标系中的像素直径和像素位置坐标；S40：通过孔探单元测量在S30中标定孔的实际直径，计算视觉单元中工业相机内参数，求解标定孔在相机坐标系中位置坐标，再求解机器人制孔系统手眼关系，实现制孔系统的视觉单元在机标定。
[0006]作为优选，所述S10中，机器人制孔系统的末端执行器的某个单元工作时，末端执行器中从工作位置移开其他单元，将该单元移动到设于末端执行器几何对称面的工作位置，用于执行制孔、视觉测量和孔探任务。
[0007]作为优选，所述S20中，机器人制孔系统根据用于标定孔制孔的NC加工文件，将末
端执行器移动到试切板上的标定孔加工位置，调整末端执行器位姿使制孔方向与试切板法矢重合，同时将末端执行器的制孔单元移动至工作位置，末端执行器在试切板上加工标定孔。
[0008]作为优选，所述S30中，机器人制孔系统根据NC加工文件的程序逻辑，在试切板上加工标定孔后，保持机器人及末端执行器位姿不变，将末端执行器的视觉单元移动至工作位置，通过基于视觉单元的工业相机测量步骤S20中加工的标定孔，采用基于深度学习的基准孔特征分割与检测方法，获得标定孔在图像坐标系中的像素直径和像素位置坐标，实现基于深度学习的标定孔几何特征检测。
[0009]作为优选，所述S40中，完成标定孔几何特征检测后，保持机器人及末端执行器位姿不变，机器人制孔系统根据NC加工文件的程序逻辑，将末端执行器的孔探单元移动至工作位置，通过孔探单元测量在S30中采用视觉单元测量的标定孔的实际直径，根据孔探单元测量的标定孔实际直径及S30中获得的标定孔像素直径，计算视觉单元中工业相机内参数，通过标定孔像素位置坐标，求解得到标定孔在相机坐标系中位置坐标，从而求解机器人制孔系统手眼关系，即机器人制孔系统TCP与视觉单元之间的位姿关系，实现视觉单元在机标定。
[0010]作为优选，所述S30中，基于深度学习的基准孔特征分割与检测方法包括以下步骤：S31：采用视觉单元的工业相机拍摄基准孔，计算基准孔原始图像的视觉显著性图像，将其显著性值归一化为区间内的整数，然后设置合适的固定阈值对视觉显著性图像进行阈值化得到其二值图；S32：将视觉显著性图像阈值化后得到的二值图作为基准孔图像的半监督语义标签，建立用于一个小型基准孔特征分割U
‑
Net深度神经网络，采用指数线性单元代替修正线性单元，采用池化索引并在每个卷积层的尾部添加dropblock，并采用可变形卷积，基于基准孔图像的半监督语义标签训练基准孔特征分割U
‑
Net网络，每一次训练结束后，利用形态学方法对基准孔特征分割U
‑
Net深度神经网络模型预测的基准孔特征区域进一步优化，得到语义标签，实现基准孔特征分割U
‑
Net深度神经网络迭代训练；S33：采用轮廓跟踪算法，对基准孔特征分割U
‑
Net深度神经网络输出的基准孔特征二值分割图像中的边缘轮廓进行检索，得到基准孔轮廓，在检索到的轮廓中随机选取个点，拟合备选椭圆，计算与基准孔轮廓点与各备选椭圆之间的距离，统计各备选椭圆指定距离容差范围内的轮廓点数量，将数量最多的备选椭圆作为基准孔特征的椭圆拟合结果。
[0011]作为优选，所述S31中，视觉显著性图像计算公式如下：；其中，是原始基准孔图像的平均像素值，是原始基准孔
图像的高斯滤波图像。
[0012]作为优选，所述S32中，采用池化索引并在每个卷积层的尾部添加dropblock，并采用可变形卷积，用于减少训练参数、防止过拟合使其在训练图像条件下工作。
[0013]作为优选，所述S33中，拟合备选椭圆，设置最大备选椭圆数量为N，拟合N个备选椭圆，计算与基准孔轮廓点与各备选椭圆之间的距离，统计各备选椭圆指定距离容差范围内的轮廓点数量，将数量最多的备选椭圆作为基准孔特征的椭圆拟合结果，其中，椭圆拟合方程如下：；其中，是基准孔轮廓点坐标，是基准孔拟合椭圆的圆心坐标，分别是基准孔拟合椭圆的半长轴和半短轴长度，是基准孔拟合椭圆的旋转角。
[0014]作为优选，所述S40中，制孔系统的视觉单元在机标定计算步骤如下：S41：采用末端执行器的孔探单元测量S20中加工的标定孔直径，记为；S42：记S30中基于深度学习的标定孔几何特征检测获取的标定孔像素直径为；S43：记为相机坐标系在X和Y轴上的相机内参数，相机内参数按以下公式计算：；S44：记S30中基于深度学习的标定孔几何特征检测获取的标定孔像素位置坐标为；S45：将相机坐标系设置在图像中心，相机坐标系各轴与机器人制孔系统各轴平行，机器人制孔系统的手眼关系矩阵具体计算公式如下：；其中，。
[0015]与现有技术相比，本专利技术的优点是：
本专利技术通过视觉单元和孔探单元配合，提供了一种视觉单元在机标定方法，保证测量定位精度的同时降低了成本，提高了机器人制孔系统工作的效率和定位精度，且不需要使用专用标定板，也不需要人工干预，使得标定过程简便，提高了标定过程的效率和便捷性。
附图说明
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于机器人制孔系统的视觉单元在机标定方法，其特征在于，包括以下步骤：S10：机器人制孔系统末端执行器中某个单元工作时，从工作位置移开其他单元，将该单元移动到设于末端执行器几何对称面的工作位置；S20：调整末端执行器位姿使制孔方向与试切板法矢重合，末端执行器在试切板上加工标定孔；S30：通过基于视觉单元的工业相机测量S20中的标定孔，采用基准孔特征分割与检测方法，获得标定孔在图像坐标系中的像素直径和像素位置坐标；S40：通过孔探单元测量在S30中标定孔的实际直径，计算视觉单元中工业相机内参数，求解标定孔在相机坐标系中位置坐标，再求解机器人制孔系统手眼关系，实现制孔系统的视觉单元在机标定。2.根据权利要求1所述的用于机器人制孔系统的视觉单元在机标定方法，其特征在于，所述S10中，机器人制孔系统的末端执行器的某个单元工作时，末端执行器中从工作位置移开其他单元，将该单元移动到设于末端执行器几何对称面的工作位置，用于执行制孔、视觉测量和孔探任务。3.根据权利要求1所述的用于机器人制孔系统的视觉单元在机标定方法，其特征在于，所述S20中，机器人制孔系统根据用于标定孔制孔的NC加工文件，将末端执行器移动到试切板上的标定孔加工位置，调整末端执行器位姿使制孔方向与试切板法矢重合，同时将末端执行器的制孔单元移动至工作位置，末端执行器在试切板上加工标定孔。4.根据权利要求1所述的用于机器人制孔系统的视觉单元在机标定方法，其特征在于，所述S30中，机器人制孔系统根据NC加工文件的程序逻辑，在试切板上加工标定孔后，保持机器人及末端执行器位姿不变，将末端执行器的视觉单元移动至工作位置，通过基于视觉单元的工业相机测量步骤S20中加工的标定孔，采用基于深度学习的基准孔特征分割与检测方法，获得标定孔在图像坐标系中的像素直径和像素位置坐标，实现基于深度学习的标定孔几何特征检测。5.根据权利要求1所述的用于机器人制孔系统的视觉单元在机标定方法，其特征在于，所述S40中，完成标定孔几何特征检测后，保持机器人及末端执行器位姿不变，机器人制孔系统根据NC加工文件的程序逻辑，将末端执行器的孔探单元移动至工作位置，通过孔探单元测量在S30中采用视觉单元测量的标定孔的实际直径，根据孔探单元测量的标定孔实际直径及S30中获得的标定孔像素直径，计算视觉单元中工业相机内参数，通过标定孔像素位置坐标，求解得到标定孔在相机坐标系中位置坐标，从而求解机器人制孔系统手眼关系，即机器人制孔系统TCP与视觉单元之间的位姿关系，实现视觉单元在机标定。6.根据权利要求4所述的用于机器人制孔系统的视觉单元在机标定方法，其特征在于，所述S30中，基于深度学习的基准孔特征分割与检测方法包括以下步骤：S31：采用视觉单元的工业相机拍摄基准孔，计算基准孔原始图像的视觉显著性图像，将其显著性值归一化为区间内的整数，然后设置合适的固定阈值对视觉显...

【专利技术属性】
技术研发人员：田平风，傅云，梅标，孔繁强，朱伟东，
申请(专利权)人：泉州装备制造研究所浙江大学，
类型：发明
国别省市：