一种基于视觉引导的面向自动配线的方法及装置制造方法及图纸

本发明专利技术公开了一种基于视觉引导的面向自动配线的方法及装置，装置包括配线作业执行部分、视觉检测部分及驱动控制部分；所述配线作业执行部分包括二维运动平台、旋转辅助机构、一台六自由度的工业机器人和安装在工业机器人末端的夹持器；所述视觉检测部分包括两个工业相机、一个微型相机和图像采集卡；所述驱动控制部分运动控制卡和机器人控制器。本发明专利技术采用视觉引导技术实现工业机器人的自动化配线作业，智能化和柔性化程度高，线缆端子的定位和线孔装配的成功率高、灵活性强，可用于线缆自动插接的柔性装配等工业应用场景。自动插接的柔性装配等工业应用场景。自动插接的柔性装配等工业应用场景。

【技术实现步骤摘要】
一种基于视觉引导的面向自动配线的方法及装置


[0001]本专利技术涉及自动化配线领域，特别涉及一种基于视觉引导的面向自动配线的方法及装置。

技术介绍

[0002]现在生产制造厂商中，生产设备几乎都离不开电路器件的连接。传统的电路连接一般是依靠人工在插线板上进行插接，这种作业方式需要耗费许多人力资本进行低效重复的工作。步入智能化时代后，许多工厂开始寻求人机结合或是完全由机器人或其它设备来替代老旧的手工插线方式，例如一些面向光纤的自动配线设备的开发。
[0003]但是，由机器代替人工去完成配线的过程主要存在三个问题。首先，线缆是软体结构，形态不固定因此存在抓取困难；其次，线缆端子结构复杂，且上料时姿态各异需要进行姿态调整；最后，将线缆端子与连接器进行插接时，由于两者的配合间隙非常小，因此需要较高的定位精度。
[0004]自动配线的作业情况复杂，单纯依靠机构操作很难完成整套线孔插接的流程。工业生产中面对一些复杂作业，常常引入工业机器人搭配工业相机进行视觉引导操作，如拾取、码垛等。System Robot Automation公司设计的SYNDY系统，主要应用在电器设备中导线的连接，通过机械手可以实现端到端的布线作业。但该设备的末端执行器结构较大，这使其无法完成大量线缆、高密度布线的配线任务。Kyongmo Koo等人开发的基于视觉的配线系统将汽车的线束组装到车身中。通过激光传感器，获取点云模型，寻找孔的位置和插入的方向，引导机器人完成轴孔配对工作，但由于该系统使用的设备较多且成本较高，难以被广泛应用。/>[0005]而在配线作业中相关的视觉算法研究中，有学者提出使用CNN算法识别线缆端子，也有学者采用颜色分隔提取线缆，前者在识别精度上需要提升同时该方法无法识别线缆线体，后者存在的缺陷是无法区分不同端子的线缆。在线孔插配方面，许多相似或相关的研究工作中，都是以立体视觉为引导，通过深度相机或双目立体视觉等设备获得目标物体的三维位姿，最后进行装配引导。
[0006]因此，目前在配线作业中相关的研究仍然存在以下不足：第一，对于线缆端子的识别算法需要进一步提升检测的准确率和精度；第二，不同端子的线缆分割问题；第三，对于线缆端子的姿态估计与调整缺少相关研究，由于线缆端子尺寸较小，因此这对其三维图像信息的提取造成困难，不易于通过三维信息对其姿态进行估计，容易造成估算偏差大从而导致配线失败；第四，目前更多的是通过立体视觉的方式引导执行机构插线，但是对于柔性线缆，插线过程中没有得到实时闭环控制容易降低成功率。

技术实现思路

[0007]为了克服现有技术的上述缺点与不足，本专利技术的目的在于提供一种基于视觉引导的面向自动配线的方法及装置。
[0008]本专利技术的目的通过以下技术方案实现：
[0009]一种基于视觉引导的面向自动配线的方法，其特征在于，包括如下步骤：
[0010]建立机器人与相机的坐标系关系；
[0011]移动机器人到上料区，获取上料区的线缆图像，计算得到线缆的拾取位姿，驱动机器人夹取电缆；
[0012]获取线缆端子的侧面图像，构建线缆端子的角度预测模型，以线缆端子的局部颜色直方图的图像特征作为输入，预测角度作为输出，根据预测角度对线缆端子的姿态进行调整，直到线缆端子姿态调整到预设的正确角度；
[0013]对调整到预设正确角度的线缆端子进行夹取，并移动机器人到插线位置，获取目标连接器的图像，通过构建基于支持向量回归的视觉映射模型，提取目标连接器图像中连接器和线缆端子之间的位置关系作为图像特征，然后将该图像特征作为该视觉映射模型的输入，该模型的输出为预测目标机器人位姿，调整机器人位姿，完成线孔装配。
[0014]进一步，所述移动机器人到上料区，获取上料区的线缆图像，计算得到线缆的拾取位姿，驱动机器人夹取电缆，具体为：
[0015]采集上料区中线缆的图像，通过使用基于改进的YOLOv5算法对图像中的线缆端子进行目标识别和定位；
[0016]线缆端子进行目标识别和定位后，截取图像中目标线缆端子的ROI图像，通过二值化处理和形态学处理，提取线缆端子的轮廓边缘和最小外包围矩形框，然后获得线缆端子的中轴线；
[0017]对采集线缆的原始图像进行颜色阈值分割，对线缆线体部位进行初步的图像分割，获得候选的目标区域；
[0018]获得线缆端子的中轴线及候选的目标区域进行与运算，将保留的像素点作为种子像素点，使用8连通域生长算法对图像进行线缆线体的二次分割，获得最终的目标线缆线体区域；
[0019]根据目标线缆线体区域，对其使用细化算法进行处理，获得线体中心线，在中心线上进行采样，通过双目相机三角测距算法，获得采样点的三维坐标，对采样点进行直线拟合即可获得线缆的拾取位姿，驱动机器人移动到拾取位置，通过控制气动夹爪完成线缆拾取。
[0020]进一步，所述获取线缆端子的侧面图像，构建线缆端子的角度预测模型，以线缆端子的局部颜色直方图的图像特征作为输入，预测角度作为输出，根据预测角度对线缆端子的姿态进行调整，直到线缆端子姿态调整到预设的正确角度，具体为：
[0021]拉直线缆线体，使线缆端子和线体处于同一直线上，同时对线缆进行夹紧和限位使其保留一个自由度，即只能绕着以自身线体为轴进行旋转；
[0022]采集线缆端子的侧面图像，对图像中的线缆端子的局部ROI进行截取，并使用KCF算法对其进行跟踪，提取该局部ROI图像的颜色直方图，并使用大津法分割出前景区域的颜色直方图作为图像特征数据；
[0023]通过构建并离线训练一个线缆端子的角度预测模型，将获得图像特征数据作为输入，模型预测输出对应的线缆端子的目标角度，根据目标角度，驱动线缆端子绕着自身线体旋转，从而实现线缆端子角度调整，直到线缆端子调整到正确角度，则调整完毕，进行后续的线孔插接作业。
[0024]进一步，所述对调整到预设正确角度的线缆端子进行夹取，并移动机器人到插线位置，获取目标连接器的图像，通过构建基于支持向量回归的视觉映射模型，提取目标连接器图像中连接器和线缆端子之间的位置关系作为图像特征，然后将该图像特征作为该视觉映射模型的输入，该模型的输出为预测目标机器人位姿，调整机器人位姿，完成线孔装配，具体为：
[0025]将姿态调整后的线缆重新拾取，并将机器人移动至连接器的目标孔位附近的插线位置，采集连接器和夹持状态下线缆端子的图像；
[0026]对图像中的连接器和线缆端子识别定位，然后分别对连接器ROI图像和线缆端子ROI图像进行二值化处理并提取连接的最小外包围矩形框和线缆端子顶部的中心像素点，最后，计算线缆端子顶部中心点到连接器最小外包围矩形框的图像距离，并以此作为它们的图像位置特征数据；
[0027]通过构建并离线训练一个基于支持向量回归的视觉映射模型，所计算的图像特征数据作为输入，模型输出预测的机器人位置，通过驱动机器人到达预测的位置，重新采集当前位置下连接器和线缆端子的图像，再次预测目标位置然后再次移动机器人，直至图像位置误差小于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉引导的面向自动配线的方法，其特征在于，包括如下步骤：建立机器人与相机的坐标系关系；移动机器人到上料区，获取上料区的线缆图像，计算得到线缆的拾取位姿，驱动机器人夹取电缆；获取线缆端子的侧面图像，构建线缆端子的角度预测模型，以线缆端子的局部颜色直方图的图像特征作为输入，预测角度作为输出，根据预测角度对线缆端子的姿态进行调整，直到线缆端子姿态调整到预设的正确角度；对调整到预设正确角度的线缆端子进行夹取，并移动机器人到插线位置，获取目标连接器的图像，通过构建基于支持向量回归的视觉映射模型，提取目标连接器图像中连接器和线缆端子之间的位置关系作为图像特征，然后将该图像特征作为该视觉映射模型的输入，该模型的输出为预测目标机器人位姿，调整机器人位姿，完成线孔装配。2.根据权利要求1所述的方法，其特征在于，所述移动机器人到上料区，获取上料区的线缆图像，计算得到线缆的拾取位姿，驱动机器人夹取电缆，具体为：采集上料区中线缆的图像，通过使用基于改进的YOLOv5算法对图像中的线缆端子进行目标识别和定位；线缆端子进行目标识别和定位后，截取图像中目标线缆端子的ROI图像，通过二值化处理和形态学处理，提取线缆端子的轮廓边缘和最小外包围矩形框，然后获得线缆端子的中轴线；对采集线缆的原始图像进行颜色阈值分割，对线缆线体部位进行初步的图像分割，获得候选的目标区域；获得线缆端子的中轴线及候选的目标区域进行与运算，将保留的像素点作为种子像素点，使用8连通域生长算法对图像进行线缆线体的二次分割，获得最终的目标线缆线体区域；根据目标线缆线体区域，对其使用细化算法进行处理，获得线体中心线，在中心线上进行采样，通过双目相机三角测距算法，获得采样点的三维坐标，对采样点进行直线拟合即可获得线缆的拾取位姿，驱动机器人移动到拾取位置，通过控制气动夹爪完成线缆拾取。3.根据权利要求1所述的方法，其特征在于，所述获取线缆端子的侧面图像，构建线缆端子的角度预测模型，以线缆端子的局部颜色直方图的图像特征作为输入，预测角度作为输出，根据预测角度对线缆端子的姿态进行调整，直到线缆端子姿态调整到预设的正确角度，具体为：拉直线缆线体，使线缆端子和线体处于同一直线上，同时对线缆进行夹紧和限位使其保留一个自由度，即只能绕着以自身线体为轴进行旋转；采集线缆端子的侧面图像，对图像中的线缆端子的局部ROI进行截取，并使用KCF算法对其进行跟踪，提取该局部ROI图像的颜色直方图，并使用大津法分割出前景区域的颜色直方图作为图像特征数据；通过构建并离线训练一个线缆端子的角度预测模型，将获得图像特征数据作为输入，模型预测输出对应的线缆端子的目标角度，根据目标角度，驱动线缆端子绕着自身线体旋转，从而实现线缆端子角度调整，直到线缆端子调整到正确角度，则调整完毕，进行后续的线孔插接作业。
4.根据权利要求1所述的方法，其特征在于，所述对调整到预设正确角度的线缆端子进行夹取，并移动机器人到插线位置，获取目标连接器的图像，通过构建基于支持向量回归的视觉映射模型，提取目标连接器图像中连接器和线缆端子之间的位置关系作为图像特...

【专利技术属性】
技术研发人员：蔡鑫垚，胡广华，李嘉兴，唐辉雄，欧美彤，韦文斐，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：