基于图像处理与深度学习的管片模具开模系统的引导方法技术方案

本发明专利技术提供了一种基于图像处理与深度学习的管片模具开模系统的引导方法，属于自动开模领域，该方法包括：控制机械臂移动至模具螺栓的指定测距位置，对待定位螺栓进行图像采集，并对采集到的图像进行第一预处理，提取待定位螺栓的有效图像；基于所述有效图像进行定位分析，得到待定位螺栓的有效坐标，并引导所述机械臂移动到所述有效坐标，来对螺栓进行拧松操作采集拧松后的螺栓图像，对所述螺栓图像进行第二预处理提取所述螺栓图像的有效数据，并基于预设分析算法判断螺栓是否拧松成功，进而基于判断结果引导管片模具开模系统进行相应操作。将图像处理与深度学习应用到管片模具开模系统中实现螺栓的自动定位，提高了开模的准确性和效率。准确性和效率。准确性和效率。

【技术实现步骤摘要】
基于图像处理与深度学习的管片模具开模系统的引导方法


[0001]本专利技术涉及图像处理
，特别涉及一种基于图像处理与深度学习的管片模具开模系统的引导方法。

技术介绍

[0002]目前，市场上的自动螺栓开模设备结构都普遍比较简单，不能自行校正螺栓位置偏差，定位上容易出现误差，对开模顺序也无法进行优化。应用在不同型号的产品上时通常采用传统示教模式进行螺栓位置信息录入，操作较为繁琐且精确度不够高，需要人工进行辅助操作且人工操作的劳动量和劳动力都较大，也无法保证开模的准确性。
[0003]因此，本专利技术提出一种基于图像处理与深度学习的管片模具开模系统的引导方法。

技术实现思路

[0004]本专利技术提供一种基于图像处理与深度学习的管片模具开模系统的引导方法，用以通过对待定位螺栓进行图像采集，获取得到有效图像并基于有效图像分析出有效坐标，并引导机械臂进行拧松操作且通过图像判断是否拧松成功，保证开模的精确度。
[0005]本专利技术提供一种基于图像处理与深度学习的管片模具开模系统的引导方法，包括：步骤1：控制机械臂移动至模具螺栓的指定测距位置，对待定位螺栓进行图像采集，并对采集到的图像进行第一预处理，提取待定位螺栓的有效图像；步骤2：基于所述有效图像进行定位分析，得到待定位螺栓的有效坐标，并引导所述机械臂移动到所述有效坐标来对螺栓进行拧松操作；步骤3：对所采集的拧松后的螺栓图像进行第二预处理并提取有效数据，判断螺栓是否拧松成功，进而来实现引导管片模具开模系统进行相应操作。
[0006]在一种可能实现的方式中，控制机械臂移动至模具螺栓的指定测距位置，对待定位螺栓进行图像采集，包括：确定所述机械臂的当下坐标，并基于工控机控制所述机械臂由所述当下坐标移动至指定测距位置；当所述机械臂移动到指定测距位置时，向摄像头发送开启指令，控制所述摄像头拍摄待定位螺栓，得到待定位螺栓图像；其中，所述摄像头位于机械臂上。
[0007]在一种可能实现的方式中，对采集到的图像进行第一预处理，提取待定位螺栓的有效图像，包括：对待定位螺栓图像进行RGB色彩空间特征提取，将所述待定位螺栓图像中的螺栓部分与图像背景剥离，得到螺栓部位图像，并将所述螺栓部位图像进行二值化处理；将二值化图像进行平滑锐化处理，得到待定位螺栓的有效图像。
[0008]在一种可能实现的方式中，将所述待定位螺栓图像中的螺栓部分与图像背景剥离，得到螺栓部位图像，包括：根据所述待定位螺栓的螺栓复杂度，确定图像拆分数量，并按照所述拆分数量对所述待定位螺栓图像进行对应数量的拆分；获取每个拆分子图像的第一局部阈值以及第二局部阈值；基于高斯滤波器滤除每个拆分子图像的高斯噪声；确定每个滤除噪声子图像中每个像素点的梯度大小及方向，并锁定非边缘像素点以及候选边缘像素点，且删除非边缘像素点；若同个候选边缘像素点的像素梯度值大于第一局部阈值，则将所述同个候选边缘像素点标记为边缘像素；若同个候选边缘像素点的像素梯度值小于第二局部阈值，则将所述同个候选边缘像素点标记为背景像素；若同个候选边缘像素点的像素梯度值大于等于第二局部阈值，且小于等于第一局部阈值，则获取所述同个候选边缘像素点的相邻连接像素点的相邻像素梯度值；若所述相邻像素梯度值大于第一局部阈值，将所述同个候选边缘像素点标记为边缘像素；基于所有标记后的子图像，构建得到螺栓部位图像。
[0009]在一种可能实现的方式中，基于所述有效图像进行定位分析，得到待定位螺栓的有效坐标的过程中，还包括：根据定位分析结果，判断所述有效图像上存在的待定位螺栓的螺栓个数；当所述螺栓个数为1时，将所述待定位螺栓的定位分析坐标视为有效坐标。
[0010]在一种可能实现的方式中，判断所述有效图像上存在的待定位螺栓的螺栓个数之后，还包括：当所述螺栓个数为多个时，框选所述有效图像上的每个待定位螺栓，并根据每个框选区域的区域中心点，并按照从左到右的顺序进行相邻区域中心点的依次连接，构建得到待定位图谱；基于所述待定位图谱，构建距离阵列，并将所述距离阵列与标准阵列进行比较，来计算同个距离元素的距离比值；当所有距离比值都满足归一化条件时，判定所述有效图像合格；否则，判定所述有效图像不合格，筛选不满足归一化条件的第一线，根据满足归一化条件的第二线的第二归一化系数，确定每个第一线的第一归一化系数的畸变因子；根据所有第一线的线分布，确定具备相关关系的第一线以及不具备相关关系的第一线；当第一线为单独线时，设定Y0的取值为1，表示对应第一线不具备相关关系；当第一线不为单独线时，设定Y0的取值为0，表示对应第一线具备相关关系；将不具备相关关系的第一线按照对应的畸变因子进行第一修正；将具备相关关系的第一线，来按照对应的畸变因子进行第二修正，并对第二修正线重新进行归一化判断以及相关系数确定的循环操作，直到所有的线都不具备相关关系，构建得到合格的有效图像；
根据开模流程，确定所述合格的有效图像中每个待定位螺栓的开模顺序；如果所述开模顺序为有序顺序时，则分别向每个待定位螺栓设置顺序编码，并将第一个顺序编码对应的待定位螺栓的定位分析坐标视为有效坐标；若所述开模顺序为随机顺序时，则获取所述机械臂到每个待定位螺栓的定位分析坐标的第一距离以及任意两个待定位螺栓之间的第二距离；根据高效率开模模型，对所述第一距离以及第二距离进行解析，输出规划开模路径，并将所述规划开模路径上的第一个定位分析坐标视为有效坐标。
[0011]在一种可能实现的方式中，引导所述机械臂移动到所述有效坐标，来对螺栓进行拧松操作的过程中，还包括：采集所述机械臂基于不同移动指令的历史移动路径以及基于所述历史移动路径的历史补偿路径，其中，所述历史移动路径以及历史补偿路径包括：移动距离以及移动方向；基于同下发指令所对应的历史移动位移以及历史补偿位移，构建位移数组，其中，所述位移数组=[横向移动距离、竖向移动距离、历史移动距离、横向方向补偿、竖向方向补偿、历史方向补偿]；分别确定每个位移数组的单位距离补偿量、单位横向补偿量以及单位竖向补偿量，并绘制得到所述单位距离补偿量的第一曲线、单位横向补偿量的第二曲线以及单位竖向补偿量的第三曲线；对每条曲线进行拟合处理以及平均处理，并确定每条曲线的拟合处理值与平均处理值的差值绝对值；若差值绝对值在预设范围内，则从拟合处理值以及平均处理值中随机筛选一个值作为对应曲线的最后值；若差值绝对值不在预设范围内，则将拟合处理值作为对应曲线的最后值；根据每个曲线的最后值与待移动位置，生成补偿指令进行补偿引导。
[0012]在一种可能实现的方式中，对所采集的拧松后的螺栓图像进行第二预处理并提取有效数据的过程中，包括：基于机械臂上的摄像头对螺栓部位进行图像采集，得到拧松后的螺栓图像；由距离传感器测量对应待拧松螺栓在螺栓未拧出之前机械臂和螺栓顶部的未拧出距离以及在螺栓拧出之后机械臂和螺栓顶部的拧出距离；根据所述未拧出距离与拧出距离的距离差值，对所述拧松后的螺栓图像进行深度补偿，得到处理后的螺栓深度图像。
[0013]在一种可能实现的方式中，判断螺栓是否拧松成功，包括：基于螺栓型号
‑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像处理与深度学习的管片模具开模系统的引导方法，其特征在于，包括：步骤1：控制机械臂移动至模具螺栓的指定测距位置，对待定位螺栓进行图像采集，并对采集到的图像进行第一预处理，提取待定位螺栓的有效图像；步骤2：基于所述有效图像进行定位分析，得到待定位螺栓的有效坐标，并引导所述机械臂移动到所述有效坐标，来对螺栓进行拧松操作；步骤3：对所采集的拧松后的螺栓图像进行第二预处理并提取有效数据，判断螺栓是否拧松成功，进而来实现引导管片模具开模系统进行相应操作。2.根据权利要求1所述的一种基于图像处理与深度学习的管片模具开模系统的引导方法，其特征在于，步骤1中，控制机械臂移动至模具螺栓的指定测距位置，对待定位螺栓进行图像采集，包括：确定所述机械臂的当下坐标，并基于工控机控制所述机械臂由所述当下坐标移动至指定测距位置；当所述机械臂移动到指定测距位置时，向摄像头发送开启指令，控制所述摄像头拍摄待定位螺栓，得到待定位螺栓图像；其中，所述摄像头位于机械臂上。3.根据权利要求1所述的一种基于图像处理与深度学习的管片模具开模系统的引导方法，其特征在于，步骤1中，对采集到的图像进行第一预处理，提取待定位螺栓的有效图像，包括：对待定位螺栓图像进行RGB色彩空间特征提取，将所述待定位螺栓图像中的螺栓部分与图像背景剥离，得到螺栓部位图像，并将所述螺栓部位图像进行二值化处理；将二值化图像进行平滑锐化处理，得到待定位螺栓的有效图像。4.根据权利要求3所述的一种基于图像处理与深度学习的管片模具开模系统的引导方法，其特征在于，将所述待定位螺栓图像中的螺栓部分与图像背景剥离，得到螺栓部位图像，包括：根据所述待定位螺栓的螺栓复杂度，确定图像拆分数量，并按照所述拆分数量对所述待定位螺栓图像进行对应数量的拆分；获取每个拆分子图像的第一局部阈值以及第二局部阈值；基于高斯滤波器滤除每个拆分子图像的高斯噪声；确定每个滤除噪声子图像中每个像素点的梯度大小及方向，并锁定非边缘像素点以及候选边缘像素点，且删除非边缘像素点；若同个候选边缘像素点的像素梯度值大于第一局部阈值，则将所述同个候选边缘像素点标记为边缘像素；若同个候选边缘像素点的像素梯度值小于第二局部阈值，则将所述同个候选边缘像素点标记为背景像素；若同个候选边缘像素点的像素梯度值大于等于第二局部阈值，且小于等于第一局部阈值，则获取所述同个候选边缘像素点的相邻连接像素点的相邻像素梯度值；若所述相邻像素梯度值大于第一局部阈值，将所述同个候选边缘像素点标记为边缘像素；基于所有标记后的子图像，构建得到螺栓部位图像。
5.根据权利要求1所述的一种基于图像处理与深度学习的管片模具开模系统的引导方法，其特征在于，步骤2中，基于所述有效图像进行定位分析，得到待定位螺栓的有效坐标的过程中，还包括：根据定位分析结果，判断所述有效图像上存在的待定位螺栓的螺栓个数；当所述螺栓个数为1时，将所述待定位螺栓的定位分析坐标视为有效坐标。6.根据权利要求5所述的一种基于图像处理与深度学习的管片模具开模系统的引导方法，其特征在于，判断所述有效图像上存在的待定位螺栓的螺栓个数之后，还包括：当所述螺栓个数为多个时，框选所述有效图像上的每个待定位螺栓，并根据每个框选区域的区域中心点，并按照从左到右的顺序进行相邻区域中心点的依次连接，构建得到待定位图谱；基于所述待定位图谱，构建距离阵列，并将所述距离阵列与标准阵列进行比较，来计算同个距离元素的距离比值；当所有距离比值都满足...

【专利技术属性】
技术研发人员：尹怀秀，谢炜煜，薛海涛，戴一飞，马敏，杨凯，高东明，赵天洁，
申请(专利权)人：青岛环球重工科技有限公司，
类型：发明
国别省市：