【技术实现步骤摘要】
本专利技术涉及物体识别分拣领域。尤其涉及一种基于机械臂智能分拣系统。
技术介绍
1、目前，机械臂因高效和低成本广泛应用于工业分拣领域。针对不同的应用场景和任务目标，如何实现机械高速、高精度运动是一个重要的挑战。传统工业机械臂主要利用预设固定位置工件的点位模型来规划运动轨迹，当机械臂需要对位置变化的多种类工件执行分拣任务时，需要重新构建复杂点位模型，缺乏灵活性和智能化处理能力。
2、为了实现机械臂对多类别工件在非固定位置的高效分拣，智能化和自主化控制方向是研究的重点。目前，计算机视觉和传感器技术正向着人类认知方面演进，同时随着机器学习与深度学习技术的发展被应用于机械臂分拣领域，如利用二维摄像头捕捉工件的平面图像，通过图像处理技术识别工件的形状、颜色和标识。这种做法可用于简单的分拣任务，在平面内识别和定位工件，但无法获得工件的深度信息，导致机械臂错误估计距离，在处理形状、尺寸、材质各异的工件时，适应性仍有不足，容易出现误识别和抓取失败。同时，在工件位置发生变化时，机械臂的实时响应能力有限，影响分拣效率。
技术实现思路
1、针对以上技术问题，本专利技术提供一种基于机器视觉的机械臂智能分拣方法及分拣系统，通过结合机器视觉技术和机械臂操作，实现高效、精准的目标识别和物体分拣，以提升分拣效率和分拣精度，减少对人力的依赖，节约人力成本，提高生产安全性。
2、本专利技术提供一种基于机器视觉的机械臂智能分拣方法，所采用的技术方案包括以下步骤：
3、步骤1，通过深度
4、步骤2，采用目标检测算法对三维环境模型进行检测，标定指定目标，获取指定目标的位置和大小；
5、步骤3，建立指定目标位置的预测模型，通过机器视觉和位置计算融合的方式预测目标的未来位置，对目标进行锁定；
6、步骤4，建立机械臂运动模型，根据锁定目标的位置，求解机械臂的各关节旋转角度，选择延时时间获取机械臂的抓取时间和姿态；
7、步骤5，使用视觉伺服控制方法实现机械臂的控制和引导，完成目标夹取与释放任务。
8、步骤2中，选用yolov8模型对目标进行检测，具体步骤如下：
9、首先，图像分割：根据yolov8模型，将所输入目标环境图像像素设置为640×640，再将图像划分成8×8个等大单元格，每个单元格设置两个预测框，根据单元格中心点确定预测框的位置，预测框的尺寸为目标的所有单元格的外边框尺寸；每个预测框有四个角坐标和一个置信度，共五个参数；预测图像的类别数量设为n，则最终的预测结果是长度为8×8×(2×5+n)的向量；
10、然后，设计网络模型：选用googlenet网络模型，卷积层用于视觉元素特征提取，全连接层用于目标类别概率和坐标的预测；替换googlenet网络模型中inception模块的卷积操作，使用1x1卷积降低通道维度，再使用3x3卷积提取空间特征，在googlenet网络模型中设置24个卷积层、4个最大池化层和2个全连接层；
11、接着，设计损失函数，将坐标预测误差、置信度亏损与预测类别错误三部分损失相加，得到损失函数；其中，坐标预测误差为预测框与真实目标之间的坐标差，置信度亏损使用二元交叉熵损失计算真实置信度与预测置信度的差值，预测类别错误使用多元交叉熵损失计算预测类别与真实类别之间的差值；
12、最后，对googlenet网络模型进行训练，优化损失函数，以提升googlenet网络模型在目标检测中的性能；损失函数中，将坐标预测误差分为预测框中心坐标误差losscenter和预测框的尺寸误差losssize，置信度亏损在单元包含目标的情况下为lossobj，不含目标的情况下为lossno_obj，预测类别错误为lossclass，优化后的损失函数如下：
13、loss＝losscenter+losssize+lossobj+lossno_obj+lossclass
14、
15、
16、其中，xi、yi、wi、hi分别为预测框的中心点x坐标、y坐标、宽度和高度，为真实目标边界框的中心点x坐标、y坐标、宽度和高度，表示第i个检测框包含第j个目标时取1，不包含时取0，表示当第i个检测框包含任意目标时取1，不包含时取0，ci是预测的置信度，是真实的置信度，pi(n)是预测的类别概率，是真实的类别概率，λcoord和λno_obj是平衡因子，优化后分别取5和0.5；
17、步骤3中，所述目标位置预测模型采用基于singer模型的统计模型，singer模型设定目标加速度为高斯白噪声wc(t)，wc(t)是一种零均值的随机噪声，服从正态分布n(0,σ2)，设x(t)为目标运动路径，则目标加速度为x(t)的二阶导数则：
18、在singer模型的基础上，将目标加速度的平均值设为非零值并将作为当前目标加速度的预测值且目标加速度仍受wc(t)影响，与目标加速度相关联；
19、对于所述目标位置预测模型，采用卡尔曼滤波进行目标状态预测；
20、步骤4中，所述机械臂为六自由度机械臂；针对机械臂运动模型，建立世界坐标系(a)，基坐标系(b)；所述机械臂运动模型采用d-h法对机械臂的六个关节建立关节坐标系；基坐标系的坐标轴记为x0、y0、z0；xi、zi分别为第i个关节的关节坐标系的x轴、z轴；各关节坐标系的y轴由x轴沿右手定则方向旋转90°得到，z轴为右手定则大拇指指向方向；
21、以基坐标系为基准，确定各关节坐标系的坐标轴，具体过程如下：
22、根据第1个关节的旋转方向，采用右手定则可得z1方向，z0与z1之间有一条唯一公垂线且公垂线方向为x1方向；同第1个关节，第2个关节处z2根据第2个关节的旋转方向，采用右手定则确定，x2为z1、z2公垂线；
23、同所述第1、2个关节，第3、4、5关节的z3、z4、z5都可由对应关节的旋转方向来确定，第6关节固定在末端执行器上，因此z6由末端执行器的运动方向确定；x3、x4、x5和x6分别由z2和z3、z3和z4、z4与z5、z5与z6之间公垂线方向决定；
24、通过四个运动矩阵相乘得到两个相邻关节间的转换矩阵t(n+1)n：
25、t(n+1)n＝an+1＝rot(z,θn+1)t(0,0,dn+1)t(an+1,0,0)rot(x,αn+1)
26、四个运动矩阵分别为rot(z,θn+1)，t(0,0,dn+1)，t(an+1,0,0)，rot(z,θn+1)；an+1为第n+1个关节的转换矩阵；rot(z,θn+1)表示绕z轴转动θn+1度，t(0,0,dn+1)表示沿向量(0,0,dn+1)t做平移变换，t(an+1,0,0)表示沿向量(an+1,0,0)t做平移变换，rot(x,αn+1)表示绕x轴旋转αn+1度；θ为关节的旋转角度，d为沿z轴的偏移量，a为两个关节之间的连杆长度，α表本文档来自技高网...
【技术保护点】
1.一种基于机器视觉的机械臂智能分拣方法，其特征在于以下步骤：
2.根据权利要求1所述一种基于机器视觉的机械臂智能分拣方法，其特征在于：所述步骤二中，选用YOLOv8模型对目标进行检测，具体步骤如下：
3.根据权利要求1所述一种基于机器视觉的机械臂智能分拣方法，其特征在于：所述步骤三中，所述目标位置预测模型采用一种基于Singer模型的统计模型，Singer模型设定目标加速度为高斯白噪声wc(t)，wc(t)是一种零均值的随机噪声，服从正态分布N(0,σ2)，设X(t)为目标运动路径，则目标加速度为X(t)的二阶导数则：
4.根据权利要求1所述一种基于机器视觉的机械臂智能分拣方法，其特征在于：所述步骤四中，所述机械臂为六自由度机械臂；针对机械臂运动模型，建立世界坐标系(a)，基坐标系(b)；所述机械臂运动模型采用D-H法对机械臂的六个关节建立关节坐标系；基坐标系的坐标轴记为x0、y0、z0；xi、zi分别为第i个关节的关节坐标系的x轴、z轴；各关节坐标系的y轴由x轴沿右手定则方向旋转90°得到，z轴为右手定则大拇指指向方向；
5.根
6.一种基于机器视觉的机械臂智能分拣系统，其特征在于：根据权利要求1-5所述的一种基于机器视觉的机械臂智能分拣方法所得到的分拣系统。
...【技术特征摘要】
1.一种基于机器视觉的机械臂智能分拣方法，其特征在于以下步骤：
2.根据权利要求1所述一种基于机器视觉的机械臂智能分拣方法，其特征在于：所述步骤二中，选用yolov8模型对目标进行检测，具体步骤如下：
3.根据权利要求1所述一种基于机器视觉的机械臂智能分拣方法，其特征在于：所述步骤三中，所述目标位置预测模型采用一种基于singer模型的统计模型，singer模型设定目标加速度为高斯白噪声wc(t)，wc(t)是一种零均值的随机噪声，服从正态分布n(0,σ2)，设x(t)为目标运动路径，则目标加速度为x(t)的二阶导数则：
4.根据权利要求1所述一种基于机器视觉的机械臂智能分拣方法，其特征在于：所述步骤四中，所述机械臂为六自由度...
【专利技术属性】
技术研发人员：王梓涵，周世曦，郭雨，张建东，史国庆，杨啟明，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。