【技术实现步骤摘要】
本专利技术涉及机器视觉和机器人，具体涉及一种基于视觉伺服的机械臂动态抓取方法。
技术介绍
1、动态物体抓取是机器人最具代表性的应用之一，其相关技术在零件装配、快递分拣等行业中受到广泛应用。在生产现场，通过使用机器人代替人工操作，实现对工件的抓取与放置，减轻了企业的生产成本，创造更多的效益，在一定程度上提高了制造业的智能化水平。但目前机械臂的作业方式几乎都是通过人工示教或离线规划来实现的，当产品实际位置与示教位置产生偏差时，传统方式就难以满足要求。这显然没有充分发挥机器人的灵活性和智能化。随着机器视觉的快速发展，机器人得到了更为广泛的应用。要实现机械臂成功抓取运动物体，对运动目标的视觉跟踪以及机械臂运动控制提出了较高要求。然而，当前对于机器视觉引导下的动态抓取实际应用中，视觉往往只起到对目标的识别和定位作用，目标物速度往往由传送带上的编码器计算得到，准确性取决于传送带系统的标定精度。并且当目标位姿或者传送带速度发生变化时，这种开环抓取方式容易抓取失败。
技术实现思路
1、针对现有的动态抓取方式或技术存在的抓取对象单一、效率低等问题，本专利技术提供了一种基于视觉伺服的机械臂动态抓取方法，利用视觉检测与跟踪系统实现运动物体的准确检测与定位，并通过机械臂伺服控制方式完成机械臂对目标的精准抓取。
2、本专利技术的技术方案是，首先提供了一种基于视觉伺服的机械臂动态抓取方法，包括如下步骤：
3、s1、坐标系建立：确定相机与机械臂本体的位置关系，并通过手眼标定方法求出相机与
4、s2、数据集构建：构建物体抓取数据集，采集几种常见物体的图像数据，通过标注后完成物体抓取数据集的构建；
5、s3、检测网络训练：采用基于深度学习的yolov5目标检测网络，实现对运动物体的准确识别和精准定位；
6、s4、跟踪算法设计：在识别和定位的基础上，采用尺度自适应核相关滤波算法，完成对运动目标物的稳定准确跟踪，并输出目标物的实时位置信息；
7、s5、机械臂抓取控制方式设计：采用基于视觉伺服的方式，控制机械臂末端夹具逐渐趋近于目标并完成抓取任务。
8、优选的，所述相机与机械臂的位置关系采用眼在手上(eye-in-hand)的放置方式，机械臂采用中小型六自由度机器人并在其末端安装夹具，作为运动物体跟踪抓取的执行器，其与机械臂末端法兰固连。
9、优选的，所述步骤s1中，手眼标定方法的实现包括以下步骤：
10、s11、将相机固定在机械臂的末端处（不影响末端夹具的工作）；
11、s12、打印棋盘标定板并将其固定在机械臂视野范围内的工作平台上，标定过程中其位置始终不变；
12、s13、通过示教器控制机械臂带着相机在不同的位姿下对标定板进行拍照，拍照的过程中保存当前拍到的标定板图片并记录图片对应示教器上的世界坐标数据，至少13张标定图片；
13、s14、根据记录的数据和各个坐标系之间的关系求解变换矩阵，确定相机坐标系到机械臂末端坐标系的变换关系。
14、优选的，所述步骤s2，数据集的构建包括以下步骤：
15、s21、标注数据：对采集的物体图像数据使用labelimg软件标注出每一类目标的位置信息和类别信息；
16、s22、数据集划分：将标注好的数据集按照7：2：1的比例划分，依次为训练集、验证集和测试集。
17、优选的，所述步骤s3， yolov5检测网络在pytorch框架下利用上述划分好的数据集完成训练。为了验证训练好的yolov5检测网络的性能，采用map(平均精度均值)、fps（每秒检测帧数）、ma（漏警）、fa（虚警）等指标对训练好的网络进行评价。
18、优选的，所述步骤s4，尺度自适应核相关滤波算法是在核相关滤波算法的基础上，融入所述步骤s2的yolov5检测网络实现对目标物体的尺度估计功能，解决了原始核相关滤波算法由于跟踪边框固定而容易导致跟踪目标丢失的。
19、优选的，所述步骤s4，尺度自适应核相关滤波算法的设计包括以下步骤：
20、s41、目标选择：通过yolov5检测网络对采集到的视频图像进行检测，完成跟踪对象的种类识别和精确定位；
21、s42、初始化核相关滤波算法：将yolov5检测网络所框选的目标区域交给核相关滤波算法；
22、s43、滤波器训练与更新：提取该帧图像区域内的特征进行滤波器的训练和更新；
23、s44、确定跟踪位置：利用滤波器与下一帧图像进行相关运算，响应值最大位置即为当前帧图像上的目标最佳位置，并执行步骤s43；
24、s45、可靠性判断：若当前帧的响应值不低于其前面所有帧的平均值则认为当前跟踪准确，重复执行步骤s44；反之，则跟踪失败，即步骤s44中的跟踪结果有误，此时需重新初始化核相关滤波算法以及滤波器训练与更新。
25、优选的，所述步骤s5中，视觉伺服方式采用基于位置的视觉伺服(pbvs)方式，该方式是利用相机参数建立目标的图像信号与机械臂位姿之间的映射关系。在伺服过程中，通过机器人控制器计算机械臂的位姿信息并与目标位姿信息进行比较，将二者误差作为pbvs控制器的输入，进而输出机械臂末端跟踪目标所需要的运动速度。
26、优选的，上述机械臂末端跟踪目标所需要的运动速度，在机器人控制器中，通过机器人逆运动学等操作计算出各关节需要动作的转角大小并通过交流伺服电机驱动各关节到达期望位置。
27、优选的，所述步骤s5中，pbvs控制器根据实时的输入信息和反馈信息不断更新机器人的运动状态，从而不断接近目标物体。当二者差值小于设定阈值时，说明机械臂末端已基本与物体重叠，此时控制机械臂完成对目标物体的抓取。
28、与现有技术相比，本专利技术的先进性如下：
29、1、本专利技术提出的尺度自适应核相关滤波算法实现了对运动物体的精准检测和稳定跟踪，有效解决了传统核相关滤波算法由于尺度变化适应性差造成边框漂移，进而跟踪失败的问题。通过实验对比，改进后的跟踪算法在目标尺度变化等方面具有更强的鲁棒性；
30、2、本专利技术通过基于位置的视觉伺服方式控制机械臂对运动物体的抓取，代替了传统示教式抓取模式，提高了机械臂作业的柔性化和抓取效率，扩大了机械臂的应用范围。
本文档来自技高网...【技术保护点】
1.一种基于视觉伺服的机械臂动态抓取方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于视觉伺服的机械臂动态抓取方法，其特征在于，所述步骤S1中，所述相机与机械臂的位置关系包含眼在手上和眼在手外，为尽可能地避免机械臂本体遮挡物体而出现视野盲区，采用眼在手上(Eye-in-hand)的放置方式；所述机械臂采用中小型六自由度机器人并在其末端安装夹具，作为运动物体跟踪抓取的执行器，其与机械臂末端法兰固连。
3.根据权利要求1所述的一种基于视觉伺服的机械臂动态抓取方法，其特征在于，所述步骤S1中，所述手眼标定方法的实现包括以下步骤：
4.根据权利要求1所述的一种基于视觉伺服的机械臂动态抓取方法，其特征在于，所述步骤S2，所述数据集的构建包括以下步骤：
5.根据权利要求1所述的一种基于视觉伺服的机械臂动态抓取系统，其特征在于，所述步骤S3， 所述YOLOv5检测网络在Pytorch框架下利用上述划分好的数据集完成训练。为了验证训练好的YOLOv5检测网络的性能，采用mAP(平均精度均值)、FPS（每秒检测帧数）、MA（漏警）、F
6.根据权利要求1所述的一种基于视觉伺服的机械臂动态抓取方法，其特征在于，所述步骤S4，所述尺度自适应核相关滤波算法是在核相关滤波算法的基础上，融入所述步骤S2的YOLOv5检测网络实现对目标物体的尺度估计功能，解决了原始核相关滤波算法由于跟踪边框固定而容易导致跟踪目标丢失的。
7.根据权利要求1所述的一种基于视觉伺服的机械臂动态抓取方法，其特征在于，所述步骤S4，所述尺度自适应核相关滤波算法的设计包括以下步骤：
8.根据权利要求1所述的一种基于视觉伺服的机械臂动态抓取方法，其特征在于，所述步骤S5中，所述视觉伺服方式采用基于位置的视觉伺服(PBVS)方式，该方式是利用相机参数建立目标的图像信号与机械臂位姿之间的映射关系。在伺服过程中，通过机器人控制器计算机械臂的位姿信息并与目标位姿信息进行比较，将二者误差作为PBVS控制器的输入，进而输出机械臂末端跟踪目标所需要的运动速度。
9.根据权利要求8所述的一种基于视觉伺服的机械臂动态抓取方法，其特征在于，所述机械臂末端跟踪目标所需要的运动速度，在机器人控制器中，通过机器人逆运动学等操作计算出各关节需要动作的转角大小并通过交流伺服电机驱动各关节到达期望位置。
10.根据权利要求1所述的一种基于视觉伺服的机械臂动态抓取方法，其特征在于,所述步骤S5中，PBVS控制器根据实时的输入信息和反馈信息不断更新机器人的运动状态，从而不断接近目标物体。当二者差值小于设定阈值时，说明机械臂末端已基本与物体重叠，此时控制机械臂完成对目标物体的抓取。
...【技术特征摘要】
1.一种基于视觉伺服的机械臂动态抓取方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于视觉伺服的机械臂动态抓取方法，其特征在于，所述步骤s1中，所述相机与机械臂的位置关系包含眼在手上和眼在手外，为尽可能地避免机械臂本体遮挡物体而出现视野盲区，采用眼在手上(eye-in-hand)的放置方式；所述机械臂采用中小型六自由度机器人并在其末端安装夹具，作为运动物体跟踪抓取的执行器，其与机械臂末端法兰固连。
3.根据权利要求1所述的一种基于视觉伺服的机械臂动态抓取方法，其特征在于，所述步骤s1中，所述手眼标定方法的实现包括以下步骤：
4.根据权利要求1所述的一种基于视觉伺服的机械臂动态抓取方法，其特征在于，所述步骤s2，所述数据集的构建包括以下步骤：
5.根据权利要求1所述的一种基于视觉伺服的机械臂动态抓取系统，其特征在于，所述步骤s3， 所述yolov5检测网络在pytorch框架下利用上述划分好的数据集完成训练。为了验证训练好的yolov5检测网络的性能，采用map(平均精度均值)、fps（每秒检测帧数）、ma（漏警）、fa（虚警）等指标对训练好的网络进行评价。
6.根据权利要求1所述的一种基于视觉伺服的机械臂动态抓取方法，其特征在于，所述步骤s4，所述尺度自适应核相关滤波算法是在核相关滤波算法的基础上，融入...
【专利技术属性】
技术研发人员：沙建军，杜鑫，孙英贺，钟艺鹏，康静，
申请(专利权)人：青岛九维华盾科技研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。