一种基于深度学习目标检测的机械臂引导系统及方法技术方案

本发明专利技术涉及一种基于深度学习目标检测的机械臂引导系统及方法，通过深度视觉传感器和边缘计算AI开发套件组成视觉检测模块并结合多轴机械臂进行检测，将计算的点位传输给工控机，工控机通过modbus协议将点位发送给多轴机械臂，多轴机械臂根据指令以及点位作出相应的动作。本发明专利技术通过结合深度视觉传感器和边缘计算AI开发套件并使用深度学习目标检测的方法控制多轴机械臂，能够使多轴机械臂在无人干涉的情况下，精准快速实现检测、开箱、贴标和封样等自动化操作。等自动化操作。等自动化操作。

【技术实现步骤摘要】
一种基于深度学习目标检测的机械臂引导系统及方法


[0001]本专利技术属于深度学习领域，尤其是一种基于深度学习目标检测的机械臂引导系统及方法。

技术介绍

[0002]机器人手臂通常指一种可编程的，具有与人类手臂相似功能的机械臂；该臂可以是一个完整的机械装置，也可以是更复杂的机器人的一部分。这种机械手通过关节连接使其可以完成旋转运动(例如在关节机器人中)或平移(线性)运动。机械手通过各个关节的连接最终形成了一个运动链。机械手运动链的末端被称为末端执行器，它类似于人的手。
[0003]机械臂的控制效果影响了生产研究的精度与效率，传统技术中机械臂的控制为人为控制，人工操作机械臂进行动作，其精度较差，同时由于人的判断能力，导致机械臂在控制过程中效率低下。而目前深度学习领域较为火热，如何将深度学习于机械臂控制结合，提高机械臂的效率与精度成为困扰研究人员的难题。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的不足，提出一种基于深度学习目标检测的机械臂引导系统及方法，通过结合硬件深度视觉传感器，边缘计算AI开发套件和基于深度学习目标检测的算法控制多轴机械臂，能够在无人干涉的情况下，精准快速实现检测、开箱、贴标、封样等自动化操作。
[0005]本专利技术解决其技术问题是采取以下技术方案实现的：
[0006]一种基于深度学习目标检测的机械臂引导系统，包括多轴机械臂、深度视觉传感器、边缘计算AI开发套件、工控机和显示器，所述深度视觉传感器安装于多轴机械臂末端关节处，用于采集RGB数据和深度点云数据，边缘计算AI开发套件连接深度视觉传感器，用于实时处理深度视觉传感器采集的RGB图像数据和深度点云图像数据，通过目标识别算法，识别待检目标，计算对应位姿并将点位发送给工控机，工控机分别连接多轴机械臂、边缘计算AI开发套件和显示器，将计算得到的点位通过modbus协议发送给机械臂并方便人工控制、发布任务和实时监控。
[0007]一种基于深度学习目标检测的机械臂引导系统的引导方法，包括以下步骤：
[0008]步骤1、提取现场数据，利用深度学习目标检测方法对现场数据进行训练，提取数据特征并将训练好的模型部署在边缘计算AI开发套件上；
[0009]步骤2、在多轴机械臂上固定深度视觉传感器，通过控制机械臂变换不同位姿对高精度标定板进行拍照获取多组标定板位姿和相对应的多轴机械臂末端工件TCP点位，通过多组点位计算手眼标定矩阵；
[0010]步骤3、深度视觉传感器获取的实时图片并通过边缘计算AI开发套件处理，进行目标检测定位，将计算出的相机坐标系下的点位与对应的深度点位结合，通过手眼标定矩阵转换成多轴机械臂基坐标系；
[0011]步骤4、将转换的点位传输给工控机，工控机将点位通过modbus协议发送给多轴机械臂，并根据指令和点位作出相应的动作。
[0012]而且，所述步骤1的具体实现方法为：使用yolov5模型通过训练现场图片来识别箱体、卡扣、断路器、变压器以及相应的铭牌。
[0013]而且，所述现场图片的获取方法为：现场采集数据100张照片，标签包含断路器、变压器、两种不同铭牌以及需要覆盖的公司LOGO和公司名称，通过旋转和剪切数据增强方式将数据扩充至1000张。
[0014]而且，所述步骤2中通过控制机械臂变换不同位姿对高精度标定板进行拍照获取多组标定板位姿和相对应的多轴机械臂末端工件TCP点位的具体实现方法为：获取深度视觉传感器的相机内外参，移动多轴机械臂带动深度视觉传感器在不同的位置进行拍照，采集25张照片计算深度视觉传感器内参和外参，并记录对应的多轴机械臂末端TCP位姿。
[0015]而且，所述获取深度视觉传感器的相机内外参的具体实现方法为：将世界坐标系转换至相机坐标系，再将相机坐标系转换至图像坐标系，图像坐标系转换至像素坐标系，根据三维图像和二维图像的对应关系得到世界坐标系下的点位到像素坐标系的转换关系：
[0016][0017]其中，(X
w
，Y
w
，Z
w
)表示世界坐标系中3D点的坐标，(u，v)是以像素为单位的投影点坐标，s表示缩放因子，为[R|t]矩阵，表示刚体变换的外参矩阵，为相机矩阵K，表示相机内参，(c
x
，c
y
)表示图像中心点，f
x
，f
y
是以像素为单位表示的焦距。
[0018]而且，所述TCP位姿通过TCP标定方法获得：
[0019]步骤2.1、在机器人的工作空间内放置一个固定点；
[0020]步骤2.2、通过控制机器人的姿态，使TCP与空间内的固定点重合；
[0021]步骤2.3、重复上述步骤，改变机器人的姿态，使TCP移动到同一点；
[0022]步骤2.4、以重复步骤2.1和步骤2.2的TCP点在世界坐标系中坐标相等为条件来建立方程组并求解，实现工具坐标系位置的标定，并得到TCP位姿。
[0023]而且，所述步骤3通过手眼标定矩阵将物体坐标系转换成多轴机械臂基坐标系包括以下步骤：
[0024]步骤2.5、获取深度视觉传感器外参其中深度视觉传感器外参为物体t坐标系到相机c坐标系的齐次变换：
[0025][0026]其中，(X
t
，Y
t
，Z
t
)为物体坐标系，(X
c
，Y
c
，Z
c
)为相机坐标系，为物体坐标系到相机坐标系的旋转变换，为物体坐标系到相机坐标系的平移变换；
[0027]步骤2.6、从多轴机械臂控制器中读取对应的多轴机械臂坐标末端姿态描述数据，得到姿态矩阵；其中多轴机械臂系统的坐标末端姿态描述数据包括2种形式：平移向量+欧拉角：x，y，z，r
z
，r
y
，r
z
，此方式需要知道转换关系；平移向量+四元数模式：x，y，z，q
w
，q
x
，q
y
，q
z
，此方式有唯一转换：
[0028][0029][0030]其中，为机械臂末端工件坐标系到机械臂基座标系的旋转变换，为机械臂末端工件坐标系到机械臂基座标系的平移变换，工件g坐标系与机械臂基底b坐标系的齐次变换矩阵
[0031][0032]其中，(X
b
，Y
b
，Z
b
)为机械臂基底坐标系，(X
g
，Y
g
，Z
g
)为机械臂末端工件坐标系)；
[0033]步骤2.7、根据步骤2.5和步骤2.6求解手眼标定矩阵为相机c坐标系到机械臂工件末端g坐标系齐次变换矩阵：
[0034][0035]为相机坐标系到机械臂末端工件坐标系旋转变换，为相机坐标系到机械臂末端工件坐标系平移变换，通过AX＝XB多组方程求解手眼标定矩阵
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习目标检测的机械臂引导系统，其特征在于：包括多轴机械臂、深度视觉传感器、边缘计算AI开发套件、工控机和显示器，所述深度视觉传感器安装于多轴机械臂末端关节处，用于采集RGB数据和深度点云数据，边缘计算AI开发套件连接深度视觉传感器，用于实时处理深度视觉传感器采集的RGB图像数据和深度点云图像数据，通过目标识别算法，识别待检目标，计算对应位姿并将点位发送给工控机，工控机分别连接多轴机械臂、边缘计算AI开发套件和显示器，将计算得到的点位通过modbus协议发送给机械臂并方便人工控制、发布任务和实时监控。2.一种如权利要求1所述的基于深度学习目标检测的机械臂引导系统的引导方法，其特征在于：包括以下步骤：步骤1、提取现场数据，利用深度学习目标检测方法对现场数据进行训练，提取数据特征并将训练好的模型部署在边缘计算AI开发套件上；步骤2、在多轴机械臂上固定深度视觉传感器，通过控制机械臂变换不同位姿对高精度标定板进行拍照获取多组标定板位姿和相对应的多轴机械臂末端工件TCP点位，通过多组点位计算手眼标定矩阵；步骤3、深度视觉传感器获取的实时图片并通过边缘计算AI开发套件处理，进行目标检测定位，将计算出的相机坐标系下的点位与对应的深度点位结合，通过手眼标定矩阵转换成多轴机械臂基坐标系；步骤4、将转换的点位传输给工控机，工控机将点位通过modbus协议发送给多轴机械臂，并根据指令和点位作出相应的动作。3.根据权利要求2所述的一种基于深度学习目标检测的机械臂引导系统的引导方法，其特征在于：所述步骤1的具体实现方法为：使用yolov5模型通过训练现场图片来识别箱体、卡扣、断路器、变压器以及相应的铭牌。4.根据权利要求3所述的一种基于深度学习目标检测的机械臂引导系统的引导方法，其特征在于：所述现场图片的获取方法为：现场采集数据100张照片，标签包含断路器、变压器、两种不同铭牌以及需要覆盖的公司LOGO和公司名称，通过旋转和剪切数据增强方式将数据扩充至1000张。5.根据权利要求2所述的一种基于深度学习目标检测的机械臂引导系统的引导方法，其特征在于：所述步骤2中通过控制机械臂变换不同位姿对高精度标定板进行拍照获取多组标定板位姿和相对应的多轴机械臂末端工件TCP点位的具体实现方法为：获取深度视觉传感器的相机内外参，移动多轴机械臂带动深度视觉传感器在不同的位置进行拍照，采集25张照片计算深度视觉传感器内参和外参，并记录对应的多轴机械臂末端TCP位姿。6.根据权利要求5所述的一种基于深度学习目标检测的机械臂引导系统的引导方法，其特征在于：所述获取深度视觉传感器的相机内外参的具体实现方法为：将世界坐标系转换至相机坐标系，再将相机坐标系转换至图像坐标系，图像坐标系转换至像素坐标系，根据三维图像和二维图像的对应关系得到世界坐标系下的点位到像素坐标系的转换关系：
其中，(X
w
，Y
w
，Z
w
)表示世界坐标系中3D点的坐标，(u，v)是以像素为单位的投影点坐标，s表示缩放因子，为[R|t]矩阵，表示刚体变换的外参矩阵，为相机矩阵K，表示相机内参，(c
x
，c
y
)表示图像中心点，f
x
，f
y
是以像素为单位表示的焦距。7.根据权利要求5所述的一种基于深度学习目标检测的机械臂引导系统的引导方法，其特征在于：所述TCP位姿通过TCP标定方法获得：步骤2.1、在机器人的工作空间内放置一个固定点；步骤2.2、通过控制机...

【专利技术属性】
技术研发人员：高强伟，刘超，黄旭，邓欣宇，赵风松，王继革，赵长伟，刘伟，骈瑞珺，刘倞，杨国朝，李广敏，王小璇，陆杨，陈静，王晶，王治博，
申请(专利权)人：国家电网有限公司国网天津市电力公司城东供电分公司，
类型：发明
国别省市：