【技术实现步骤摘要】
本专利技术属于机器人技术和机器视觉领域，尤其涉及视觉识别、视觉定位以及视觉伺服等技术，具体为一种基于视觉主动导引的加工刀具自动送检机器人。
技术介绍
1、随着我国不断发展，航空航天领域作为科技创新的前沿阵地愈发重要，大型飞机、战略武器等高端装备处于产业链核心环节，是大国间经济和国防竞争的主战场和制高点。航空航天领域所需的零件通常具有复杂几何形状、大型薄壁结构和微小精密组件。上述复杂零件的加工不仅要求极高的精度，还需要应对材料硬度高、加工路径复杂等一系列挑战。而加工刀具的工作状态直接影响零件的加工质量，因此，针对加工刀具的全生命周期管理是保证加工刀具健康工作状态的关键。
2、在刀具全生命周期管理过程中，需在加工前后均对刀具的几何参数、磨损状态进行测量。目前，人工刀具送检存在效率低、流程不规范的问题，严重拖缓生产节拍。为提高检测效率和智能化程度，基于移动机器人的刀具自动化送检技术成为智能制造的热门研究方向。
3、“加工刀具的视觉检测管理系统及方法”(专利号cn201810906007.8)能够获取每个刀具在每次出库离开刀具载板和入库安置于刀具载板上的时间间隔，并将该时间间隔的数值存入每个刀具对应的管理记录信息中；利用视觉检测识别对应刀具的身份识别码，并获取该对应刀具的管理记录信息；最后实现预测刀具寿命范围，但上述技术没有考虑加工刀具从加工场所至检测设备的送检流程自动化。
技术实现思路
1、本专利技术要解决的技术难题是针对加工现场中刀具的使用工位与检测工位分离，依
2、本专利技术的技术方案如下：
3、一种基于视觉主动导引的加工刀具自动送检机器人，制作高质量加工刀具图像数据集，训练基于yolo算法的刀具识别深度学习模型，并通过双目相机完成待测加工刀具的自主识别与实时空间定位；通过结合agv小车的随位夹取机器人送检路径规划，实现加工刀具的自动送检。具体步骤如下：
4、第一步，设计搭建视觉主动导引的加工刀具自动送检机器人；
5、搭建加工刀具自动送检机器人，包括agv小车1、工控机2、5g传输模组3、电动夹爪4、末端夹具5、双目相机6以及机械臂7；双目相机6与电动夹爪4通过机械连接固连在末端夹具5上，再由末端夹具5与机械臂7的末端相连，双目相机6通过usb连接在工控机2上，电动夹爪4通过机械臂7的i/o进行控制，机械臂7与工控机2通过5g tcp/ip方式进行无线通讯，形成视觉导引与夹取单元；机械臂7的基座与agv小车1机械固连，agv小车1与工控机1通过5gtcp/ip方式进行远程通讯，组成送检系统；
6、送检过程中，视觉导引与夹取单元随agv小车1移动；夹取过程中，双目相机6与电动夹爪4随机械臂7移动；送检指令发出后，agv小车1自动移动至夹取目标区域，再由双目相机6识别待测刀具并返回其空间位置至工控机2，工控机2将该空间位置由相机坐标系转换至机械臂基座坐标系，并控制机械臂7运动使电动夹爪4到达夹取位置，电动夹爪4确认夹紧后返回信号至工控机2，工控机2控制agv小车1运动至放置目标区域，完成刀具实时自主识别、在位空间感知与自动夹取送检过程；
7、第二步，构建基于深度学习的复杂结构刀具识别模型；
8、采集1500张高质量图像的数据集，数据集满足以下条件：(1)为保证数据集图像分辨率多样性，分别采集720p、1080p、2k、4k四种分辨率图像；(2)为保证数据集图像视角多样性，以2°为梯度，以水平视角为基准，图像采集范围从俯视45°到仰视45°；(3)为保证距离的多样性，以0.1m为梯度，以0.2m为基准，图像采集范围从0.2m到4m；数据集中分辨率为720p的图像比例为21％，分辨率为1080p的图像比例为27％，分辨率为2k的图像比例为27％，分辨率为4k的图像比例为25％，各角度梯度以及距离梯度图像数量均相等，最后采用labelimg插件将图像中的刀具及刀柄类型进行标记与分类；按照3：1：1的比例将采集的图像以及标记信息分为训练集、测试集以及验证集，其中训练集需保证其涵盖最大的样本量且具有多样性，验证集和测试集需保证其图像背景复杂、识别难度较大；
9、为保证刀具识别模型实时、准确的识别表现，在cuda 12.1环境下采用yolo v8x预训练模型对数据集进行深度学习训练，通过设置预训练的训练次数(epochs)、每个批次处理图像数量(batch)、工作线程数(workers)等训练参数，平衡识别效果与训练时间，获得刀具识别模型；训练完成后生成“best.pt”和“last.pt”两个刀具识别模型的权重文件，后者为在模型训练过程中最后一个保存的文件，其用于从上一次训练的断点继续训练，或用于刀具识别模型的推理和评估；前者为在训练集或测试集上表现最好的模型权重文件，其用于后续的视觉识别，输入待识别图像，其将对图像以网格形式划分，通过概率计算输出识别到的刀柄、刀具的中心位置，并给出当前预测结果的置信度水平：
10、
11、其中，class表示分类结果，i为类别，object为检测到的物体，truth为真值，pred为预测值，iou为预测结果与真值间的重合度水平；p(classi|object)为目标物体属于某个特定类别的概率；p(object)为目标物体出现在图像中的概率，具体表示为模型检测到某个区域内存在物体的置信度；p(classi)为特定类别出现在图像中的概率；
12、第三步，构建基于双目视觉的目标刀具空间位置感知与刀具准确夹取算法；
13、在搭建的加工刀具自动送检机器人中，双目相机6是主要视觉信息感知元件，其由左、右两个具有不同视角的相机构成，两坐标系间相对关系如下：
14、
15、其中，xr、yr、zr为物体在右相机坐标系中的坐标，x、y、z为物体在左相机坐标系中的位置，ri分别表示左相机坐标系映射到右相机坐标系的各轴方向，ti左相机坐标系在右相机坐标系各轴的平移量，矩阵r和矩阵t分别是表示左镜头坐标系o-xyz和右相机坐标系or-xryrzr之间的变换关系的旋转矩阵和平移向量，通过相机标定过程直接获得；
16、识别过程中，双目相机6同时采集图像，通过刀具识别模型分别获得两组图像刀具、刀柄的像素空间位置，通过相机标定结果与两组图像视差对比，再通过光三角法进一步解算目标刀具在相机坐标系下的真实三维坐标(xcam，ycam，zcam)：
17、
18、其中，x、y为物体在左相机图像平面中的像素坐标，z为物体在左相机坐标系中的深度，fl、fr分别表示左右相机的焦距，xl、yl为物体在左相机坐标系中的坐标，xr、yr为物体在右相机坐标系中的本文档来自技高网...
【技术保护点】
1.一种基于视觉主动导引的加工刀具自动送检机器人，其特征在于，步骤如下：
【技术特征摘要】
1.一种基于视觉主动导引的加工刀具自...
【专利技术属性】
技术研发人员：逯永康，刘洋，王珂，张洋，刘巍，贾振元，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。