【技术实现步骤摘要】
本专利技术涉及矿山机械设备自动化，特别涉及一种基于多传感器融合的矿用抓管机管路抓取方法。
技术介绍
1、在矿山作业中，管路的抓取与搬运是一项重要而复杂的任务。传统方法往往依赖于人工操作，不仅效率低下，还存在安全隐患。随着传感器技术和自动化控制技术的发展，实现管路的自动化抓取成为可能。然而，如何准确、高效地实现管路的定位与抓取，仍是当前急待解决的问题。因此，研发一种能够融合多种传感器数据，精确判断管路位置、姿态及周围环境信息的矿用抓管机管路抓取方法显得尤为重要。
技术实现思路
1、针对上述问题，本专利技术的目的在于提出一种基于多传感器融合的矿用抓管机管路抓取方法，以解决现有的煤矿井下管路抓取搬运主要依赖于人工操作，非常耗时且存在人身安全的问题。
2、为了解决上述问题，本专利技术是这样实现的：
3、一种基于多传感器融合的矿用抓管机管路抓取方法，使用矿用抓管机器人对管路进行抓取，所述矿用抓管机器人包括机械臂、控制单元及驱动机械臂动作的驱动单元，机械臂末端装设有深度相机，管路抓取方法包括以下步骤：
4、s1.模型配置：导出矿用抓管机器人的urdf模型，并通过moveit配置助手生成配置文件，完善配置文件以控制矿用抓管机器人的机械臂；
5、s2.手眼标定：求解深度相机坐标系与机械臂坐标系之间的转换关系，tf发布坐标变换；
6、s3.粗定位：获取巷道内的点云数据，利用ransac算法分割点云数据，通过体素降采样及统计滤波滤除噪点后提取
7、s4.精定位：驱动单元移动机械臂至初始位姿，采用ros驱动深度相机获取管路的rgb图像和深度图，基于yolov8目标分割定位方法，精确识别管路抓取点的位姿，根据步骤s2中的坐标变换关系将其从相机坐标系转换至机械臂坐标系；
8、s5.路径规划：根据步骤s4中机械臂的状态和管路抓取点的位姿，利用moveit生成高效的运动轨迹，通过插值方式拟合出一条平滑的轨迹曲线，并发布轨迹路径形成ros话题信息；
9、s6.运动控制：驱动单元接收moveit的ros话题信息，ros话题信息包括各轴位置和速度，驱动单元同时接收机械臂上的编码器反馈信息并转换成joint_state话题，发送回moveit以实现闭环控制；
10、s7.抓取操作：驱动单元控制机械臂按步骤s5规划的轨迹路径移动至管路位置，当到达最后一个路点，关闭夹爪并利用压力传感器检测压力值，达到阈值后完成抓取。
11、进一步的，在步骤s2中，进行手眼标定，深度相机装设于机械臂末端且其坐标系随机械臂运动，标定板固定不动，通过坐标变换确定深度相机与机械臂之间的坐标关系。
12、进一步的，在步骤s2中的计算方法为：
13、
14、式中，表示第一次标定的机械臂末端坐标系至机械臂基座坐标系之间的位姿变换矩阵，表示第二次标定的机械臂末端坐标系至机械臂基座坐标系之间的位姿变换矩阵，表示第一次标定的相机坐标系至第一次标定的机械臂末端坐标系之间的位姿变换矩阵，表示第二次标定的相机坐标系至第二次标定的机械臂末端坐标系之间的位姿变换矩阵，表示标定板坐标系至第一次标定的相机坐标系之间的位姿变换矩阵，表示标定板坐标系至第二次标定的相机坐标系之间的位姿变换矩阵；
15、对公示推导可得：
16、
17、由于相机坐标系和机械臂末端坐标系之间不会发生变化可得：
18、
19、整理公式可得：
20、ax＝xb
21、其中，a表示机械臂基座与其机械臂末端进行两次移动的位姿变换的乘积结果，该矩阵是通过机械臂末端在两次不同位置对机械臂基座进行观测时，所得位姿变换的乘积结果，不仅涵盖了机械臂末端相对于机械臂基座的空间位置信息，还精确描述了其方向特性；x表示相机坐标系到机械臂末端坐标系之间的位姿变换矩阵，此矩阵是连接机械臂末端坐标系与相机坐标系的关键桥梁，详细描述了深度相机在机械臂末端坐标系中的确切位置与朝向；b表示深度相机与标定板进行两次移动的位姿变换的乘积结果，该矩阵是通过相机在两次不同位置对标定板进行观测时，所得位姿变换的乘积结果。
22、进一步的，步骤s3中体素降采样方法，旨在有效降低点云数据量，同时确保整体结构特征得以保留，首先，对通过激光雷达获取的点云数据进行空间划分，构建出一个精细的网格结构，其中每个网格单元被称为体素，这些体素紧密排列，形成了一种三维空间中的立方体阵列，通过计算每个小立方体内所有点的重心位置来代表该体素的特征点，计算公式为：
23、
24、其中，pc为立方体所有点重心坐标，pi为立方体中点的坐标值，nt为立方体中点个数，首先，根据每个小立方体内点的分布计算其重心位置；然后，遍历所有小立方体，在各自的重心处放置一个新的采样点，从而构建降采样后的点云；对于无点的小立方体，则保持其空置状态，以确保降采样后的点云能准确反映原始点云的分布特征。
25、进一步的，步骤s3中统计滤波的原理基于高斯分布的假设，其中对于空间点云集po int cloud＝{a1,a2,a3...,an},点ai(i＝1,2,3…,n)的k邻域为空间上距离ai最近的k个点am(m＝1,2,3...,k)，定义ai坐标为(xi,yi,zi)，am坐标为(xm,ym,zm)，那么am到ai的距离为：
26、
27、这k个点到ai的平均距离d为：
28、
29、假设ai到这k个邻域点am的平均距离d符合高斯分布，则期望值μ与标准差σ分别为：
30、
31、设距离阈值θ＝μ+σ·s，其中s为指定的标准差倍数，对距离阈值θ进行去噪处理，当θ＜d时，去除该点，当θ＞d时，保留该点。
32、进一步的，步骤s3中ransac的平面分割方法，在每次迭代中，随机选择足够数量的点作为候选局内点，然后使用这些点来拟合一个平面模型，平面方程通常可以表示为:
33、ax+by+cz+d＝0
34、式中，a、b、c和d是平面方程的系数，根据拟合的平面模型，计算所有点到该平面的距离，并根据设定的阈值来判断哪些点是局内点，如果点到平面的距离小于阈值，则认为该点属于该平面，重复上述过程多次，每次迭代都会得到一个新的平面模型和一组局内点，最终，保留具有最多局内点的平面模型作为最优结果。
35、进一步的，在步骤s4中，进行精定位，通过yolov8目标分割定位获得二值化掩膜图像，可以确定目标在rgb图像上像素点的坐标，同时像素点坐标对应的深度值从对齐的深度图中获得，再结合相机中央透射模型，计算出rgb图像中的目标像素点对应的3d坐标(x,y,z)，计算公式为：
36、
37、式中，cx、cy、fx、fy为rgb相机内部参数，u本文档来自技高网...
【技术保护点】
1.一种基于多传感器融合的矿用抓管机管路抓取方法，其特征在于，使用矿用抓管机器人对管路进行抓取，所述矿用抓管机器人包括机械臂、控制单元及驱动机械臂动作的驱动单元，机械臂末端装设有深度相机，管路抓取方法包括以下步骤：
2.根据权利要求1所述的基于多传感器融合的矿用抓管机管路抓取方法，其特征在于，在步骤S2中，进行手眼标定，深度相机装设于机械臂末端且其坐标系随机械臂运动，标定板固定不动，通过坐标变换确定深度相机与机械臂之间的坐标关系。
3.根据权利要求2所述的基于多传感器融合的矿用抓管机管路抓取方法，其特征在于，在步骤S2中的计算方法为：
4.根据权利要求1所述的基于多传感器融合的矿用抓管机管路抓取方法，其特征在于，步骤S3中体素降采样方法，旨在有效降低点云数据量，同时确保整体结构特征得以保留，首先，对通过激光雷达获取的点云数据进行空间划分，构建出一个精细的网格结构，其中每个网格单元被称为体素，这些体素紧密排列，形成了一种三维空间中的立方体阵列，通过计算每个小立方体内所有点的重心位置来代表该体素的特征点，计算公式为：
5.根据权利要求1
6.根据权利要求1所述的基于多传感器融合的矿用抓管机管路抓取方法，其特征在于，步骤S3中RANSAC的平面分割方法，在每次迭代中，随机选择足够数量的点作为候选局内点，然后使用这些点来拟合一个平面模型，平面方程通常可以表示为:
7.根据权利要求1所述的基于多传感器融合的矿用抓管机管路抓取方法，其特征在于，在步骤S4中，进行精定位，通过YOLOv8目标分割定位获得二值化掩膜图像，可以确定目标在RGB图像上像素点的坐标，同时像素点坐标对应的深度值从对齐的深度图中获得，再结合相机中央透射模型，计算出RGB图像中的目标像素点对应的3D坐标(X,Y,Z)，计算公式为：
8.根据权利要求1所述的基于多传感器融合的矿用抓管机管路抓取方法，其特征在于，在步骤S7抓取操作中，压力传感器用于检测机械臂上的夹爪对管路的压力值,通过测量压力传感器的输出信号来实现的，该输出信号与压力值成一定的比例关系，计算公式为：
9.根据权利要求1所述的基于多传感器融合的矿用抓管机管路抓取方法，其特征在于，步骤S1中使用SolidWorks导出矿用抓管机器人的URDF模型。
...【技术特征摘要】
1.一种基于多传感器融合的矿用抓管机管路抓取方法，其特征在于，使用矿用抓管机器人对管路进行抓取，所述矿用抓管机器人包括机械臂、控制单元及驱动机械臂动作的驱动单元，机械臂末端装设有深度相机，管路抓取方法包括以下步骤：
2.根据权利要求1所述的基于多传感器融合的矿用抓管机管路抓取方法，其特征在于，在步骤s2中，进行手眼标定，深度相机装设于机械臂末端且其坐标系随机械臂运动，标定板固定不动，通过坐标变换确定深度相机与机械臂之间的坐标关系。
3.根据权利要求2所述的基于多传感器融合的矿用抓管机管路抓取方法，其特征在于，在步骤s2中的计算方法为：
4.根据权利要求1所述的基于多传感器融合的矿用抓管机管路抓取方法，其特征在于，步骤s3中体素降采样方法，旨在有效降低点云数据量，同时确保整体结构特征得以保留，首先，对通过激光雷达获取的点云数据进行空间划分，构建出一个精细的网格结构，其中每个网格单元被称为体素，这些体素紧密排列，形成了一种三维空间中的立方体阵列，通过计算每个小立方体内所有点的重心位置来代表该体素的特征点，计算公式为：
5.根据权利要求1所述的基于多传感器融合的矿用抓管机管路抓取方法，其特征在于，步骤s3中统计滤波的原理基于高斯分布的假设，其中对于空间点云集point cloud＝{a1,a2,a3...,an},点ai(...
【专利技术属性】
技术研发人员：王永利，裴文良，申龙，单浩然，孙宁，李雪松，杨贵翔，
申请(专利权)人：中信重工开诚智能装备有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。