【技术实现步骤摘要】
本专利技术属于计算机视觉领域，尤其涉及一种基于深度学习的油田机械臂抓取3d视觉引导系统。
技术介绍
1、在当今的油田生产作业中，对机械臂抓取操作的精度、效率和智能化水平同样提出了越来越高的要求。传统的油田机械臂抓取方法通常依赖于预设程序和固定参数，在面对复杂多变的油田工作环境和多样化的设备及工件特征时，往往力不从心。在实际的油田作业中，由于钻杆的形状、大小、位置和姿态存在不确定性，机械臂可能无法准确抓取目标钻杆，进而导致生产效率低下、作业质量不稳定甚至操作失败。
2、随着 3d 视觉技术的不断发展，其能够为油田机械臂提供丰富的空间信息，为解决机械臂抓取难题带来了新的机遇。然而，将 3d 视觉技术与油田机械臂抓取系统有效地融合并非易事，需要解决数据采集、处理、传输以及与机械臂控制系统的协同等一系列技术问题。
3、此外，在油田自动化和智能生产的大趋势下，提高生产线上的自动化程度和智能化水平成为关键。机械臂作为重要的执行机构，其抓取性能的提升对于整个油田生产流程的优化和升级具有重要意义。
4、综上所述，为了满足油田领域对机械臂抓取操作更高的要求，实现更高效、智能和精准的抓取，开发一种基于深度学习的油田机械臂抓取3d视觉引导系统成为了当前技术研究的热点和迫切需求。
技术实现思路
1、本专利技术的目的是在于实现油田机械臂对钻杆的智能化、高效化和精准化抓取，以满足油田自动化和智能生产领域的多样化需求。通过引入 3d 视觉引导技术，系统能够实时感知和识别油田环
2、为了实现上述目的，本专利技术采用下述技术方案：
3、该系统装载有运动控制系统的油田机械臂以及与其通信连接的数据采集模块、数据处理模块、初始化标定模块、目标检测模块和抓取检测模块。
4、（1）初运行该系统装置或者该系统装置发生移动时需运行初始化标定模块，获得所需参数进行初始化；
5、（2）数据采集模块采集数据，并将其预处理好之后发送到数据处理模块；
6、（3）数据处理模块将数据采集模块传输过来的图像进行实时计算，确保要抓取的钻杆处于静止状态后再将数据采集模块所采集到的图像数据和点云数据传输到目标检测模块；
7、（4）目标检测模块确定感兴趣物体的位置、方向和大致范围，将其作为初始姿态估计结果和约束条件传入抓取检测模块；
8、（5）抓取检测模块对钻杆姿态进行估计，将得到的结果传入油田机械臂的运动控制系统；
9、（6）装载有运动控制系统的油田机械臂根据所传输进来的信息控制其进行抓取操作。
10、本专利技术进一步的改进在于，步骤(1)的具体实现步骤为：
11、（101）初始化模块中包含两部分，即相机标定和手眼标定，当系统初次运行或发生移动等情况时，运行初始化标定模块，获取必要的参数进行初始化，如摄像头内外参数、油田机械臂末端执行器的姿态（位姿）与相机坐标系之间的转换关系等。
12、本专利技术进一步的改进在于，步骤(2)的具体实现步骤为：
13、（201） 利用高清晰度的3d视觉相机，实时捕获场景中的深度图像和彩色图像；
14、（202）通过深度图像处理技术，将深度图像转换为点云数据，其中每个点包含了在三维空间中的位置信息和对应的颜色信息；
15、（203） 对采集到的彩色图像进行预处理，去除噪声和不必要的背景信息，提高图像质量；
16、（204）将处理后的图像和点云数据打包，并实时传输到数据处理模块进行后续处理。
17、本专利技术进一步的改进在于，步骤(3)的具体实现步骤为：
18、（301）数据采集模块采用的是rgb相机和激光雷达或者rgbd相机；
19、（302）数据处理模块对输入的多张连续彩色图像采用背景差分法来判断待抓取钻杆是否保持静止。
20、本专利技术进一步的改进在于，步骤(4)的具体实现步骤包括：
21、（401）目标检测模块将对输入进来的多模态数据进行3d目标检测；
22、（402）3d目标检测主要包括异构特征对齐问题和多模态数据融合问题；
23、（403）对rgb数据和点云数据分别进行图像特征提取和体素特征提取；
24、（404）使用3d-2dcoordinate projection，将体素特征映射到相应的图像特征，获得对应图像特征索引，3d-2dcoordinate projection的具体公式如下：
25、（405）；
26、（406）rc是相机校正旋转矩阵和标定矩阵的组合，是相机投影矩阵，vi是体素特征中心，ri是相应的图像特征索引；
27、（407）找到对应索引像素特征，通过索引平移有效距离地获得相邻像素特征，在像素查询中利用曼哈顿距离，在距离阈值内采样k个像素；
28、（408）将这k个像素与使用交叉注意力机制来动态捕获两种模态之间的相关性，并实现后续融合。
29、（409）将融合后的特征输入到3d backbone中进一步处理分析，然后进行预测。
30、本专利技术进一步的改进在于，步骤(5)的具体实现步骤为：
31、（501）抓取检测模块将3d目标检测结果作为钻杆的初始姿态和约束条件，对融合特征进行姿态细化。
32、（502）利用icp算法，将点云数据与预设的物体模型进行匹配，通过迭代优化不断调整物体姿态假设；
33、（503）当匹配误差达到预设的阈值或迭代次数达到最大值时，停止迭代，并输出最终的钻杆姿态估计结果；
34、（504）将最终的钻杆姿态估计结果如钻杆的空间坐标（x, y, z)、旋转角度（θx,θy, θz）、抓夹宽度w、置信度得分c等传输到油田机械臂的运动控制系统，以指导油田机械臂进行精确的抓取操作。
35、本专利技术至少具有如下有益的技术效果：
36、首先，本专利技术提供了一种全新的解决方案，有效解决了传统技术中存在的问题和局限性。通过创新的设计理念和先进的技术手段，本专利技术不仅优化了操作流程，提高了工作效率，而且显著降低了能源消耗，减少了环境负担。
37、其次，本专利技术的实施过程简单易懂，易于操作和维护。其采用的模块化设计使得各个部分的功能明确，便于用户快速掌握和使用。同时，本专利技术还具备高度的可扩展性和可定制性，可以根据用户的实际需求进行灵活调整，满足不同场景下的应用需求。
38、此外，本专利技术还具备高度的安全性和稳定性。通过严格的质量控制和安全测试，确保本专利技术在各种复杂环境下都能稳定运行，并有效保护用户的数据安全。这种安全性和稳定性对于企业和个人用户来说都至关重要，能够避免因系统崩溃或数据泄露而造成的重大损失。
39、最后，本专利技术的应用前景广阔。随着科技的不断发展和社会的不断进步，人们对于高效、本文档来自技高网...
【技术保护点】
1.基于深度学习的油田机械臂抓取3D视觉引导系统，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于深度学习的油田机械臂抓取3D视觉引导系统，其特征在于，所述初始化标定模块包括以下步骤：
3.根据权利要求1所述的基于深度学习的油田机械臂抓取3D视觉引导系统，其特征在于，所述数据采集模块通过以下方式采集图像和点云数据：
4.根据权利要求1所述的基于深度学习的油田机械臂抓取3D视觉引导系统，其特征在于，所述数据处理模块包括以下步骤：
5.根据权利要求1所述的基于深度学习的油田机械臂抓取3D视觉引导系统，其特征在于，所述目标检测模块采用深度学习算法进行目标识别与定位：
6.根据权利要求1所述的基于深度学习的油田机械臂抓取3D视觉引导系统，其特征在于，所述抓取检测模块采用迭代最近点（ICP）算法对物体姿态进行估计：
【技术特征摘要】
1.基于深度学习的油田机械臂抓取3d视觉引导系统，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于深度学习的油田机械臂抓取3d视觉引导系统，其特征在于，所述初始化标定模块包括以下步骤：
3.根据权利要求1所述的基于深度学习的油田机械臂抓取3d视觉引导系统，其特征在于，所述数据采集模块通过以下方式采集图像和点云数据：
4.根据权利要求1所述的基于深...
【专利技术属性】
技术研发人员：钟敏，朱晓凤，傅子阳，陈冠宇，
申请(专利权)人：中国石油大学华东，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。