本发明专利技术公开一种基于双目视觉的水下机器人自主巡检系统，该系统通过多传感器融合、深度学习、路径优化和精确控制技术，显著提升了水下机器人在复杂环境中的自主巡检能力，实现了高精度定位、深度信息提取、平滑路径规划，为水下结构物的健康监测与维护提供了创新的技术解决方案。
【技术实现步骤摘要】
本专利技术属于水下机器人及其巡检，具体涉及一种基于双目视觉的水下机器人自主巡检系统。
技术介绍
1、随着全球海洋资源的开发与利用，水下结构物在海洋工程中的重要性日益突出，桥墩、海上风电平台、海洋石油平台以及海底电缆等基础设施的建设与维护是海洋工程的关键任务，传统的水下巡检方法主要依赖人工潜水员或遥控水下机器人（rov）。
2、人工潜水员进行水下巡检，存在诸多显著弊端。首先，作业成本居高不下，不仅要为潜水员配备专业且昂贵的潜水装备，如高性能的潜水服、精准的深度计以及可靠的通信设备等，还需安排专业的保障团队，涵盖水面监护人员、设备维护人员等，这无疑大幅增加了人力和物力成本。
3、同时，潜水作业面临着极高的危险性。水下环境复杂多变，随时可能遭遇暗流、漩涡，稍有不慎就会被水流裹挟，危及生命安全。而且，潜水员还面临减压病等健康风险，每一次下潜都像是在与危险博弈。
4、不仅如此，作业还受到水深、水流、光照等因素的极大限制。随着水深增加，水压剧增，对潜水员身体承受力考验巨大；湍急的水流会干扰潜水员行动，使其难以稳定在目标位置作业；而在深海区域或极端环境下，光照微弱甚至近乎黑暗，严重影响潜水员视线，导致难以准确观测和判断水下情况。因此，人工潜水员难以在深海或极端环境中长期、高效地开展巡检工作 。
5、而rov的使用尽管能在一定程度上解决人工巡检的局限性，但其操作仍需依赖人工操控，且存在作业深度和通信带宽等限制，尤其在复杂水质条件下，rov系统的图像识别和定位精度往往无法满足高精度巡检需求。
6、此外，水下环境的特殊性，如低光照、强水流、高浑浊度等，对现有视觉处理系统提出了严峻挑战。水下图像由于光的散射和吸收，通常呈现出低对比度、模糊、失真等特征，导致单目视觉系统难以准确获取有效的深度信息和目标识别结果。尽管多目视觉或其他传感器可以部分弥补这一不足，但其精度和实时性依然受到复杂环境条件的影响。
7、与此同时，水下机器人的定位与导航面临的难题亦不容忽视，水下环境的动态变化导致传统的定位算法在误差积累和漂移方面存在较大挑战，且常规定位传感器由于物理特性限制（如gps）在水下环境中无法使用，这对水下机器人实现高精度自主巡检形成了技术瓶颈。
8、尤其在复杂水下环境下，机器人需要具备足够的自主性来完成任务，而这通常依赖于对机器人运动轨迹的精确规划与控制。因此，如何通过多传感器融合、图像处理与智能控制技术，实现水下机器人在复杂环境中的高精度定位、深度信息提取、路径规划与自主巡检，已成为水下机器人领域的技术热点和研究难点。
技术实现思路
1、本专利技术提供了一种基于双目视觉的水下机器人自主巡检系统，该系统能够实现水下机器人在复杂环境中的高精度定位、深度信息提取、路径规划与自主巡检。
2、本专利技术提供了一种基于双目视觉的水下机器人自主巡检系统，包括：
3、定位模块，包括前端跟踪单元和后端优化单元，所述前端跟踪单元用于通过imu获得预测初始位姿，通过lk光流法对相机左图像进行特征点跟踪，然后通过pnp算法得到当前帧视觉位姿，通过当前帧视觉位姿校正预测初始位姿得到关键帧，通过关键帧和相机右图像进行双目三角化得到的地图点，以及关键帧与其前后帧进行双目三角化得到的地图点构建滑动窗口的局部地图，所述后端优化单元用于对滑动窗口内的关键帧及其对应的地图点和相机位姿进行优化得到实际位姿和速度；
4、感知模块，用于通过yolov8方法对相机左图像进行语义分割实现目标物识别，利用立体匹配算法将相机左图像和相机右图像进行匹配得到深度图，基于深度图和识别的目标物得到目标的深度信息，基于目标的深度信息通过相机内参得到局部点云数据，基于局部点云数据计算点云法向量和局部表面曲率，基于局部表面曲率得到目标物的几何特征，基于目标物的几何特征构建目标物的局部3d特征；
5、规划模块，用于通过深度计与超短基线系统估计初始搜寻轨迹，基于实际位姿和目标物的局部3d特征筛选出轨迹控制点并进行各段轨迹的耗时分配，通过minimum snap算法基于轨迹控制点和各段轨迹消耗的时间对初始搜寻轨迹进行优化得到目标位姿和目标速度；
6、控制模块，用于通过实际位姿和速度和对应的目标位姿和目标速度构建姿态、位置和速度误差，基于姿态误差采用滑模控制方法控制自主巡航系统的姿态，基于位置和速度误差采用双环控制结构控制自主巡航系统的位置和速度，从而实现自主巡航系统对水下结构物的自主巡航。
7、优选地，所述感知模块包括目标识别、目标提取和特征计算；
8、其中，所述目标识别用于采用yolov8模型对相机左图像进行实时语义分割和目标检测，以便于识别目标物的类别和位置；
9、所述目标提取用于基于相机左图像和相机右图像通过立体匹配算法计算出每个像素点的深度信息，从而得到深度图，通过深度图和识别的目标物的类别和位置得到目标物的深度；
10、所述特征计算用于基于目标物的深度信息通过相机内参得到局部点云数据，基于局部点云数据通过最小二乘法拟合计算点云法向量，通过点云法向量计算得到局部表面曲率，基于局部表面曲率得到目标物的几何特征，基于目标物的几何特征构建目标物的局部3d特征。
11、优选地，所述目标提取用于基于相机左图像和相机右图像通过立体匹配算法计算出每个像素点的深度信息，包括：
12、将相机左图像和相机右图像进行匹配后，利用三角测量原理获取图像中各点的深度值，从而构建水下环境的三维点云。
13、优选地，基于深度计与超短基线系统估计初始轨迹搜寻，包括：
14、通过深度计与超短基线系统获取初步的定位信息，基于定位信息针对目标物进行全局路径搜寻，形成初始搜寻轨迹。
15、优选地，基于实际位姿和目标物的局部3d特征筛选出轨迹控制点，包括：
16、在初始搜寻轨迹过程中，基于实际位姿和目标物的局部3d特征通过表面拟合和特征提取技术提取目标物的几何信息，对目标物的几何信息进行解析得到关键的结构区域，基于关键的结构区域筛选出巡检经过的轨迹控制点。
17、优选地，通过minimum snap算法基于轨迹控制点和轨迹控制点间的时间对初始搜寻轨迹进行优化得到目标位姿和目标速度，包括：
18、向轨迹控制点间的路径分配时间，基于轨迹控制点和分配到各轨迹控制点间的时间通过minimum snap算法通过最小化轨迹的高阶导数实现对初始搜寻轨迹的优化，获得目标位姿和目标速度。
19、优选地，所述控制模块包括滑膜控制器、位置控制器和推力分配单元；
20、其中，所述滑模控制器用于基于当前实际姿态和当前目标姿态的姿态误差通过滑模控制方法得到姿态控制律；
21、所述位置控制器用于采用双环控制结构最小化t+k时刻的位置误差和速度误差得到位置控制律；
22、所述推力分配单元用于基于姿态控制律和位置控制律对推力进行分配，以便于实现路径跟踪和姿态本文档来自技高网
...
【技术保护点】
1.一种基于双目视觉的水下机器人自主巡检系统，其特征在于，包括：
2.根据权利要求1所述的基于双目视觉的水下机器人自主巡检系统，其特征在于，所述感知模块包括目标识别、目标提取和特征计算；
3.根据权利要求2所述的基于双目视觉的水下机器人自主巡检系统，其特征在于，所述目标提取用于基于相机左图像和相机右图像通过立体匹配算法计算出每个像素点的深度信息，包括：
4.根据权利要求1所述的基于双目视觉的水下机器人自主巡检系统，其特征在于，基于深度计与超短基线系统估计初始轨迹搜寻，包括：
5.根据权利要求1所述的基于双目视觉的水下机器人自主巡检系统，其特征在于，基于实际位姿和目标物的局部3D特征筛选出轨迹控制点，包括：
6.根据权利要求1所述的基于双目视觉的水下机器人自主巡检系统，其特征在于，通过Minimum Snap算法基于轨迹控制点和轨迹控制点间的时间对初始搜寻轨迹进行优化得到目标位姿和目标速度，包括：
7.根据权利要求1所述的基于双目视觉的水下机器人自主巡检系统，其特征在于，所述控制模块包括滑膜控制器、位置控制器和推力分配单元；
8.根据权利要求7所述的基于双目视觉的水下机器人自主巡检系统，其特征在于，所述位置控制器包括PID控制器和MPC控制器；
9.根据权利要求1所述的基于双目视觉的水下机器人自主巡检系统，其特征在于，还包括重建模块，所述重建模块用于获得局部点云数据、关键帧和对应的实际位姿，将关键帧和对应的实际位姿，与局部点云数据进行对齐，然后采用TSDF算法将对齐的点云数据进行优化得到三维模型点云，基于所述三维模型点云通过3DGS渲染技术进行渲染得到目标物模型。
...
【技术特征摘要】
1.一种基于双目视觉的水下机器人自主巡检系统，其特征在于，包括：
2.根据权利要求1所述的基于双目视觉的水下机器人自主巡检系统，其特征在于，所述感知模块包括目标识别、目标提取和特征计算；
3.根据权利要求2所述的基于双目视觉的水下机器人自主巡检系统，其特征在于，所述目标提取用于基于相机左图像和相机右图像通过立体匹配算法计算出每个像素点的深度信息，包括：
4.根据权利要求1所述的基于双目视觉的水下机器人自主巡检系统，其特征在于，基于深度计与超短基线系统估计初始轨迹搜寻，包括：
5.根据权利要求1所述的基于双目视觉的水下机器人自主巡检系统，其特征在于，基于实际位姿和目标物的局部3d特征筛选出轨迹控制点，包括：
6.根据权利要求1所述的基于双目视觉的水下机器人自主巡检系统，其特...
【专利技术属性】
技术研发人员：司玉林，王培吉，魏浩，顾阳，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。