【技术实现步骤摘要】
本专利技术属于吊钩位姿识别，具体涉及一种基于yolo的单目相机塔机吊钩位姿识别方法及系统。
技术介绍
1、塔式起重机是建筑施工领域最常见的一种物料搬运工具，主要功能为搬运施工现场的各个物料与设备。现有塔吊主要采用人工目视操作的方式，塔吊工人通过对讲机和观察，操作塔吊吊钩到达指定位置，由于塔吊属于高危作业，塔吊驾驶人需要具备较高的操作熟练度和安全意识。而且人工操作时不可避免会出现失误，有些失误会导致较为严重的安全问题。在塔机整个操作过程中，最主要的问题是，塔吊工人要知道塔机吊钩当前所在位置、状态和运动趋势。吊钩位姿识别是塔机智能驾驶的基础，也是重中之重。目前对于塔机吊钩位姿识别，多数方案需要多个相机、雷达、imu等传感器联合辅助，设备成本高，使用难度大，后期维护难。现有的技术往往采用复杂算法，融合多种传感器数据，算法运算量较大，且计算结果稳定性较差，输出结果也不能保证较高的可靠性。
技术实现思路
1、本专利技术针对现有技术下的问题，提供了一种基于yolo的单目相机塔机吊钩位姿识别方法及系统，通过相机实时拍摄得到吊钩图像，利用yolov7模型算法，识别吊钩位置，然后通过立体视觉算法，解算吊钩当前姿态信息，大大提高了整个系统的实用性，切实提升塔机作业效率。
2、为了达到上述目的，本申请采用的技术方案为：一种基于yolo的单目相机塔机吊钩位姿识别方法，包括：
3、将单目相机安装在吊钩上方的行车上，对单目相机进行标定，通过相机实时拍摄得到吊钩图像；
4、利
5、通过立体视觉算法结合吊钩位置，解算吊钩当前姿态信息；
6、输出吊钩姿态信息。
7、进一步的，单目相机标定的步骤包括：使用待标定的相机从不同角度拍摄标定板的图像，提取特征点，使用计算机视觉算法根据提取的特征点和已知的标定板尺寸计算相机的内部参数。
8、进一步的，所述单目相机安装于塔机行车的正下方，吊钩处于相机捕捉范围之内，吊钩与行车之间始终是安全无遮挡区域。
9、进一步的，所述利用yolov7模型算法对吊钩图像进行处理包括：
10、采集数据集：通过相机采集吊钩实际作业的视频，提取视频图片，用labelimg工具对图片中的吊钩上表面进行标注，建立某吊钩数据集，将数据集分为训练集、验证集和测试集；
11、训练数据集：将训练集和验证集中的图片输入yolov7网络模型进行模型训练，得到yolov7网络模型的最佳权重数据；
12、验证数据集：将最佳权重数据加载到yolov7网络模型中，输入测试集图片，输出目标检测结果，目标检测结果包括目标框位置、类别和置信度；
13、应用数据集：将测试通过的最佳权重数据文件存储，并导入yolov7图像处理系统，相机实时捕捉吊钩图像，算法输出识别得到吊钩上表面位置。
14、进一步的，所述通过立体视觉算法结合吊钩位置，解算吊钩当前姿态信息包括：通过yolov7，识别到了吊钩的上表面，得到吊钩上表面四个顶点的图像坐标；
15、通过这四个顶点的图像坐标，确认吊钩在整个相机图像中的位置区域；
16、在位置区域内，通过当前帧提取特征点，利用光流法匹配前后两帧的特征点，得到一组多个相机图像坐标系中的对应2d点和世界坐标系中的3d点，应用epnp算法，得到精确的吊钩位姿信息。
17、进一步的，所述输出吊钩姿态信息包括从提升yolov7模型训练结果和速度趋势预测两方面提升整个系统的安全性，得到吊钩的位姿信息，生成当前吊钩图像的标注，作为yolov7数据集的一部分，重新导入yolov7算法进行训练，得到更好的权重数据，用于之后的吊钩识别过程；
18、得到吊钩上表面的四个顶点坐标，计算得到吊钩中心坐标，将当前帧吊钩中心坐标与前一帧吊钩中心坐标相比较就可以得到吊钩的位移信息，将之前多帧吊钩中心坐标进行统计模拟，就得到了吊钩的位移趋势；将依据当前帧所得到的每个特征点的三维坐标分别与依据上一帧中对应的匹配点的三维坐标进行比较，得到吊钩的旋转信息。
19、第二方面，本专利技术提供了一种基于yolo的单目相机塔机吊钩位姿识别系统，包括：
20、图像获取模块，被配置为：将单目相机安装在吊钩上方的行车上，通过相机实时拍摄得到吊钩图像；
21、吊钩位置分析模块，被配置为：利用yolov7模型算法对吊钩图像进行处理，识别吊钩位置；
22、姿态信息分析模块，被配置为：通过立体视觉算法结合吊钩位置，解算吊钩当前姿态信息；
23、信息输出模块，被配置为：输出吊钩姿态信息。
24、与现有技术相比，本专利技术的优点和积极效果在于：
25、本专利技术提出了一种基于yolo的单目相机塔机吊钩位姿识别方法及系统，只需要一台单目相机，即可完成吊钩识别和位姿解算。在整个过程中，将单目相机安装在行车上，无论塔机怎样操作，吊钩始终在相机视野之内。通过相机实时拍摄得到吊钩图像，利用yolov7模型算法，识别吊钩位置，然后通过立体视觉算法，解算吊钩当前姿态信息；这种基于yolo的单目相机塔机吊钩位姿识别方法不仅减少了多传感器依赖，节省设备成本，降低使用难度，简约后期维护，而且算法稳定可靠，大大提高了整个系统的实用性，切实提升塔机作业效率。本专利技术还包含了一种吊钩姿态输出处理方法，从提升yolov7模型训练结果和速度趋势预测两方面提升吊钩位姿识别精度以及整个系统的安全性。
本文档来自技高网...【技术保护点】
1.一种基于YOLO的单目相机塔机吊钩位姿识别方法，其特征在于，包括：
2.根据权利要求1所述的一种基于YOLO的单目相机塔机吊钩位姿识别方法，其特征在于，单目相机标定的步骤包括：使用待标定的相机从不同角度拍摄标定板的图像，提取特征点，使用计算机视觉算法根据提取的特征点和已知的标定板尺寸计算相机的内部参数。
3.根据权利要求1所述的一种基于YOLO的单目相机塔机吊钩位姿识别方法，其特征在于，所述单目相机安装于塔机行车的正下方，吊钩处于相机捕捉范围之内，吊钩与行车之间始终是安全无遮挡区域。
4.根据权利要求1所述的一种基于YOLO的单目相机塔机吊钩位姿识别方法，其特征在于，利用YOLOv7模型算法对吊钩图像进行处理包括：
5.根据权利要求1所述的一种基于YOLO的单目相机塔机吊钩位姿识别方法，其特征在于，通过立体视觉算法结合吊钩位置，解算吊钩当前姿态信息包括：通过YOLOv7，识别到了吊钩的上表面，得到吊钩上表面四个顶点的图像坐标；
【技术特征摘要】
1.一种基于yolo的单目相机塔机吊钩位姿识别方法，其特征在于，包括：
2.根据权利要求1所述的一种基于yolo的单目相机塔机吊钩位姿识别方法，其特征在于，单目相机标定的步骤包括：使用待标定的相机从不同角度拍摄标定板的图像，提取特征点，使用计算机视觉算法根据提取的特征点和已知的标定板尺寸计算相机的内部参数。
3.根据权利要求1所述的一种基于yolo的单目相机塔机吊钩位姿识别方法，其特征在于，所述单目相机安装于塔机行车的...
【专利技术属性】
技术研发人员：王越，
申请(专利权)人：中科骊久济南机器人有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。