基于机器人自适应位姿调整的动车车底螺栓松动检测方法技术

本发明专利技术涉及一种基于机器人自适应位姿调整的动车车底螺栓松动检测方法，包括：搭建数据集和螺栓目标检测模型，对数据集进行数据增强后用于模型训练；利用模型检测螺栓区域，获取螺栓点云；判断模型的置信度是否低于期望，若是则进行姿态调整，否则直接进行螺栓松动检测；姿态调整：根据螺栓点云提取基平面，并计算相机旋转矩阵、螺栓位置与原点之间的位移，并结合相机与机械臂之间的位姿变换关系，控制机械臂带动相机到达目标位姿，重新进行螺栓区域检测，直至置信度满足预设期望；螺栓松动检测：对螺栓点云进行分割和平面拟合，计算螺栓高度，根据高度判断螺栓是否松动。与现有技术相比，本发明专利技术具有检测精度高、自主适应位姿偏差等优点。等优点。等优点。

【技术实现步骤摘要】
基于机器人自适应位姿调整的动车车底螺栓松动检测方法


[0001]本专利技术涉及轨道检测
，尤其是涉及一种基于机器人自适应位姿调整的动车车底螺栓松动检测方法。

技术介绍

[0002]目前动车的库内日常检修，主要采用传统的人工检测方法，即肉眼识别加便携式工具检测，机器人自动化检测少有运用。在肉眼识别及判断方面，人为因素影响较大，容易受检修地沟环境、人员工作状态、人员技术水平等多方面影响，会出现漏检漏修情况。针对现有的人工检测检修效率及安全性、可靠性等方面均存在明显不足，引入智能化、信息化、立体化检修的作业方法，可以有效地提高动车整备能力、提升检修效果。
[0003]早期许多学者提出了利用传统的机器视觉进行螺栓松动检测的方法，如根据扣件的固定结构，以方向场特征作为特征描述器，通过对图像序列的处理，完成紧固件位置的针对性获取。基于层级加权融合和贝叶斯压缩感知的扣件缺损识别方法可以自动识别出缺损的扣件。但该方法需要理想的背景环境，不具备较强的鲁棒性。近几年，随着深度学习不断进入大众视野，越来越多学者利用深度卷积神经网络进行目标检测。研究者提出使用Faster R
‑
CNN、TLMDDNet、VGGNet检测有缺陷的扣件，但因为数据不均衡，较难准确地识别出缺损的扣件，这并不利于提高扣件病害分类的准确率。此外，一些病害类型如扣件松动等，需要有效空间信息才能正确判断。
[0004]由于2D图像不包含深度信息，无法测量出螺栓的松动的纵向位移而3D点云特征计算复杂，匹配误差大目标定位困难，单一使用2D图像或者3D点云数据均存在一定缺陷，不能够满足快速准确的螺栓松动检测要求。

技术实现思路

[0005]本专利技术的目的是为了针对传统的螺栓松动检测方法深度信息缺失、精度低、易受图像采集视角影响等问题，提供一种基于机器人自适应位姿调整的动车车底螺栓松动检测方法，使用基于深度学习的目标检测实现2D图像中螺栓区域检测，通过像素坐标映射的方法获取目标点云，对三维目标点云进行特征分析，从而实现快速准确的螺栓松动检测，并针对数据采集方式会遇到遮挡、缺失和角度不正等问题，提出一种基于结构信息的位姿优化决策算法，能够根据采集到的数据自主调整自身姿态，以适应位置偏差和视角差。
[0006]本专利技术的目的可以通过以下技术方案来实现：
[0007]一种基于机器人自适应位姿调整的动车车底螺栓松动检测方法，包括以下步骤：
[0008]步骤1)在动车所在现场采集多趟覆盖所有待检测螺栓松动点的数据，并进行人工标注，搭建螺栓目标检测数据集；
[0009]步骤2)搭建螺栓目标检测模型，在经典目标检测公开数据集上进行预训练，对螺栓目标检测数据集利用数据增强操作进行扩展后作为预训练完成的螺栓目标检测模型的输入，对模型进行迁移训练；
[0010]步骤3)利用训练完成的螺栓目标检测模型实现2D图像中螺栓区域检测，利用像素坐标映射的方法获取螺栓点云；
[0011]步骤4)根据螺栓目标检测模型的置信度判断是否进行姿态调整，若置信度低于预设期望，则执行步骤5)
‑
7)进行姿态调整，否则直接执行步骤8)进行螺栓松动检测；
[0012]步骤5)根据螺栓点云提取基平面，计算基平面法向量，根据螺栓基平面法向量与相机坐标系夹角，计算使得相机正对螺栓的相机旋转矩阵；
[0013]步骤6)取螺栓点云中心点作为螺栓在相机坐标系的位置，并确定螺栓位置到相机坐标系原点之间的位移；
[0014]步骤7)根据相机旋转矩阵、位移以及相机与机械臂之间的位姿变换关系，控制机械臂带动相机到达目标位姿，使得相机坐标系原点与螺栓位置重合且相机正对螺栓，并返回步骤3)重新进行螺栓区域检测，生成螺栓点云，直至螺栓目标检测模型的置信度满足预设期望；
[0015]步骤8)对螺栓点云进行区域生长分割，对分割后的点云进行RANSAC平面拟合，利用螺栓的空间几何约束提取螺栓顶平面和基平面，计算两平面距离，即螺栓高度；
[0016]步骤9)基于螺栓高度与真值之间的差和预设螺栓松动阈值之间的大小关系，判断螺栓是否松动。
[0017]所述螺栓目标检测模型采用YOLOv6。
[0018]所述数据增强操作包括随机裁剪、翻转、改变饱和度、色调、对比度。
[0019]所述步骤5)包括以下步骤：
[0020]步骤5
‑
1)根据螺栓的结构信息约束提取螺栓基平面，利用RANSAC平面拟合方法拟合平面方程；
[0021]步骤5
‑
2)计算基平面法向量其中，α、β、γ分别为法向量与相机坐标轴三轴的夹角；
[0022]步骤5
‑
3)根据基平面法向量与相机坐标系的夹角，取与相机坐标系轴和螺栓基平面法向量均垂直的向量作为旋转轴，使得相机绕旋转轴旋转γ角即可正对螺栓，根据罗格里德斯公式将旋转矢量转化为相机旋转矩阵。
[0023]所述螺栓的结构信息约束为螺栓头部平面与紧固件平面平行，且两平面在平行方向没有间隙，在平行方向为连续的，其中，所述紧固件平面即为基平面。
[0024]所述根据罗格里德斯公式将旋转矢量转化为相机旋转矩阵具体为：
[0025][0026]其中，u
x
、u
y
、u
z
分别为旋转轴在相机坐标轴各轴上的分量。
[0027]所述相机与机械臂之间的位姿变换关系通过手眼标定得到。
[0028]所述根据相机旋转矩阵、位移以及相机与机械臂之间的位姿变换关系，控制机械臂带动相机到达目标位姿具体为：控制机械臂按照螺栓位置到相机坐标系原点之间的位移
矢量进行平移运动，并根据相机目标姿态进行位姿变换，其中，所述相机目标姿态为相机与机械臂之间的位姿变换关系，为相机旋转矩阵。
[0029]所述步骤8)包括以下步骤：
[0030]步骤8
‑
1)对螺栓点云进行下采样、移除离群点预处理；
[0031]步骤8
‑
2)利用区域生长分割算法对螺栓点云进行分割；
[0032]步骤8
‑
3)利用RANSAC算法对点云分割后的不同点云簇进行平面拟合；
[0033]步骤8
‑
4)根据步骤8
‑
3)拟合的平面方程，利用螺栓的结构信息约束，提取螺栓顶平面和基平面；
[0034]步骤8
‑
5)基于螺栓顶平面和基平面之间的距离确定螺栓高度。
[0035]所述步骤8
‑
3)包括以下步骤：
[0036]步骤8
‑3‑
1)从点云数据中随机的选取不共线的三个点拟合一个平面方程：
[0037]z＝ax+by+c
[0038]步骤8
‑3‑
2)计算点云中各个点到平面z＝ax+by+c的距离d
i
：
[0039][0040]步骤8
...

【技术保护点】

【技术特征摘要】
1.一种基于机器人自适应位姿调整的动车车底螺栓松动检测方法，其特征在于，包括以下步骤：步骤1)在动车所在现场采集多趟覆盖所有待检测螺栓松动点的数据，并进行人工标注，搭建螺栓目标检测数据集；步骤2)搭建螺栓目标检测模型，在经典目标检测公开数据集上进行预训练，对螺栓目标检测数据集利用数据增强操作进行扩展后作为预训练完成的螺栓目标检测模型的输入，对模型进行迁移训练；步骤3)利用训练完成的螺栓目标检测模型实现2D图像中螺栓区域检测，利用像素坐标映射的方法获取螺栓点云；步骤4)根据螺栓目标检测模型的置信度判断是否进行姿态调整，若置信度低于预设期望，则执行步骤5)
‑
7)进行姿态调整，否则直接执行步骤8)进行螺栓松动检测；步骤5)根据螺栓点云提取基平面，计算基平面法向量，根据螺栓基平面法向量与相机坐标系夹角，计算使得相机正对螺栓的相机旋转矩阵；步骤6)取螺栓点云中心点作为螺栓在相机坐标系的位置，并确定螺栓位置到相机坐标系原点之间的位移；步骤7)根据相机旋转矩阵、位移以及相机与机械臂之间的位姿变换关系，控制机械臂带动相机到达目标位姿，使得相机坐标系原点与螺栓位置重合且相机正对螺栓，并返回步骤3)重新进行螺栓区域检测，生成螺栓点云，直至螺栓目标检测模型的置信度满足预设期望；步骤8)对螺栓点云进行区域生长分割，对分割后的点云进行RANSAC平面拟合，利用螺栓的空间几何约束提取螺栓顶平面和基平面，计算两平面距离，即螺栓高度；步骤9)基于螺栓高度与真值之间的差和预设螺栓松动阈值之间的大小关系，判断螺栓是否松动。2.根据权利要求1所述的一种基于机器人自适应位姿调整的动车车底螺栓松动检测方法，其特征在于，所述螺栓目标检测模型采用YOLOv6。3.根据权利要求1所述的一种基于机器人自适应位姿调整的动车车底螺栓松动检测方法，其特征在于，所述数据增强操作包括随机裁剪、翻转、改变饱和度、色调、对比度。4.根据权利要求1所述的一种基于机器人自适应位姿调整的动车车底螺栓松动检测方法，其特征在于，所述步骤5)包括以下步骤：步骤5
‑
1)根据螺栓的结构信息约束提取螺栓基平面，利用RANSAC平面拟合方法拟合平面方程；步骤5
‑
2)计算基平面法向量其中，α、β、γ分别为法向量与相机坐标轴三轴的夹角；步骤5
‑
3)根据基平面法向量与相机坐标系的夹角，取与相机坐标系轴和螺栓基平面法向量均垂直的向量作为旋转轴，使得相机绕旋转轴旋转γ角即可正对螺栓，根据罗格里德斯公式将旋转矢量转化为相机旋转矩阵。5.根据权利要求4所述的一种基于机器人自适应位姿调整的动车车底螺栓松动检测方法，其特征在于，所述螺栓的结构信息约束为螺栓头部平面与紧固件平面平行，且两平面在
平行方向没有间隙，在平行方向为连续的，其中，所述紧固件平面即为基平面。6.根据权利要...

【专利技术属性】
技术研发人员：王志鹏，薛贵，何斌，周艳敏，
申请(专利权)人：同济大学，
类型：发明
国别省市：