爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端技术

本发明专利技术公开了一种爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端，其中，爬塔机器人机械臂螺栓识别与定位方法，包括如下：步骤一：利用深度摄像机采集包含螺栓的对接塔段图像数据；步骤二：利用深度神经网络模型对步骤一中采集的对接塔段图像数据中的螺栓进行识别；步骤三：针对步骤二的螺栓识别结果提取螺栓图像，采用Sobel算子对螺栓图像进行边缘提取，并利用均值滤波算法得到螺栓中心的图像坐标，根据螺栓中心图像坐标从深度图中读取螺栓中心距离摄像机平面的深度信息；步骤四：相机标定及手眼标定，得到螺栓中心在机械臂末端坐标系下的位置坐标。本发明专利技术能够克服使用传统技术时由于摄像机拍摄视角、光照、摄像机畸变等因素引起的螺栓图像质量不佳导致的识别精度降低、无法识别等问题。无法识别等问题。无法识别等问题。

【技术实现步骤摘要】
爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端


[0001]本专利技术属于输电塔组装
，尤其涉及一种爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端。

技术介绍

[0002]输电塔在组装过程中，上塔段由起重机进行吊运，并放到已就位的下塔段上。上塔段与下塔段之间需要利用外包铁、内包角钢、以及紧固螺栓进行固接。传统的组塔方式是工作人员上到塔段连接处，人工完成两个塔段处螺栓的紧固。这种方式很容易造成人员伤亡。
[0003]为了解决人工组塔所存在的技术问题，人们研制了爬塔机器人，利用爬塔机器人爬到对接塔段，然后，使用爬塔机器人上的机械臂进行螺栓紧固。在该过程中需要机械臂自带摄像机识别并定位需要紧固的螺栓。
[0004]目前，在螺栓和螺孔等圆形物体的识别算法中，现有的工作大都采用传统图像处理的技术，比如利用Hough变换对圆的特征进行检测；除此之外还有使用最小二乘拟合圆，该方法拟合精度高但要求该圆具有较高的边缘精度。另外，还有在此基础上进行改进的圆检测算法，如对Hough变化圆检测的投票机制采取三角函数近似，采样点构成等腰三角形等方法。这些传统的检测方法的缺点是要求图像中的圆必须是标准的。然而，在实际的螺栓和螺孔识别中，由于光照和视角关系，螺栓和螺孔并非标准的圆形。
[0005]另外，在螺栓定位算法中，常用的方法包括单目视觉平面定位、单目视觉三维定位和双目立体视觉定位。然而，输电塔暴露在室外，且摄像机安装在机械臂的末端，这些定位算法的鲁棒性和精度都难以达到使用要求。
[0006]综上所述，为了使得爬塔机器人实现高精度鲁棒的对对接塔段的螺栓进行识别和定位，亟需提出一种爬塔机器人机械臂螺栓识别与定位方法及装置。

技术实现思路

[0007]本专利技术的目的在于提供一种爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端，以实现对接塔段处螺栓的精确识别与定位。
[0008]为实现本专利技术的目的，本专利技术提供的具体技术方案如下：第一方面本专利技术提供了一种爬塔机器人机械臂螺栓识别与定位方法，所述方法包括如下步骤：步骤一：利用深度摄像机采集包含螺栓的对接塔段图像数据；步骤二：利用深度神经网络模型对步骤一中采集的对接塔段图像数据中的螺栓进行识别；步骤三：针对步骤二的螺栓识别结果提取螺栓图像，采用Sobel算子对螺栓图像进行边缘提取，并利用均值滤波算法得到螺栓中心的图像坐标，根据螺栓中心图像坐标从深度图中读取螺栓中心距离摄像机平面的深度信息；
步骤四：相机标定及手眼标定，得到摄像机坐标系到机械臂末端坐标系的齐次变换矩阵，结合步骤三得到的图像坐标及深度信息，得到螺栓中心在机械臂末端坐标系下的位置坐标。
[0009]其中，所述深度神经网络采用yolov5深度神经网络。
[0010]其中，步骤三具体包括如下步骤：（1）使用高斯滤波器与原始螺栓图像的像素函数进行卷积，得到平滑的螺栓图像，表达式形式如下所示：其中 为高斯核的标准差， 为图像的像素函数。
[0011]（2）采用Sobel算子计算螺栓图像的梯度幅值和方向，利用Sobel水平和垂直算子与图像卷积，计算和：其中为水平算子和为竖直算法，其值分别为：，进一步得到螺栓图像梯度的幅值为：（5）角度为：（6）图像的梯度方向与边缘方向关系是任一点的边缘与梯度向量正交，沿着梯度方向对梯度幅值进行非极大值抑制得到细化的边缘，采用双阈值算法检测和连接边缘；确定螺栓的边缘，螺栓的边缘为一个圆形，根据圆形确定螺栓的中心像素值，假定为，则利用深度信息获得螺栓中心像素位置处的深度，假定为d，通过计算则可获得螺栓中心在摄像机坐标系下的三维坐标（x
c
,y
c
,z
c
）
T
，表达式如下：A为摄像机的内参矩阵，c表示螺栓中心。
[0012]（7）
[0013]其中，在步骤三中，所述沿着梯度方向对梯度幅值进行非极大值抑制得到细化的边缘，具体包括：在3*3区域内，将梯度的角度进行划分规则，量化成四个梯度方向：水平0
°
、45
°
、垂直90
°
、135
°
；非极大值抑制即为沿着4个的梯度方向，比较3*3邻域内对应邻域值的大小，在每一点上，中心坐标x与沿着其对应的梯度方向的两个像素相比，若中心像素为最大值，则保留，否则中心置0。
[0014]其中，在步骤三中，所述采用双阈值算法检测和连接边缘，具体包括：选取两个阈值系数TH和TL，比率为2:1或3:1，将小于低阈值的点抛弃，赋0；将大于高阈值的点立即标记，即确定为边缘点，赋1或255，将小于高阈值，大于低阈值的点使用8连通区域确定。
[0015]其中，步骤四具体包括如下步骤：（1）采集机械臂在多个不同位置的机械臂图像并记录机械臂位姿；（2）得到的机械臂姿态的数据格式为四元数，将其转换为旋转矩阵；（3）对摄像机进行标定，得到每张机械臂图像的旋转向量和平移向量，将旋转向量变为旋转矩阵；（4） 利用手眼标定得到摄像机坐标系到机械臂末端坐标系的齐次变换矩阵，其中左上标G表示机械臂坐标系，右下标C表示摄像机坐标系，标定结果如下：（8）（5）得到螺栓中心在机械臂坐标系下的位置坐标。
[0016]第二方面本专利技术提供了一种存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述的爬塔机器人机械臂螺栓识别与定位方法。
[0017]第三方面本专利技术提供了一种终端，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述的爬塔机器人机械臂螺栓识别与定位方法。
[0018]与现有技术相比，本专利技术的有益效果为，1、本专利技术使用深度神经网络对输电塔对接处的螺栓进行识别，可克服使用传统技术时由于摄像机拍摄视角、光照、摄像机畸变等因素引起的螺栓图像质量不佳导致的识别精度降低、无法识别等问题，非常适用于野外螺栓识别；
2、本专利技术使用图像信息和深度信息对螺栓进行定位，定位精度高，有助于后期机械臂末端规划与避障算法；3、本专利技术结合深度神经网络模型、机器视觉，机械臂手眼标定算法，提升了螺栓识别精度，并得到螺栓在机械臂坐标系的精确位置；4、该专利技术有望被进一步应用于机械臂对其他圆形物体，如螺帽、螺孔的识别和定位，具有十分重要的应用价值。
附图说明
[0019]图1为本专利技术提供的爬塔机器人机械臂螺栓识别与定位方法流程示意图；图2为本专利技术中图像的梯度方向与边缘方向关系示意图；图3为本专利技术中梯度的角度划分规则示意图。
具体实施方式
[0020]以下结合附图和具体实施例对本专利技术作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0021]如图1所示，本专利技术提供了一种爬塔机器人机械臂螺栓本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种爬塔机器人机械臂螺栓识别与定位方法，其特征在于，所述方法包括如下步骤：步骤一：利用深度摄像机采集包含螺栓的对接塔段图像数据；步骤二：利用深度神经网络模型对步骤一中采集的对接塔段图像数据中的螺栓进行识别；步骤三：针对步骤二的螺栓识别结果提取螺栓图像，采用Sobel算子对螺栓图像进行边缘提取，并利用均值滤波算法得到螺栓中心的图像坐标，根据螺栓中心图像坐标从深度图中读取螺栓中心距离摄像机平面的深度信息；步骤四：相机标定及手眼标定，得到摄像机坐标系到机械臂末端坐标系的齐次变换矩阵，结合步骤三得到的图像坐标及深度信息，得到螺栓中心在机械臂末端坐标系下的位置坐标。2.根据权利要求1所述的一种爬塔机器人机械臂螺栓识别与定位方法，其特征在于，所述深度神经网络采用yolov5深度神经网络。3.根据权利要求2所述的一种爬塔机器人机械臂螺栓识别与定位方法，其特征在于，步骤三具体包括如下步骤：（1）使用高斯滤波器与原始螺栓图像的像素函数进行卷积，得到平滑的螺栓图像，表达式形式如下所示：其中 为高斯核的标准差， 为图像的像素函数；（2）采用Sobel算子计算螺栓图像的梯度幅值和方向，利用Sobel水平和垂直算子与图像卷积，计算和：其中为水平算子和为竖直算法，其值分别为：，进一步得到螺栓图像梯度的幅值为：（5）角度为：
（6）图像的梯度方向与边缘方向关系是任一点的边缘与梯度向量正交，沿着梯度方向对梯度幅值进行非极大值抑制得到细化的边缘，采用双阈值算法检测和连接边缘；确定螺栓的边缘，螺栓的边缘为一个圆形，根据圆形确定螺栓的中心像素值，假定为，则利用深度信息获得螺栓中心像素位置处的深度，假定为d，通过计算则可获得螺栓中心在摄像机坐标系下的三维坐标（x
c
,y
c
,z
c
）
T
，表达式如下：A为摄像机的内参矩阵，c表示螺栓中心；（7）。4.根据权利要求3所述的一种爬塔机器人机械臂螺栓识别与定位方法，其特征在于，在步骤三中，所述沿着梯度方向对梯度幅值进行非极大值...

【专利技术属性】
技术研发人员：李文杰，高国，郭宪，王云帆，刘志东，曹涛，孟令健，刘超，刘庆林，马骏，王斌，毛华，车晓钰，栗世勇，杜春阳，崔荣坤，杜祎，詹云腾，潘光，孟啸啸，李春雪，党国毅，王江，张晓亮，
申请(专利权)人：国网天津市电力公司国家电网有限公司，
类型：发明
国别省市：