一种引流线识别定位抓取方法技术

本发明专利技术提出一种引流线识别定位抓取方法，用于在带电接火作业自动作业过程中，通过机械臂处的相机对引流线精准识别，使抓手定位于引流线正下方且带相机的抓手的X轴或Y轴和引流线的裸露导线部位平行以完成抓取任务；方法在对抓手定位时，基于引流线实例分割来识别裸露导线部位，同时拟合其端点位置，具体为通过控制机械臂分别向右、下、左、上四个方向分别平移预设距离来绘制空间虚拟矩形框，以此矩形框平面为坐标平面建立用户坐标系，此时引流线端点在四幅图像中像素坐标为P1、P2、P3、P4，使用PnP方法来求解3D

【技术实现步骤摘要】
一种引流线识别定位抓取方法


[0001]本专利技术涉及电力设备
，尤其是一种引流线识别定位抓取方法。

技术介绍

[0002]随着社会需求对供电安全性和稳定性的不断提高，对作业人员作业质量的要求也就越来越高，作业人员很难在保证作业安全的前提下，再次提高作业质量与效率。目前人工带电作业都是采用手动工具操作，对电缆外皮进行剥切以及引流线接火等操作。但是配电网线路通常十分紧凑，线路相间距离小，作业人员带电接火时易造成短路从而引发人身伤亡等事故。
[0003]目前国内由机械臂代替人工完成配网带电接火作业具有极具广阔的应用前景。但机械臂作业过程中，需要大量的视觉辅助定位的应用场景，如：导线的识别、引流线的识别、接火位置的识别等。其中，因引流线的位置和自身姿态不固定，引流线的视觉识别和精准抓取难度较大。因此，需要设计一种可靠的引流线识别定位抓取算法，适用于10kV带电接火作业机器人，满足带电接火作业自动作业过程中，对引流线精准识别和抓取的要求。

技术实现思路

[0004]本专利技术提出一种引流线识别定位抓取方法，适用于10kV带电接火作业机器人，满足带电接火作业自动作业过程中，对引流线精准识别和抓取的要求。
[0005]本专利技术采用以下技术方案。
[0006]一种引流线识别定位抓取方法，用于在带电接火作业自动作业过程中，通过机械臂处的相机对引流线精准识别，进而以机械臂的抓手对其裸露导线部位抓取，所述方法使抓手定位于引流线正下方且该带相机的抓手的X轴或Y轴和引流线的裸露导线部位平行以完成抓取任务；所述方法在对抓手定位时，基于引流线实例分割来识别裸露导线部位，同时拟合其端点位置，具体为通过控制机械臂分别向右、下、左、上四个方向分别平移预设距离来绘制空间虚拟矩形框，以此矩形框平面为坐标平面建立用户坐标系，此时引流线端点在四幅图像中像素坐标为P1、P2、P3、P4，使用PnP方法来求解3D
‑
2D空间坐标系中的抓手点运动问题。
[0007]所述方法使用SOLOV2图像分割技术训练多分类网络，用于进行引流线实例分割以识别剥切位置的裸露导线。
[0008]所述PnP方法求解引流线端点运动问题，具体为使用EPnP根据标志点P1、P2、P3、P4在相机坐标下的坐标以及虚拟坐标平面标志点坐标，求解相机到达引流线位置所需的位姿变化，流程如下：
[0009]计算标志点在相机参考系下的坐标：
[0010][0011]计算3D参考点在相机参考系下的坐标：
[0012][0013]计算的重心和矩阵A:
[0014][0015][0016]计算{p
i
}
i＝1，...n
的重心p
O
和矩阵B
[0017][0018][0019]计算相机所在高度H
[0020]H＝B
T
A
[0021]计算H的SVD分解：
[0022]H＝U∑V
T
[0023]计算相机位姿变化所需的旋转R:
[0024]R＝UV
T
[0025]计算相机位姿平移t:
[0026][0027]所述引流线的裸露导线部位位于引流线悬垂段的经剥切处理的导线处，其长度为已知值；设引流线端点为为A，导线裸露交界处为B，以表示从B到A的空间向量，所述相机与机械手抓手位置保持水平安装，则当机械手抓手运动，使相机经过姿态变换Y轴达到与导线裸露位置水平，且相机运动经过EPnP算法求解出的平移变换，即可到达引流线的抓取位置，相机的姿态变换量和移动量的具体计算方法如下：
[0028]步骤A1、计算与相机Y轴在相机坐标系下夹角θ，公式为
[0029][0030]步骤A2、计算与Y轴的旋转轴由和叉积给出
[0031]设a＝(a1，a2，a3)，b＝(b1，b2，b3)分别为及Y轴的单位向量，则叉积表示为：
[0032][0033]步骤A3、计算旋转向量步骤A4、取引流线裸露中间位置为抓取点，相机与抓取点变换关系为：
[0034][0035]后续的抓线操作包括以下步骤：
[0036]步骤A5、过深度学习目标检测算法识别图像中引流线目标；
[0037]步骤A6、根据p3p算法计算出引流线相对于相机所在位置及朝向的位姿；
[0038]步骤A7、通过位姿计算出引流线在机器人坐标系下的空间坐标；
[0039]步骤A8、控制机器人机械臂的抓手运动到引流线坐标位置进行抓线动作；
[0040]在抓线操作时，抓手需避免与裸露导线部位接触，裸露导线部位的识别采用HIS空间模型对背景图像进行分割的组合算法，运用形态学方法对环境进行降噪处理，分割出裸露导线部位，使用区域生长法对裸露导线部分继续进行分割，对分割后裸露导线运用形态学腐蚀方法去除分割中产生的碎片；
[0041]所述组合算法包括以下步骤：
[0042]步骤B1、在相机拍摄的引流线前景图像上选择初始生长像素点为A，标记为f(i，j)，在A邻域内，生长准则是待检测点灰度值与生长点灰度值相差为1或者是0；
[0043]步骤B2、第一次区域生长后，f(i－1，j)，f(i，j－1)，f(i，j+1)与选择的中心点灰度值相差都是1，因此被合并。第二次区域生长后，f(i+1，j)被合并；
[0044]步骤B3、第三次区域生长后，f(i+1，j－1)，f(i+2，j)被合并；
[0045]步骤B4、当不存在满足生长准则的像素点后，目标图像上的区域停止生长；
[0046]步骤B5、使用数学形态学腐蚀的目的是去除分割图像时所产生的部分碎片，进一步优化图像细节，提高图像质量；
[0047]腐蚀的方法为:
[0048]对于目标图像X，使用集合B对集合A进行腐蚀，定义为:对于目标图像X，使用集合B对集合A进行腐蚀，定义为:把结构元素B平移a后得到Ba，若Ba包含于X，记下这个a点，所有满足上述条件的a点组成的集合称做X被B腐蚀的结果。
[0049]裸露导线的识别公式表达为：
[0050]所述机械臂分别向右、下、左、上四个方向分别平移5厘米来绘制空间虚拟矩形框。
[0051]所述引流线为带电接火作业中挂于塔杆两侧的一段弧形导线，呈悬垂状且有一段剥切好的导线裸露。
[0052]所述机械臂为带电接火作业机器人的机械臂，在进行带电接火作业自动作业时，先人工指引机械臂运动，让机械臂上面的相机中拍摄到引流线图像，然后人工进行实例分割，即在图像上点击确定引流线的剥切段的一个点，以及确定机械臂需以抓手抓取的剥切段后面带皮段的抓取点，使机器人能以算法精准的识别图像上的整条引流线，过滤背景图像，然后机器人控制机械臂移动位置、转动方向，根据获得的导线新位置和机械臂运动的关系，计算出引流线上指定抓取点部位的空间坐标，控制机械臂准确的抓住引流线。
[0053]本专利技术所述方案基于引流线识别定位抓取算法，适用于10kV带电接火作业机器人，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种引流线识别定位抓取方法，用于在带电接火作业自动作业过程中，通过机械臂处的相机对引流线精准识别，进而以机械臂的抓手对其裸露导线部位抓取，其特征在于：所述方法使抓手定位于引流线正下方且该带相机的抓手的X轴或Y轴和引流线的裸露导线部位平行以完成抓取任务；所述方法在对抓手定位时，基于引流线实例分割来识别裸露导线部位，同时拟合其端点位置，具体为通过控制机械臂分别向右、下、左、上四个方向分别平移预设距离来绘制空间虚拟矩形框，以此矩形框平面为坐标平面建立用户坐标系，此时引流线端点在四幅图像中像素坐标为P1、P2、P3、P4，使用PnP方法来求解3D
‑
2D空间坐标系中的抓手点运动问题。2.根据权利要求1所述的一种引流线识别定位抓取方法，其特征在于：所述方法使用SOLOV2图像分割技术训练多分类网络，用于进行引流线实例分割以识别剥切位置的裸露导线。3.根据权利要求1所述的一种引流线识别定位抓取方法，其特征在于：所述PnP方法求解引流线端点运动问题，具体为使用EPnP根据标志点P1、P2、P3、P4在相机坐标下的坐标以及虚拟坐标平面标志点坐标，求解相机到达引流线位置所需的位姿变化，流程如下：计算标志点在相机参考系下的坐标：计算3D参考点在相机参考系下的坐标：计算的重心和矩阵A:和矩阵A:计算{p
i
}
i＝1，...n
的重心p
O
和矩阵B和矩阵B计算相机所在高度HH＝B
T
A计算H的SVD分解：H＝U∑V
T
计算相机位姿变化所需的旋转R:R＝UV
T
计算相机位姿平移t:
4.根据权利要求3所述的一种引流线识别定位抓取方法，其特征在于：所述引流线的裸露导线部位位于引流线悬垂段的经剥切处理的导线处，其长度为已知值；设引流线端点为为A，导线裸露交界处为B，以表示从B到A的空间向量，所述相机与机械手抓手位置保持水平安装，则当机械手抓手运动，使相机经过姿态变换Y轴达到与导线裸露位置水平，且相机运动经过EPnP算法求解出的平移变换，即可到达引流线的抓取位置，相机的姿态变换量和移动量的具体计算方法如下：步骤A1、计算与相机Y轴在相机坐标系下夹角θ，公式为步骤A2、计算与Y轴的旋转轴由和叉积给出设a＝(a1，a2，a3)，b＝(b1，b2，b3)分别为及Y轴的单位向量，则叉积表示为：步骤A3、计算旋转向量步骤A4、取引流线裸露中间位置为抓取点，相机与抓取点变换关系为：后续的抓线操作包括以下步...

【专利技术属性】
技术研发人员：林爽，刘冰倩，吴涵，黄建业，郑州，杨彦，廖飞龙，王仁书，罗翔，范元亮，辛宇晨，陈锦铭，陈海根，林桂明，陈永志，
申请(专利权)人：国网福建省电力有限公司浙江清华长三角研究院，
类型：发明
国别省市：