一种视觉迁移的机械臂装配控制方法技术

本发明专利技术涉及机械臂控制的技术领域，揭露了一种视觉迁移的机械臂装配控制方法，所述方法包括：利用机械臂的视觉系统获取待装配设备图像，并自动对所获取的待装配设备图像进行预处理；将预处理后的待装配设备图像输入到离线产品配准模型中得到配准吻合度，若配准吻合度大于指定阈值则可进行装配，否则将预处理后的待装配设备图像输入到实时产品配准鲁棒调控模型进行修正；控制机械臂进行待装配设备的装配处理。本发明专利技术基于图像的配准吻合度在初始位置确定待装配设备的装配旋转角度，控制机械臂沿基于避障算法的装配路径移动，到达装配位置，将基于初始位置视觉的旋转角度迁移到最终装配位置，控制机械臂进行旋转，实现基于机械臂视觉的装配控制。视觉的装配控制。视觉的装配控制。

【技术实现步骤摘要】
一种视觉迁移的机械臂装配控制方法


[0001]本专利技术涉及机械臂控制的
，尤其涉及一种视觉迁移的机械臂装配控制方法。

技术介绍

[0002]通过机械臂进行产品装配已经广泛应用于工业制造领域，现有的机械臂自主装配技术主要分为PLC控制和视觉控制两种，PLC控制逻辑简单，适应简单装配场景，无法胜任复杂场景下的产品装配；视觉控制技术则能够处理大量场景信息，能够胜任复杂环境下的产品装配，但是存在鲁棒性差的问题，即场景自适应能力较差，无法在多个不同场景环境条件下实现自适应装配控制。针对该问题，本专利技术提出一种视觉迁移的机械臂装配控制方法，重点解决复杂场景多变条件下的机械臂鲁棒装配控制。

技术实现思路

[0003]有鉴于此，本专利技术提供一种视觉迁移的机械臂装配控制方法，目的在于：1)基于预处理后划分的图像边缘将待装配设备图像划分为若干子图像，并计算子图像与模板配准图像对应卷积特征图，得到两者的语义相似性，并选取语义相似性最大的子图像，提取若干局部特征图，从而基于局部特征图与模板配准图像中待装配设备卷积特征图的余弦相似度，确定待装配设备在待装配设备图像的位置区域，将待装配设备转换为三维图像表示，并将表示后的待装配设备与装配位置进行随机旋转组合，得到不同的组合结果，计算不同组合结果与模板配准图像的配准吻合度，选取最大的组合结果以及对应的配准吻合度进行输出，若配准吻合度大于指定阈值，则令机械臂计算组合结果中的旋转角度，控制机械臂在到达装配位置后按照所记录的旋转角度进行旋转装配，同时提出待装配设备图像的实时修正方案，通过利用修正码对待装配设备图像进行修正处理，使得图像中间区域进行较大范围的修正，而中间区域存在待装配设备的可能性更大，提高待装配设备的识别效率；2)以机械臂相邻关节之间的连杆为避障算法的基准单位，通过计算相邻关节节点之间连杆与障碍物的虚拟受力情况确定装配路径中各路径节点是否存在连杆与障碍物碰撞的情况，并对存在碰撞的路径节点进行修正，得到避免机械臂碰撞的装配路径，控制机械臂沿装配路径移动，到达装配位置，并控制机械臂按照所记录的旋转角度对待装配设备进行旋转，将基于初始位置视觉的旋转角度迁移到最终装配位置，实现基于机械臂视觉的装配控制。
[0004]实现上述目的，本专利技术提供的一种视觉迁移的机械臂装配控制方法，包括以下步骤：
[0005]S1：利用机械臂的视觉系统获取待装配设备图像，并自动对所获取的待装配设备图像进行预处理；
[0006]S2：构建离线产品配准模型，所述模型以模板配准图像和待装配设备图像为输入，
[0007]以配准吻合度为输出；
[0008]S3：构建实时产品配准鲁棒调控模型，所述模型以待装配设备图像为输入，以修正
后的待配准设备图像为输出；
[0009]S4：将预处理后的待装配设备图像输入到离线产品配准模型中得到配准吻合度，若配准吻合度大于指定阈值则可进行装配，否则将预处理后的待装配设备图像输入到实时产品配准鲁棒调控模型得到修正后的待装配设备图像，并将修正后的待装配设备图像输入到离线产品配准模型中；
[0010]S5：根据可进行装配的待装配设备图像，控制机械臂进行待装配设备的装配处理。
[0011]作为本专利技术的进一步改进方法：
[0012]可选地，所述S1步骤中获取待装配设备图像，包括：
[0013]利用机械臂的视觉系统获取待装配设备图像，所述机械臂的视觉系统为机械臂上的摄像头，其中待装配设备图像表示待装配设备所在区域的场景图像，机械臂视觉系统自动对所获取的待装配设备图像进行灰度化、拉伸以及边缘检测的预处理，其中灰度化、拉伸以及边缘检测的流程为：
[0014]S11：对所采集待装配设备图像中每个像素的RGB颜色分量求最大值，并将该最大值作为该像素点的灰度值，得到待装配设备图像的灰度图；
[0015]S12：对灰度图中每个像素的灰度值进行拉伸：
[0016][0017]其中：
[0018]g(i，j)表示灰度图中像素(i，j)的灰度值，像素(i，j)表示灰度图中第i行第j列的像素，灰度图的像素行数为M，像素列数为N；
[0019]MAX
g
表示灰度图中的最大灰度值，MIN
g
表示灰度图中的最小灰度值；
[0020]g
′
(i，j)表示经灰度拉伸后像素(i，j)的灰度值；
[0021]S13：构建3
×
3像素大小的高斯滤波模板对经灰度拉伸后的灰度图进行滤波处理，其中所构建的高斯滤波模板为G
σ
，σ表示高斯滤波模板的尺度，将其设置为2，利用高斯滤波模板对经灰度拉伸后的灰度图中每个像素进行卷积处理，得到高斯滤波后的灰度图：
[0022]g
″
(i，j)＝g
′
(i，j)*G
σ
[0023]其中：
[0024]g
″
(i，j)表示像素(i，j)的高斯滤波结果，将所有像素的高斯滤波结果构成高斯滤波后的灰度图；
[0025]在本专利技术实施例中，高斯滤波模板的构建流程为：
[0026]设置初始高斯滤波模板：
[0027][0028]其中：
[0029]G
σ
(i
′
，j
′
)表示尺度为σ的初始高斯滤波模板中第i
′
行第j
′
列元素的元素值；
[0030]对初始高斯滤波模板中各元素的元素值进行归一化处理，使得全部元素相加为1，得到尺度为σ的高斯滤波模板G
σ
；
[0031]S14：计算高斯滤波后灰度图中每个像素的梯度值：
[0032][0033]其中：
[0034]grad(i，j)表示高斯滤波后灰度图中像素(i，j)的梯度值；
[0035]将梯度值大于预设置阈值的像素标记为边缘像素；
[0036]在本专利技术实施例中，若高斯滤波后灰度图中不存在像素(i+1，j)，则将该像素的高斯滤波结果标记为0。
[0037]可选地，所述S2步骤中构建离线产品配准模型，包括：
[0038]构建离线产品配准模型，其中所述离线产品配准模型以模板配准图像和待装配设备图像为输入，以配准吻合度为输出；其中模板配准图像为待装配设备装配成功的预处理后展示图像；
[0039]离线产品配准模型包括待装配设备识别模块、组合配准模块以及配准吻合度计算模块，待装配设备识别模块用于从待装配设备图像中识别出待装配设备，组合配准模块用于将待装配设备与装配位置进行随机组合，得到不同的组合结果，配准吻合度计算模块用于计算不同组合结果与模板配准图像的配准吻合度，选取最大的组合结果以及对应的配准吻合度进行输出；
[0040]基于离线配准模型对待装配设备图像进行配准计算的流程为：
[0041]S21：将待装配设备图像按照图像边缘划分为若干子图像；
[0042]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视觉迁移的机械臂装配控制方法，其特征在于，所述方法包括：S1：利用机械臂的视觉系统获取待装配设备图像，并自动对所获取的待装配设备图像进行预处理；S2：构建离线产品配准模型，其中模型以模板配准图像和待装配设备图像为输入，以配准吻合度为输出；S3：构建实时产品配准鲁棒调控模型，其中模型以待装配设备图像为输入，以修正后的待配准设备图像为输出；S4：将预处理后的待装配设备图像输入到离线产品配准模型中得到配准吻合度，若配准吻合度大于指定阈值则可进行装配，否则将预处理后的待装配设备图像输入到实时产品配准鲁棒调控模型得到修正后的待装配设备图像，并将修正后的待装配设备图像输入到离线产品配准模型中；S5：根据可进行装配的待装配设备图像，控制机械臂进行待装配设备的装配处理。2.如权利要求1所述的一种视觉迁移的机械臂装配控制方法，其特征在于，所述S1步骤中获取待装配设备图像，包括：利用机械臂的视觉系统获取待装配设备图像，所述机械臂的视觉系统为机械臂上的摄像头，其中待装配设备图像表示待装配设备所在区域的场景图像，机械臂视觉系统自动对所获取的待装配设备图像进行灰度化、拉伸以及边缘检测的预处理，其中灰度化、拉伸以及边缘检测的流程为：S11：对所采集待装配设备图像中每个像素的RGB颜色分量求最大值，并将该最大值作为该像素点的灰度值，得到待装配设备图像的灰度图；S12：对灰度图中每个像素的灰度值进行拉伸：其中：g(i,j)表示灰度图中像素(i,j)的灰度值，像素(i,j)表示灰度图中第i行第j列的像素，灰度图的像素行数为M，像素列数为N；MAX
g
表示灰度图中的最大灰度值，MIN
g
表示灰度图中的最小灰度值；g
′
(i,j)表示经灰度拉伸后像素(i,j)的灰度值；S13：构建3
×
3像素大小的高斯滤波模板对经灰度拉伸后的灰度图进行滤波处理，其中所构建的高斯滤波模板为G
σ
，σ表示高斯滤波模板的尺度，将其设置为2，利用高斯滤波模板对经灰度拉伸后的灰度图中每个像素进行卷积处理，得到高斯滤波后的灰度图：g
″
(i,j)＝g
′
(i,j)*G
σ
其中：g
″
(i,j)表示像素(i,j)的高斯滤波结果，将所有像素的高斯滤波结果构成高斯滤波后的灰度图；S14：计算高斯滤波后灰度图中每个像素的梯度值：其中：
grad(i,j)表示高斯滤波后灰度图中像素(i,j)的梯度值；将梯度值大于预设置阈值的像素标记为边缘像素。3.如权利要求1所述的一种视觉迁移的机械臂装配控制方法，其特征在于，所述S2步骤中构建离线产品配准模型，包括：构建离线产品配准模型，其中所述离线产品配准模型以模板配准图像和待装配设备图像为输入，以配准吻合度为输出；其中模板配准图像为待装配设备装配成功的预处理后展示图像；离线产品配准模型包括待装配设备识别模块、组合配准模块以及配准吻合度计算模块，待装配设备识别模块用于从待装配设备图像中识别出待装配设备，组合配准模块用于将待装配设备与装配位置进行随机组合，得到不同的组合结果，配准吻合度计算模块用于计算不同组合结果与模板配准图像的配准吻合度，选取最大的组合结果以及对应的配准吻合度进行输出；基于离线配准模型对待装配设备图像进行配准计算的流程为：S21：将待装配设备图像按照图像边缘划分为若干子图像；S22：将待装配设备图像的子图像与模板配准图像输入到待装配设备识别模块中，待装配设备识别模块利用两层卷积层分别对子图像与模板配准图像进行卷积处理，得到子图像与模板配准图像的初始卷积特征图，其中卷积层的卷积核大小为5
×
5像素，步长为2；S23：计算子图像对应初始卷积特征图与模板配准图像对应初始卷积特征图的内积结果，作为子图像与模板配准图像的语义相似性；S24：选取语义相似性最高的子图像所对应初始卷积特征图，并利用滑动窗口对子图像的初始卷积特征图进行滑动，提取局部特征图，其中滑动窗口的大小为模板配准图像中待装配设备的大小；计算局部特征图与模板配准图像中待装配设备区域对应初始卷积特征图的余弦相似度，选取余弦相似度最高的局部特征图作为待装配设备特征图，该局部特征图所对应的待装配设备图像区域即为识别得到的待装配设备；S25：组合配准模块将待装配设备图像中识别到的待装配设备像素坐标转换到世界坐标系下，得到三维图像表示的待装配设备：其中：d1,d2分别表示视觉系统所拍摄图像中单位像素分别在水平方向以及竖直方向的长度；x0,y0分别表示视觉系统所拍摄图像的中心像素坐标和图像原点像素坐标之间相差的水平方向和竖直方向像素数；f表示机械臂视觉系统的焦距；K1,K2表示视觉系统的外部参数，分别为视觉系统的位置以及旋转方向参数；Z表示待装配设备像素坐标(x,y)在相机坐标系中Z轴的坐标值；(X
*
,Y
*
,Z
*
)表示待装配设备像素坐标(x,y)在世界坐标系下的映射结果；
S26：对三维图像表示的待装配设备进行随机旋转，得到多种旋转结果，将旋转结果的边缘与装配位置进行随机组合，得到多种组合结果；S27：配准吻合度计算模块计算每种组合结果中组合后边缘曲线的曲率以及位置坐标，并计算模板配准图像中装配成功结果的边缘曲线曲率以及位置坐标，得到每种组合结果的配准吻合度：其中：β
...

【专利技术属性】
技术研发人员：王振宇，陈胜，
申请(专利权)人：无锡埃姆维工业控制设备有限公司，
类型：发明
国别省市：