【技术实现步骤摘要】
一种基于双目视觉的圆螺母焊缝完整度缺陷检测方法
[0001]本专利技术涉及机器视觉测量及焊接质量评定
，特别涉及一种基于双目视觉的圆螺母焊缝完整度缺陷检测方法。
技术介绍
[0002]圆螺母等紧固连接件作为装配连接件，通常以焊接工艺固定于装配基体工件，其焊接的质量直接影响装配体的连接性能，而对焊接成形后的焊缝进行外观检测是一种快速有效的质量检测手段。
[0003]较为成熟的无损焊缝质量检测方法主要有漏磁检测法、射线检测法、超声检测法等，其中漏磁检测主要是对焊缝内部进行探伤，无法评定焊缝外表面的成形质量；射线检测对人体会造成一定的辐射损害；超声检测法虽然穿透能力达，可以测量出焊缝缺陷的深度，但是效率低、速度慢。目前传统加工行业的焊缝检测大多还是采用人工目检的方式，但这种方式劳动成本高，效率低，判定结果容易受主观因素影响，可靠性不高。
[0004]为改善上述焊缝检测邻域的不足，提高焊缝检测的工业自动化，有大量研究使用机器视觉的方法进行焊缝的外观检测。J.Noruk在期刊《Vision Weld Inspection Enters the New Milliennium.Sensor Review》中采用立体匹配获取焊缝的三维形貌信息，对带有焊缝宽度信息的俯视图像处理进行焊缝缺陷分类，后部相机配合获得焊缝深度信息，最后依据提取的焊缝的几何参数进行质量判定；李金燕在论文《基于机器视觉的滚焊机钢筋骨架焊接缺陷在线检测系统》中使用经典图像处理方法提取钢筋骨架十字交叉焊的焊缝图像区域，应用BP神经网络实现对焊...
【技术保护点】
【技术特征摘要】
1.一种基于双目视觉的圆螺母焊缝完整度缺陷检测方法，其特征在于，包括以下步骤：S1：将右相机与圆螺母的焊接平面垂直安装，使右相机能观察到圆螺母顶面圆的轮廓和圆螺母底部焊缝；同时将左相机安装在圆螺母的另一侧，使左相机能观察到圆螺母底部焊缝和圆螺母顶面圆的轮廓，然后完成右相机与左相机的双目标定；S2：采集右相机图像并在右相机图像上拟合出圆螺母顶面圆的轮廓，然后计算出该圆在右相机坐标系下的位姿表示，并去除位姿二义性；同样的采集左相机图像并在左相机图像上拟合出圆螺母顶面圆的轮廓，然后计算出该圆在左相机坐标系下的位姿表示，并去除位姿二义性；S3：确定右相机图像和左相机图像中圆螺母底面圆圆心位置；S4：确定右相机图像和左相机图像中圆螺母底面圆的轮廓；S5：确定右相机图像和左相机图像中圆螺母底部标准的圆形焊缝区域；S6：使用边缘检测提取右相机图像和左相机图像上圆螺母底部的实际焊缝边缘轮廓；S7：确定右相机图像和左相机图像上圆螺母底部圆形焊缝的完整度；S8：综合步骤S7中对右相机图像和左相机图像上圆螺母底部圆形焊缝的完整度判定，最终确定圆螺母焊缝完整度是否存在缺陷。2.根据权利要求1所述的一种基于双目视觉的圆螺母焊缝完整度缺陷检测方法，其特征在于，所述步骤S2的具体内容为：S2.1：建立右相机和左相机的双目视觉投影模型右相机坐标系为O
R
‑
X
R
Y
R
Z
R
，O
R
为右相机坐标系的原点，X
R
、Y
R
、Z
R
均为右相机坐标系的坐标轴，其中Z
R
轴与圆螺母的焊接平面垂直；右相机图像坐标系为O
r
‑
u
r
v
r
，O
r
为右相机图像坐标系的原点，u
r
、v
r
均为右相机图像坐标系的坐标轴，右相机焦距为f
R
，右相机内参矩阵为K
R
；左相机坐标系为O
L
‑
X
L
Y
L
Z
L
，O
L
为左相机坐标系的原点，X
L
、Y
L
、Z
L
均为左相机坐标系的坐标轴，左相机的图像坐标系为O
l
‑
u
l
v
l
，O
l
为左相机图像坐标系的原点，u
l
、v
l
均为左相机图像坐标系的坐标轴，左相机焦距为f
L
，左相机内参矩阵为K
L
；圆螺母顶面圆的圆心为O
T
，圆螺母底面圆的圆心为O
B
，圆螺母内径圆的半径为r，圆螺母的高度为h，圆螺母顶面圆所在支撑平面的法线方向规定为由圆螺母顶面圆圆心指向右相机的可视方向，标记为n；S2.2：设空间中某点P
i
在右相机坐标系O
R
‑
X
R
Y
R
Z
R
下的坐标为其投影至右相机图像坐标系平面上的像素点坐标为二者之间的转换公式如下：式中，坐标为右相机图像坐标系平面上的中心坐标，和分别为右相机芯片中单个像元在u
r
和v
r
方向上的实际物理尺寸，单位为mm/pixel；同理，点P
i
在左相机坐标系O
L
‑
X
L
Y
L
Z
L
下的坐标为其投影至左相机图像坐标
系平面上的像素点坐标为二者之间的转换公式如下：式中，坐标为左相机图像坐标系平面上的中心坐标，和分别为左相机芯片中单个像元在u
l
和v
l
方向上的实际物理尺寸，单位为mm/pixel；S2.3：求解右相机坐标系下圆螺母顶面圆的位姿和求解左相机坐标系下圆螺母顶面圆的位姿；求解右相机坐标系下圆螺母顶面圆的位姿具体内容为：设在右相机图像坐标系O
r
‑
u
r
v
r
下，圆螺母顶面椭圆的一般式为：a
R
(u
R
)2+b
R
(v
R
)2+c
R
u
R
v
R
+d
R
u
R
+e
R
v
R
+h
R
＝0
ꢀꢀꢀꢀꢀ
(3)式中，u
R
为右相机图像上某点的行坐标，v
R
为右相机图像上某点的列坐标，a
R
为参数(u
R
)2的系数，b
R
为参数(v
R
)2的系数，c
R
为参数u
R
v
R
的系数，d
R
为参数u
R
的系数，e
R
为参数v
R
的系数，h
R
为常系数；由式(1)得到：式中，x
R
表示的含义为圆螺母顶面圆中与像素点(u
R
,v
R
)对应的空间点在右相机坐标系O
R
‑
X
R
Y
R
Z
R
下在X
R
轴方向的坐标，y
R
表示的含义为圆螺母顶面圆中与像素点(u
R
,v
R
)对应的空间点在右相机坐标系O
R
‑
X
R
Y
R
Z
R
下在Y
R
轴方向的坐标，z
R
表示的含义为圆螺母顶面圆中与像素点(u
R
,v
R
)对应的空间点在右相机坐标系O
R
‑
X
R
Y
R
Z
R
下在Z
R
轴方向的坐标；将式(4)代入式(3)得到在右相机坐标系O
R
‑
X
R
Y
R
Z
R
下，圆螺母顶面圆与右相机坐标系原点O
R
构成的圆锥曲面方程式为：A
R
(x
R
)2+B
R
(y
R
)2+C
R
(z
R
)2+D
R
x
R
y
R
+E
R
x
R
z
R
+F
R
y
R
z
R
＝0
ꢀꢀꢀꢀ
(5)式(5)中，各系数值的计算内容如下：将式(5)表示为矩阵形式：[x
R y
R z
R
]Q
R
[x
R y
R z
R
]
T
＝0
ꢀꢀꢀꢀ
(7)其中
对Q
R
正交对角化：式中，正交矩阵P
R
表示旋转矩阵，能将右相机坐标系O
R
‑
X
R
Y
R
Z
R
旋转为O
R
‑
X
R
′
Y
R
′
Z
R
′
，使得Z
R
′
轴与由圆螺母顶面圆与右相机坐标系原点O
R
构成的圆锥曲面的中轴线重合；是矩阵Q
R
的三个特征值；在坐标系O
R
‑
X
R
′
Y
R
′
Z
R
′
中，由式(9)得到的特征值描述出圆锥曲面的一般式为：由式(10)能计算出在坐标O
R
‑
X
R
′
Y
R
′
Z
R
′
中，圆螺母顶面圆圆心坐标及法向量n
R
′
计算公式如下：计算公式如下：计算公式如下：及n
R
′
是经旋转后的坐标系O
R
‑
X
R
′
Y
R
′
Z
R
′
下的结果，只需将其进行逆旋转，就能得到圆螺母顶面圆在原右相机坐标系O
R
‑
X
R
Y
R
Z
R
下的圆心坐标和法向量n
R
，进而确定右相机坐标系下圆螺母顶面圆的位姿：n
R
＝P
R
n
R
′
ꢀꢀꢀꢀ
(14)其中，矩阵P
R
为正交矩阵，其逆矩阵等于自身；且圆螺母顶面圆的轮廓能够看作是圆锥曲面与某一平面的相交线，由于圆锥曲面的对称性，能够截得固定半径圆的支撑平面存在两个，故式(13)、式(14)皆存在两个解；求解左相机坐标系下圆螺母顶面圆的位姿具体内容为：设在左相机图像坐标系O
l
‑
u
l
v
l
下，圆螺母顶面椭圆的一般式为：a
L
(u
L
)2+b
L
(v
L
)2+c
L
u
L
v
L
+d
L
u
L
+e
L
v
L
+h
L
＝0
ꢀꢀꢀꢀ
(15)式中，u
L
为左相机图像上某点的行坐标，v
L
为左相机图像上某点的列坐标，a
L
为参数(u
L
)2的系数，b
L
为参数(v
L
)2的系数，c
L
为参数u
L
v
L
的系数，d
L
为参数u
L
的系数，e
L
为参数v
L
的系数，h
L
为常系数；由式(2)得到：
式中，x
L
表示的含义为圆螺母顶面圆中与像素点(u
L
,v
L
)对应的空间点在左相机坐标系O
L
‑
X
L
Y
L
Z
L
下在X
L
轴方向的坐标，y
L
表示的含义为圆螺母顶面圆中与像素点(u
L
,v
L
)对应的空间点在左相机坐标系O
L
‑
X
L
Y
L
Z
L
下在X
L
轴方向的坐标，z
L
表示的含义为圆螺母顶面圆中与像素点(u
L
,v
L
)对应的空间点在左相机坐标系O
L
‑
X
L
Y
L
Z
L
下在Z
L
轴方向的坐标；将式(16)代入式(15)得到在左相机坐标系O
L
‑
X
L
Y
L
Z
L
下，圆螺母顶面圆与左相机坐标系原点O
L
构成的圆锥曲面方程式为：A
L
(x
L
)2+B
L
(y
L
)2+C
L
(z
L
)2+D
L
x
L
y
L
+E
L
x
L
z
L
+F
L
y
L
z
L
＝0
ꢀꢀꢀꢀ
(17)式(17)中，各系数值的计算内容如下：将式(17)表示为矩阵形式：[x
L y
L z
L
]Q
L
[x
L y
L z
L
]
T
＝0
ꢀꢀꢀꢀ
(19)其中对Q
L
正交对角化：式中，正交矩阵P
L
表示旋转矩阵，能将左相机坐标系O
L
‑
X
L
Y
L
Z
L
旋转为O
L
‑
X
L
′
Y
L
′
Z
L
′
，使得Z
L
′
轴与由圆螺母顶面圆与左相机坐标系原点O
L
构成的圆锥曲面的中轴线重合；是矩阵Q
L
的三个特征值；在坐标系O
L
‑
X
L
′
Y
L
′
Z
L
′
中，由式(21)得到的特征值描述出圆锥曲面的一般式为：由式(22)可计算出在坐标O
L
‑
X
L
′
Y
L
′
Z
L
′
中，圆螺母顶面圆圆心坐标及法向量n
L
′
计算公式如下：
及n
L
′
是经旋转后的坐标系O
L
‑
X
L
′
Y
L
′
Z
L
′
下的结果，只需将其进行逆旋转，就能得到圆螺母顶面圆在原左相机坐标系O
L
‑
X
L
Y
L
Z
L
下的圆心坐标和法向量n
L
，进而确定左相机坐标系下圆螺母顶面圆的位姿：n
L
＝P
L
n
L
′
ꢀꢀꢀꢀ
(26)其中，矩阵P
L
为正交矩阵，其逆矩阵等于自身；且圆螺母顶面圆轮廓能够看作是圆锥曲面与某一平面的相交线，由于圆锥曲面的对称性，能够截得固定半径圆的支撑平面存在两个，故式(25)、式(26)皆存在两个解；S2.4：去除右相机坐标系下圆螺母顶面圆的位姿二义性以及去除左相机坐标系下圆螺母顶面圆的位姿表二义性；去除右相机坐标系下圆螺母顶面圆的位姿二义性的具体内容为：由于式(14)存在两个解，记为则中与Z
R
轴线夹角较小者为正确解，故在右相机坐标系下正确的圆螺母顶面圆法向量n
R
由下式得到：由于式(13)也存在两个解，对该两个解取均值，作为圆螺母顶面圆圆心在右相机坐标系下的正确坐标去除左相机坐标系下圆螺母顶面圆的位姿二义性的具体内容为：设经双目标定后得到左相机相对右相机的旋转矩阵、位移向量分别为R和t，利用R,t将n
R
转到左相机坐标系得到转到左相机坐标系得到由于式(26)存在两个解，记为则中与向量夹角较小者为正确解，故在左相机坐标系下正确的圆螺母顶面圆法向量n
L
可由下式得到：由于式(25)也存在两个解，对该两个解取均值，作为圆螺母顶面圆圆心在左相机坐标
系下的正确坐标3.根据权利要求2所述的一种基于双目视觉的圆螺母焊缝完整度缺陷检测方法，其特征在于，所述步骤S3的具体内容为：确定右相机图像中圆螺母底面圆圆心位置的具体内容为：结合公式(27)确定的n
R
值、步骤S2.3中确定的值、以及圆螺母高度h，得到右相机坐标系下圆螺母底面圆圆心坐标标系下圆螺母底面圆圆心坐标式中，表示的含义为右相机坐标系O
R
‑
X
R
Y
R
Z
R
下圆螺母底面圆圆心在X
R
轴方向上的坐标，表示的含义为右相机坐标系O
R
‑
X
R
Y
R
Z
R
下圆螺母底面圆圆心在Y
R
轴方向上的坐标，表示的含义为右相机坐标系O
R
‑
X
R
Y
R
Z
R
下圆螺母底面圆圆心在Z
R
轴方向上的坐标，表示的含义为右相机坐标系O
R
‑
X
R
Y
R
Z
R
下圆螺母顶面圆圆心在X
R
轴方向上的坐标，表示的含义为右相机坐标系O
R
‑
X
R
Y
R
Z
R
下圆螺母顶面圆圆心在Y
R
轴方向上的坐标，表示的含义为右相机坐标系O
R
‑
X
R
Y
R
Z
R
下圆螺母顶面圆圆心在Z
R
轴方向上的坐标；则圆螺母底面圆的圆心点O
B
在右相机图像坐标系O
r
...
【专利技术属性】
技术研发人员：郝飞，何余杰，邓正平，阮义胜，周鑫宇，朱超涵，宋佳潼，
申请(专利权)人：南京工程学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。