一种基于自动定位的交叉式双目相机标定方法技术

本发明专利技术公开了一种基于自动定位的交叉式双目相机标定方法，首先选择两台CMOS相机作为双目相机，调整好双目相机的拍摄姿态和交叉视角；其次同步触发采集不同位姿下的标定板图片，计算不同位姿下的角点像素坐标信息，标定交叉式双目相机的参数矩阵，建立相机成像模型；再次同步采集工件图像，利用图像处理算法分离背景得到图像域，提取图像对中工件特征点匹配的二维像素坐标信息；最后将特征点匹配后的二维像素坐标成对输入到相机成像模型中，得到其在主相机空间坐标系下的三维坐标，实现自动定位功能。本发明专利技术充分考虑了成像过程中存在的特征点遮挡、遗失等实际问题，通过改变相机交叉角度有效提高标定精度，定位精度在5%以内，具有很强的实用性。

【技术实现步骤摘要】
一种基于自动定位的交叉式双目相机标定方法
本专利技术属于机器视觉检测定位
，涉及一种交叉式双目相机标定方法，具体涉及一种基于自动定位的交叉式双目相机标定方法。
技术介绍
在双目立体视觉标定检测定位领域，多采用平行式双目相机，对左、右相机的参数要求严格，需要完全相同的双目相机内参和外参数据。在理想的双目立体视觉标定模型下，相同配准点在左、右相机投影平面内可以做到完全行对准，现实中却难以达到平行式双目相机参数完全相同的目标，也很难做到不同位姿下的统一配准点在双目相机坐标系中位置相同。行业内普遍采取的措施是利用算法拟合修正，近似得到相同数据的平行式双目相机模型，增加了算法复杂度；并且传统的平行式双目相机视场范围小，对于大型零件的检测测量具有局限性，因此平行式双目相机标定检测系统普遍具有较大误差，无法很好地应用到实际加工过程中。
技术实现思路
为了解决传统平行式双目相机视场范围小和立体匹配后点云数据处理复杂的难题，本专利技术提出了一种基于自动定位的交叉式双目相机标定方法。该方法通过调整旋转云台确定两台独立CMOS相机的交叉视角，以增大汇聚面积，提高相机采集范围和标定精度；进而通过标定相机像素焦距、主点坐标、倾斜系数、旋转矩阵和平移向量等相关参数矩阵，建立交叉式双目相机间的成像模型来自动定位匹配点的空间三维坐标。为了实现上述目的，本专利技术采用的技术方案是：一种基于自动定位的交叉式双目相机标定方法，其特征在于，包括以下步骤：步骤1、选取两台CMOS相机作为双目相机，两台CMOS相机分别为作为主相机的左相机和作为辅相机的右相机，调整好两台CMOS相机的拍摄姿态和交叉视角；步骤2、将棋盘格标定板放置在双目相机的交叉视角范围内，同步触发双目相机采集棋盘格标定板不同姿态下的图像对；步骤3、以棋盘格标定板上的角点作为双目相机的匹配点，输入角点之间的物理距离和CMOS相机参数信息，建立双目相机的内部参数矩阵，其中fx为左相机焦距，fy为右相机焦距，u0，v0为像素坐标系原点的横纵坐标；步骤4、通过泰勒级数展开校正双目相机成像过程中的径向畸变和切向畸变，建立双目相机的畸变参数矩阵K；步骤5、利用小孔成像模型和三角形相似原理计算求得匹配点在像素坐标内分别到两台CMOS相机光心的距离；步骤6、根据步骤5中得到的匹配点到两台CMOS相机光心的距离，结合双目相机的内部参数矩阵，建立左、右相机间的旋转和平移关系，即得到以左相机为主相机的外部参数矩阵，外部参数矩阵包括旋转矩阵R和平移向量T；步骤7、根据步骤3至步骤6得到的参数矩阵，建立匹配点从三维到二维的相机成像模型，进而求得辅相机到主相机的本质矩阵E和基本矩阵F等参数；步骤8、在图像域同步采集完整工件表面信息，利用阈值分割、形态学图像处理、边缘轮廓提取和特征点匹配算法将工件表面信息与背景分离开并保存到图像域，提取左、右相机所拍摄图像中工件特征点的二维像素坐标信息(Ul,Vl)和(Ur,Vr)；步骤9、对相机成像模型求逆得到匹配点像素坐标到世界坐标转换的单应性矩阵[R|T]，通过输入工件特征点在交叉式双目相机中的二维像素坐标对，计算输出精准的空间三维坐标P=(x,y,z)，实现自动定位。进一步地，步骤1中，每台CMOS相机均安装在旋转云台上，所述旋转云台安装在三角支架上，通过旋转云台调整两台CMOS相机的拍摄姿态和交叉视角。进一步地，步骤2中，采集的图像对有15-25对。进一步地，步骤3中，所述CMOS相机参数信息包括焦距、分辨率和像元尺寸。进一步地，步骤4中，畸变参数矩阵K=[k1,k2,p1,p2,k3]的具体计算方式如下：步骤4.1、矫正模型采用的校正公式如下所示：公式（1）公式（2）其中，公式（1）为径向畸变矫正，公式（2）为切向畸变矫正，且(x0,y0)为像素平面上的理想坐标，(x,y)为成像畸变后的实际坐标，k1、k2、k3分别为径向畸变矫正的系数，p1、p2分别为切向畸变矫正的系数，r为该点距成像中心的距离；通过输入已知的实际坐标到矫正模型中，计算输出畸变前的理想坐标用于后期的三维空间定位；步骤4.2、通过校正公式求得CMOS相机的畸变参数矩阵K，保留前三项即[k1,k2,p1]；步骤4.3、计算得到畸变参数矩阵后，求其逆运算矩阵K-1，再结合实际采集得到的棋盘格标定板图像，求出校正后的真实图像信息。进一步地，步骤5中，具体步骤如下：步骤5.1、CMOS相机符合小孔成像模型，即满足公式：，式中f为焦距，m为物距，n为相距；步骤5.2、再结合三角相似原理，，式中b为双目相机的焦点之间距离，z为匹配点到像平面距离；xl为左相机中，匹配点在像素坐标内到光轴中心的距离；xr为右相机中，匹配点在像素坐标内到光轴中心的距离；步骤5.3、联立步骤5.1和步骤5.2中的两个计算公式，分别求得两台CMOS相机匹配点在像素坐标内与光轴间的距离xl和xr。进一步地，步骤7中，具体步骤如下：步骤7.1、所述参数矩阵包括内部参数矩阵M、畸变参数矩阵K、旋转矩阵R和平移向量T；步骤7.2、结合已求得的矩阵参数，进一步计算得到描述左、右相机间位姿关系的本质矩阵E和表示左、右相机像素坐标系间关系的基本矩阵F，计算公式如下所示：；，式中R为旋转矩阵，S为3x3矩阵，T为平移向量，Tx为x方向平移的距离，Ty为y方向平移的距离，Tz为z方向平移的距离；M为内部参数矩阵；步骤7.3、根据交叉式双目相机的硬件结构参数，并结合本质矩阵和基本矩阵参数，即可建立匹配点从三维到二维的相机成像模型。进一步地，步骤7中，所述硬件结构是指左、右相机之间的距离和拍摄姿态。与现有技术相比，本专利技术的有益效果是：本专利技术首先选择两台CMOS相机作为双目相机，调整好两台CMOS相机的拍摄姿态和交叉视角；其次同步触发采集不同位姿下的标定板图片，棋盘格标定板上的角点即为双目相机匹配点，通过计算不同位姿下的角点像素坐标信息，标定交叉式双目相机的各自内部参数矩阵、畸变参数矩阵和其相对于标定板的外部参数矩阵（旋转矩阵和平移矩阵），进而建立新型交叉式双目相机间的成像模型；再次在图像域同步采集完整工件表面信息，利用阈值分割、形态学图像处理、边缘轮廓提取和特征点匹配等算法将工件表面信息与背景分离开并保存到图像域，进而自动提取左右图像对中工件特征点匹配的二维像素坐标信息；最后将特征点匹配后的二维像素坐标成对输入到相机成像模型中，得到其在主相机空间坐标系下的三维坐标，实现工件特征点由像素坐标系到空间坐标系的转换即自动定位功能。实验证明，本专利技术所提方法充分考虑了成像过程中存在的特征点遮挡、遗失等实际问题，可以通过改变相机交叉角度有效提高标定精度，实现自动定位，定位精度在5%以内，具有很强的实用性。附图说明图1为本专利技术方法实施例中交叉式双目相机标定本文档来自技高网...

【技术保护点】
1.一种基于自动定位的交叉式双目相机标定方法，其特征在于，包括以下步骤：/n步骤1、选取两台CMOS相机作为双目相机，两台CMOS相机分别为作为主相机的左相机和作为辅相机的右相机，调整好两台CMOS相机的拍摄姿态和交叉视角；/n步骤2、将棋盘格标定板放置在双目相机的交叉视角范围内，同步触发双目相机采集棋盘格标定板不同姿态下的图像对；/n步骤3、以棋盘格标定板上的角点作为双目相机的匹配点，输入角点之间的物理距离和 CMOS相机参数信息，建立双目相机的内部参数矩阵

【技术特征摘要】
1.一种基于自动定位的交叉式双目相机标定方法，其特征在于，包括以下步骤：
步骤1、选取两台CMOS相机作为双目相机，两台CMOS相机分别为作为主相机的左相机和作为辅相机的右相机，调整好两台CMOS相机的拍摄姿态和交叉视角；
步骤2、将棋盘格标定板放置在双目相机的交叉视角范围内，同步触发双目相机采集棋盘格标定板不同姿态下的图像对；
步骤3、以棋盘格标定板上的角点作为双目相机的匹配点，输入角点之间的物理距离和
CMOS相机参数信息，建立双目相机的内部参数矩阵，其中fx为左相机
焦距，fy为右相机焦距，u0，v0为像素坐标系原点的横、纵坐标；
步骤4、通过泰勒级数展开校正双目相机成像过程中的径向畸变和切向畸变，建立双目相机的畸变参数矩阵K；
步骤5、利用小孔成像模型和三角形相似原理计算求得匹配点在像素坐标内分别到两台CMOS相机光心的距离；
步骤6、根据步骤5中得到的匹配点到两台CMOS相机光心的距离，结合双目相机的内部参数矩阵，建立左、右相机间的旋转和平移关系，即得到以左相机为主相机的外部参数矩阵，外部参数矩阵包括旋转矩阵R和平移向量T；
步骤7、根据步骤3至步骤6得到的参数矩阵，建立匹配点从三维到二维的相机成像模型，进而求得辅相机到主相机的本质矩阵E和基本矩阵F；
步骤8、在图像域同步采集完整工件表面信息，利用阈值分割、形态学图像处理、边缘轮廓提取和特征点匹配算法将工件表面信息与背景分离开并保存到图像域，提取左、右相机所拍摄图像中工件特征点的二维像素坐标信息(Ul,Vl)和(Ur,Vr)；
步骤9、对相机成像模型求逆得到匹配点像素坐标到世界坐标转换的单应性矩阵[R|T]，通过输入工件特征点在交叉式双目相机中的二维像素坐标对，计算输出精准的空间三维坐标P=(x,y,z)，实现自动定位。


2.如权利要求1所述的交叉式双目相机标定方法，其特征在于：步骤1中，每台CMOS相机均安装在旋转云台上，所述旋转云台安装在三角支架上，通过旋转云台调整两台CMOS相机的拍摄姿态和交叉视角。


3.如权利要求1所述的交叉式双目相机标定方法，其特征在于：步骤2中，采集的图像对有15-25对。


4.如权利要求1所述的交叉式双目相机标定方法，其特征在于：步骤3中，所述CMOS相机参数信息包括焦距、分辨率和像元尺寸。


5.如权利要求1所述的交叉式双目相机标定...

【专利技术属性】
技术研发人员：朱大虎，刘红帝，涂秋平，田林雳，华林，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：湖北;42