一种多路鱼眼相机双目标定装置及方法制造方法及图纸

本发明专利技术公开了一种多路鱼眼相机双目标定装置及方法，属于摄像机标定技术领域。该方法包括：采用全景摄像模块左右相邻两路鱼眼相机同时采集标定靶中不同位置标定板图像；选取等距投影畸变模型；根据采集到的相邻左右两路鱼眼镜头图像及成像模型分别计算两个镜头的内参数及每个视场的外参数；根据标定靶上两个标定板之间的位置关系及得到的相邻两个镜头的外参数计算相邻两个相机镜头之间的位置关系；对双目镜头的内外参数进行优化从而得到最优的左镜头的内外参数，右镜头的内外参数，左镜头与右镜头之间的旋转关系、平移关系；该标定方法采集畸变较小且大小适中的标定板图像，保证能够找到足够的特征点，大大提高了双目相机标定的精度。

【技术实现步骤摘要】
一种多路鱼眼相机双目标定装置及方法
本专利技术涉及摄像机标定
，尤其是涉及一种多路鱼眼相机双目标定装置及方法。
技术介绍
相机标定是摄影测量、3D成像和图像几何校正等工作中的关键技术之一，它的主要作用是估计相机的内外参数。标定结果的精度和标定算法的稳定性直接影响后续工作的准确性。已有的摄像机标定方法可以分为以下几类：(1)利用空间几何信息精确已知的立体标定物进行标定，立体标定物一般有多个平面标定板构成，高精度的立体标定板不便于制作和使用。(2)通过精确控制摄像机或平面标定物的运动进行标定，精确的运动控制结构复杂、成本高。(3)利用二维的平面标定板进行单个摄像机的标定，目前基于平面标定板进行单个镜头的标定算法主要依赖于标定板上各个特征点的坐标位置精度。双目摄像机的标定是指获取双摄像机的内部参数和两个摄像机之间的相对位置和姿态参数的过程，主要包括选定标定板，利用双目摄像机从多个角度采集标定板图像，分别对单个镜头进行内外参数标定，利用标定的外参数结果求解两镜头之间的旋转矩阵和平移向量。目前常用的双目相机标定的标定板和单目标定一样，首先鱼眼镜头的超大视场以及边缘的畸变非常严重，此外，在近距离下，两镜头之间的重叠区域非常小，采用一般的标定板会导致拍摄的图像不可用或者标定的结果不准确。
技术实现思路
本专利技术为克服现有基于普通标定板进行双目标定时结果不准确的技术问题，旨在提供一种标定结果准确度高的多路鱼眼相机双目标定装置及方法。本专利技术提供了一种多路鱼眼相机双目标定装置，包括：包括：全景摄像模块、第一电机驱动模块、第一滚轮组、图像处理模块、图像显示模块、标定靶、控制模块；所述全景摄像模块包括支架、设置在支架各侧面的多个鱼眼镜头及多个图像传感器，每个镜头对应一个图像传感器，所述多个鱼眼镜头位于同一竖直高度，所述多个鱼眼镜头与侧面转动连接；所述第一滚轮组设置于所述第一电机驱动模块底部，所述第一电机驱动模块通过第一驱动轴与所述全景摄像模块连接，所述图像处理模块连接所述全景摄像模块；所述图像显示模块连接所述图像处理模块；所述标定靶包括：底板，所述底板包括第一区域和第二区域，设置于所述第一区域表面并可在其范围内移动的第一标定板及设置于所述第二区域表面并可在其范围内移动的第二标定板；与底板固定连接的第二驱动轴，与所述第二驱动轴连接的第二电机驱动模块，设置在所述第二电机驱动模块底部的第二滚轮组；所述标定靶设置于所述全景摄像模块两路相机相邻区域，所述控制模块连接所述第一电机驱动模块和所述第二电机驱动模块。进一步的，所述鱼眼镜头及图像传感器均为4个。进一步的，所述标定装置还包括与所述第一标定靶结构相同的第二标定靶，所述第二标定靶设置于全景摄像模块相对于第一标定靶的另一侧。另外，本专利技术还提供了一种多路鱼眼相机双目标定方法，包括：进一步的，包括如下步骤：S1：采用全景摄像模块左右相邻两路鱼眼相机同时采集标定靶中不同位置标定板图像；S2：选取等距投影畸变模型；等距投影畸变模型具体表示如下：rd＝fθd；(1)公式(1)中，rd表示鱼眼图像中的点到畸变中心的距离，f表示鱼眼相机的焦距，θd表示入射光线与鱼眼镜头光轴之间的夹角，即入射角；选取径向畸变模型如下：θd＝θ(1+k1θ2+k2θ4+k3θ6+k4θ8+…)；(2)公式(2)中，θ表示无畸变的入射角，K＝(k1,k2,k3,k4,…)表示畸变参数；θd表示畸变入射角；通过上述畸变模型，从无畸变图像中的点计算出鱼眼图像中的畸变点，公式如下：公式(3)中，(xs，ys)是有畸变坐标点，(xc，yc)是无畸变坐标点，(cx，cy)表示畸变图像的中心点坐标；S3：根据采集到的相邻左右两路鱼眼镜头图像及成像模型分别计算左右两个镜头的内参数及每个视场的外参数Ml,Kl,Mr,Kr,具体计算方法如下：分别提取左右两路鱼眼镜头图像中所有标定板在图像平面内的特征点坐标，计算标定板坐标系下空间点与图像平面坐标系中特征点之间的单应矩阵Homography，单应矩阵计算方法如下：公式(4)中，表示图像平面坐标系中特征点坐标，表示标定板坐标系下空间特征点；s是任意尺度的比例因子；W表示用于定位观测的物体平面的物理变换，包括与观测到的图像平面相关的部分旋转R和部分平移T的和，W＝[RT]；M是摄像机的内参数矩阵，其中包括x方向焦距fx，y方向焦距fy，图像中畸变图像的中心点坐标(cx，cy)；由旋转矩阵的正交性分解单应矩阵Homography，构成一个包含镜头内部参数和外部参数的超定方程，通过奇异值分解及一系列变换分别得到左右两路鱼眼镜头的内部参数和外部参数；S4：根据标定靶上两个标定板之间的位置关系及得到的相邻两个镜头的外参数计算相邻两个相机镜头之间的位置关系；S5：根据计算的相邻左相机的内外参数、右相机的内外参数、左标定板与右标定板间的旋转及平移关系、左相机与右相机间的旋转及平移关系及选定的畸变模型对双目镜头的内外参数进行优化从而得到最优的左镜头的内外参数Ml,Kl,右镜头的内外参数Mr,Kr,左镜头与右镜头之间的旋转关系Rr→l、平移关系Tr→l；具体方法如下：采用Levenberg-Marquardt算法对相邻左右相机的内参数及左右相机镜头之间的关系进行优化，建立以重投影误差为最小的优化目标函数如下：公式(10)中，是根据左边平面标定模板上的特征点的初始值Plj使用左相机畸变模型重投影到图像坐标系下计算出来的第j个特征点在左相机第i幅图像上的图像坐标，是标定板上第j个特征点在左镜头第i幅图像上检测出来的特征点坐标，nl是左镜头第i幅图像上识别出的特征角点个数，是根据右边平面标定模板上的特征点的初始值使用右相机畸变模型重投影到图像坐标系下计算出来的第j个特征点在左相机第i幅图像上的图像坐标，右相机畸变模型是由左平面标定板的外参及左右两标定板之间的旋转、平移矩阵及左右两镜头之间的旋转、平移矩阵得到；是标定板上第j个特征点在右镜头第i幅图像上检测出来的特征点坐标，nr是右镜头第i幅图像上识别出来的特征角点数目。进一步的，所述采用全景摄像模块左右相邻两路鱼眼相机同时采集标定靶中不同位置标定板图像中，将标定靶上两个标定板分别移至标定靶第一区域和第二区域的中间，且两个标定板在水平方向上的间隔为L。进一步的，所述采用全景摄像模块左右相邻两路鱼眼相机同时采集标定靶中不同位置标定板图像中，左边鱼眼相机镜头拍摄第一区域中标定板图像，右边相机鱼眼镜头拍摄第二区域中标定板图像。进一步的，所述采用全景摄像模块左右相邻两路鱼眼相机同时采集标定靶中不同位置标定板图像中，通过所述第一电机驱动模块驱动支架平移和旋转，改变镜头的位姿，拍摄左右相邻两路鱼眼相机镜头在不同位姿下的标定板图像。进一步的，所述采用全景摄像模块左右相邻两路鱼眼相机同时采集标定靶中不同位置标定板图像中，通过所述第二电机驱动模块驱动标定靶在水平面和垂直面上移动以改变标定靶的位置。进一步的，所述S4具体包括：对于标定靶中两个标定板上，相对应位置的点X1、X2分别表示该点在世界坐标系的坐标，具有如下关系：X2＝RX1+T；(5)公式(5)中，R，T表示已知的标定靶中两个标定板在相对应位置点之间的旋转和平移关系；X1，X2在各自镜头坐标系下的坐标为Xl，Xr，它们之本文档来自技高网...

【技术保护点】
一种多路鱼眼相机双目标定装置，其特征在于，包括：全景摄像模块、第一电机驱动模块、第一滚轮组、图像处理模块、图像显示模块、标定靶、控制模块；所述全景摄像模块包括支架、设置在支架各侧面的多个鱼眼镜头及多个图像传感器，每个镜头对应一个图像传感器，所述多个鱼眼镜头位于同一竖直高度，所述多个鱼眼镜头与侧面转动连接；所述第一滚轮组设置于所述第一电机驱动模块底部，所述第一电机驱动模块通过第一驱动轴与所述全景摄像模块连接，所述图像处理模块连接所述全景摄像模块；所述图像显示模块连接所述图像处理模块；所述标定靶包括：底板，所述底板包括第一区域和第二区域，设置于所述第一区域表面并可在其范围内移动的第一标定板及设置于所述第二区域表面并可在其范围内移动的第二标定板；与底板固定连接的第二驱动轴，与所述第二驱动轴连接的第二电机驱动模块，设置在所述第二电机驱动模块底部的第二滚轮组；所述标定靶设置于所述全景摄像模块两路相机相邻区域，所述控制模块连接所述第一电机驱动模块和所述第二电机驱动模块。

【技术特征摘要】
1.一种多路鱼眼相机双目标定装置，其特征在于，包括：全景摄像模块、第一电机驱动模块、第一滚轮组、图像处理模块、图像显示模块、标定靶、控制模块；所述全景摄像模块包括支架、设置在支架各侧面的多个鱼眼镜头及多个图像传感器，每个镜头对应一个图像传感器，所述多个鱼眼镜头位于同一竖直高度，所述多个鱼眼镜头与侧面转动连接；所述第一滚轮组设置于所述第一电机驱动模块底部，所述第一电机驱动模块通过第一驱动轴与所述全景摄像模块连接，所述图像处理模块连接所述全景摄像模块；所述图像显示模块连接所述图像处理模块；所述标定靶包括：底板，所述底板包括第一区域和第二区域，设置于所述第一区域表面并可在其范围内移动的第一标定板及设置于所述第二区域表面并可在其范围内移动的第二标定板；与底板固定连接的第二驱动轴，与所述第二驱动轴连接的第二电机驱动模块，设置在所述第二电机驱动模块底部的第二滚轮组；所述标定靶设置于所述全景摄像模块两路相机相邻区域，所述控制模块连接所述第一电机驱动模块和所述第二电机驱动模块。2.根据权利要求1所述的多路鱼眼相机双目标定装置，其特征在于，所述鱼眼镜头及图像传感器均为4个。3.根据权利要求2所述的多路鱼眼相机双目标定装置，其特征在于，所述标定装置还包括与所述第一标定靶结构相同的第二标定靶，所述第二标定靶设置于全景摄像模块相对于第一标定靶的另一侧。4.一种多路鱼眼相机双目标定方法，利用如权利要求1至3任一项所述的标定装置对鱼眼相机进行标定，其特征在于，包括如下步骤：S1：采用全景摄像模块左右相邻两路鱼眼相机同时采集标定靶中不同位置标定板图像；S2：选取等距投影畸变模型；等距投影畸变模型具体表示如下：rd＝fθd；(1)公式(1)中，rd表示鱼眼图像中的点到畸变中心的距离，f表示鱼眼相机的焦距，θd表示入射光线与鱼眼镜头光轴之间的夹角，即入射角；选取径向畸变模型如下：θd＝θ(1+k1θ2+k2θ4+k3θ6+k4θ8+…)；(2)公式(2)中，θ表示无畸变的入射角，K＝(k1,k2,k3,k4,…)表示畸变参数；θd表示畸变入射角；通过上述畸变模型，从无畸变图像中的点计算出鱼眼图像中的畸变点，公式如下：公式(3)中，(xs，ys)是有畸变坐标点，(xc，yc)是无畸变坐标点，(cx，cy)表示畸变图像的中心点坐标；S3：根据采集到的相邻左右两路鱼眼镜头图像及成像模型分别计算左右两个镜头的内参数及每个视场的外参数Ml,Kl,Mr,Kr,具体计算方法如下：分别提取左右两路鱼眼镜头图像中所有标定板在图像平面内的特征点坐标，计算标定板坐标系下空间点与图像平面坐标系中特征点之间的单应矩阵Homography，单应矩阵计算方法如下：公式(4)中，表示图像平面坐标系中特征点坐标，表示标定板坐标系下空间特征点；s是任意尺度的比例因子；W表示用于定位观测的物体平面的物理变换，包括与观测到的图像平面相关的部分旋转R和部分平移T的和，W＝[RT]；M是摄像机的内参数矩阵，其中包括x方向焦距fx，y方向焦距fy，图像中畸变图像的中心点坐标(cx，cy)；由旋转矩阵的正交性分解单应矩阵Homography，构成一个包含镜头内部参数和外部参数的超定方程，通过奇异值分解及一系列变换分别得到左右两路鱼眼镜头的内部参数和外部参数；S4：根据标定靶上两个标定板之间的位置关系及得到的相邻两个镜头的外参数计算相邻两个相机镜头之间的位置关系；S5：根据计算的相邻左相机的内外参数、右相机的内外参数、左标定板与右标定板间的旋...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：长沙全度影像科技有限公司，
类型：发明
国别省市：湖南,43