基于前向投影折射模型的水下相机标定方法及装置制造方法及图纸

本发明专利技术提供一种基于前向投影折射模型的水下相机标定方法及装置，包括：初始化相机和标定板的位姿；固定相机位姿后，多次改变标定板位姿，在水下进行多姿态标定；基于张正友标定原理，辨识求解相机的内外参数初值；基于前向投影折射模型构建的考虑介质厚度影响的多介质折射模型和三阶的径向和切向畸变模型，对所述相机的所述内外参数初值进行迭代优化，辨识求解相机的内外参数终值，完成相机标定。本发明专利技术无需在相同的位置和姿态下获得相同的空中和水下目标图像，亦无需事先在空气中标定，获得相机的固有参数和畸变系数，可直接用于水下相机标定，标定耗时短，标定精度高，标定参数多，适用范围广。适用范围广。适用范围广。

【技术实现步骤摘要】
基于前向投影折射模型的水下相机标定方法及装置


[0001]本专利技术涉及水下标定领域，具体地，涉及一种基于前向投影折射模型的水下相机标定方法及装置。

技术介绍

[0002]水下相机标定技术，通常用于水下考古、水下机械手抓取、水下环境监测、水下航行器导航、水下形状重建、水下变形测量等多种水下应用场景，重要性不言而喻。水下成像时，当光线穿过不同介质之间的界面时，产生折射，导致出现难以消除的失真。因此，传统的空气中标定模型不再适用于水下成像，若继续应用，则会导致相当大的系统误差。
[0003]由于水下环境的复杂性，许多学者对如何削弱或消除水下环境对标定精度的影响进行了相关研究，主要分为三类：针孔成像法、等效补偿法和理论补偿法。针孔成像方法是在不考虑水下成像的特殊性的情况下，将针孔模型直接应用于水下成像中的相机标定和相应重建。等效补偿方法是将水下折射带来的影响与透镜的径向畸变或相机焦距的变化等效。理论补偿方法是根据光在不同介质中传播的实际轨迹，构造前向投影方程(从世界坐标系到像素坐标系)或反向投影方程(从像素坐标系到世界坐标系)。一般来说，前向投影法需要连续迭代解来优化和计算最优图像点，这很耗时，但精度很高。相比之下，反向投影法不需要复杂且大量的迭代优化来求解空间点，时间效率高但精度低。
[0004]目前的研究，一些模型需要在空气中进行事先校准，以计算相机的固有参数和畸变系数，进而进行后续的水下校准。更糟糕的是，部分模型必须在相同的位置和姿态下获得相同的空中和水下目标图像。此外，还需要很好地解决几个关键问题，例如计算时间短、测量精度高、简洁统一的多层折射模型。

技术实现思路

[0005]针对现有技术中的缺陷，本专利技术的目的是提供一种基于前向投影折射模型的水下相机标定方法及装置。
[0006]根据本专利技术的第一方面，提供一种基于前向投影折射模型的水下相机标定方法，包括：
[0007]初始化相机和标定板的位姿；
[0008]固定相机位姿后，多次改变标定板位姿，在水下进行多姿态标定；
[0009]基于张正友标定原理，辨识求解相机的内外参数初值；
[0010]基于前向投影折射模型和考虑介质厚度影响的多介质折射模型，对所述相机的内外参数初值进行迭代优化，辨识求解相机的内外参数终值，完成相机标定。
[0011]优选地，所述多次改变标定板位姿，在水下进行多姿态标定包括：
[0012]在相机的有效工作距离范围内，依次移动标定板至第j个位姿，相机拍摄此位姿下的标定板图像；
[0013]重复移动所述标定板位姿，直至标定板的位姿数量满足所述多姿态标定的数量要
求。
[0014]优选地，所述基于张正友标定原理，辨识求解相机的内外参数初值，包括：
[0015]对拍摄得到的水下每幅标定板图像，分别获取标定板的多个标志点在世界坐标系和图像坐标系下的对应坐标值；
[0016]基于所述多个标志点在世界坐标系和图像坐标系下的对应坐标值，根据单应性矩阵辨识求解相机的内外参数初值。
[0017]优选地，所述多介质折射模型，采用所述三阶的径向和切向畸变模型，对所述内外参数初值使用迭代方法，辨识求解相机的内外参数终值。
[0018]优选地，所述三阶的径向和切向畸变模型为：
[0019][0020]式中：(x,y)是畸变前的图像坐标值，r2＝x2+y2，(x
d
,y
d
)是畸变后的图像坐标值，P1是相机的1阶切向畸变系数，P2是相机的2阶切向畸变系数，k1是相机的1阶径向畸变系数，k2是相机的2阶径向畸变系数，k3是相机的3阶径向畸变系数。
[0021]优选地，所述所述基于前向投影折射模型构建的考虑介质厚度影响的多介质折射模型的数学表达式为：
[0022][0023]式中：(x
w
,y
w
,z
w
)是世界坐标系下的空间三维点坐标值，R是3行3列的旋转变换矩阵，T是3行1列的平移变换矢量，(u0,v0)是像素坐标系下的图像坐标系原点坐标值，(u,v)是对应的像素坐标系下的二维坐标值，f是相机焦距，(f
x
,f
y
)是图像坐标系下的单位距离的像素数量，(c
x
,c
y
)是对应的比率，即，c
x
＝f
x
/f，c
y
＝f
y
/f。
[0024]优选地，所述系数因子Δ的数学表达式为：
[0025][0026]式中：d
c
是介质I的厚度(相机光心到介质II的距离)，d
m
是介质II的厚度，z
c
是对应的相机坐标系下的三维空间点Z轴坐标值，n1是介质I的折射率，n2是介质II的折射率，n3是介质III的折射率，n
A
是介质I和介质II的折射率之比，即，n
A
＝n1/n2，n
B
是介质I和介质III的折射率之比，即，n
B
＝n1/n3。
[0027]优选地，所述多介质折射模型的数学表达式，从右至左，依次表示从世界坐标系到相机坐标系的刚体变换、从相机坐标系到图像坐标系的透视变换、从图像坐标系到像素坐标系的二次变换；
[0028]所述多介质折射模型的刚体变换，与空气中的针孔模型有相同的形式和外参系数；多介质折射模型型的透视变换，与空气中的针孔模型有相同的形式但不同的系数；多介质折射模型的二次变换，与空气中的针孔模型有相同的形式和内参系数。
[0029]优选地，相机和标定板在标定过程中始终位于水下。
[0030]根据本专利技术的第二个方面，提供一种基于前向投影折射模型的水下相机标定装置，包括平面标定板、工业相机和上位机，所述水下标定装置采用任一项所述的基于前向投影折射模型的水下相机标定方法进行标定。
[0031]与现有技术相比，本专利技术实施例具有如下至少一种有益效果：
[0032]本专利技术实施例中的基于前向投影折射模型的水下相机标定方法及装置，无需在相同的位置和姿态下获得相同的空中和水下目标图像，亦无需事先在空气中标定，获得相机的固有参数和畸变系数，可直接用于水下相机标定，标定耗时短，标定精度高，标定参数多，适用范围广。
附图说明
[0033]通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：
[0034]图1是本专利技术一较优实施例中的基于前向投影折射模型的水下相机标定方法流程图；
[0035]图2是本专利技术一较优实施例中的基于前向投影折射模型的水下相机标定装置布局示意图；
[0036]图3是本专利技术一较优实施例中的基于前向投影折射模型的水下相机标定方法的模型原理图；
[0037]图中：1为平面标定板，2为工业相机，3为上位机。
具体实施方式
[0038]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于前向投影折射模型的水下相机标定方法，其特征在于，包括：初始化相机和标定板的位姿；固定所述相机位姿后，多次改变所述标定板位姿，在水下进行多姿态标定；基于张正友标定原理，对所述多姿态标定进行辨识求解，获得所述相机的内外参数初值；基于前向投影折射模型构建的考虑介质厚度影响的多介质折射模型和三阶的径向和切向畸变模型，对所述相机的所述内外参数初值进行迭代优化，辨识求解相机的内外参数终值，完成相机标定。2.根据权利要求1所述的基于前向投影折射模型的水下相机标定方法，其特征在于，所述多次改变标定板位姿，在水下进行多姿态标定包括：在相机的有效工作距离范围内，依次移动标定板至第j个位姿，所述相机拍摄此位姿下的标定板图像；重复移动所述标定板位姿，直至所述标定板的位姿数量满足所述多姿态标定的数量要求。3.根据权利要求1所述的基于前向投影折射模型的水下相机标定方法，其特征在于，所述基于张正友标定原理，对所述多姿态标定进行辨识求解，获得所述相机的内外参数初值，包括：对拍摄得到的每幅水下的标定板图像，分别获取所述标定板的多个标志点在世界坐标系和图像坐标系下的对应坐标值；基于所述多个标志点在世界坐标系和图像坐标系下的对应坐标值，根据单应性矩阵辨识求解相机的内外参数初值。4.根据权利要求1所述的基于前向投影折射模型的水下相机标定方法，其特征在于，所述多介质折射模型，采用所述三阶的径向和切向畸变模型，对所述内外参数初值使用迭代方法，辨识求解相机的内外参数终值。5.根据权利要求4所述的基于前向投影折射模型的水下相机标定方法，其特征在于，所述三阶的径向和切向畸变模型为：式中：(x,y)是畸变前的图像坐标值，r2＝x2+y2，(x
d
,y
d
)是畸变后的图像坐标值，P1是相机的1阶切向畸变系数，P2是相机的2阶切向畸变系数，k1是相机的1阶径向畸变系数，k2是相机的2阶径向畸变系数，k3是相机的3阶径向畸变系数。6.根据权利要求4所述的基于前向投影折射模型的水下相机标定方法，其特征在于，所述基于前向投影折射模型构建的考虑介质厚度影响的多介质折射模型为：
式中：(x
w
,y
w
,z
w
)是世界坐标系...

【专利技术属性】
技术研发人员：王玉坤，陈晓波，习俊通，盛莹，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：