一种增强现实视觉显示器中的相机标定方法、系统及应用技术方案

本发明专利技术属于增强现实技术领域，公开了一种增强现实视觉显示器中的相机标定方法、系统及应用，对使用Harris角点检测算法检测出的特征点进行精化提纯；对标准相机成像模型公式进行再推导，引入镜头畸变系数；对原始天牛须搜索算法BAS进行改进，引入两个变量μ和eta，求解出的相机参数初始值的优化。本发明专利技术对原始的天牛须搜索算法进行改进，采用变步长系数衰减替代每次迭代的衰减步长系数，同时利用到内参与畸变系数具有不同的数量级大小，按数量级比例调整步长分量大小，解决了原优化算法易陷入局部最优值，高维变量优化效果差的缺点。本发明专利技术改进了相机成像模型，利用内参与畸变系数的函数关系进行拟合，使相机的标定精度得到进一步提高。提高。提高。

【技术实现步骤摘要】
一种增强现实视觉显示器中的相机标定方法、系统及应用


[0001]本专利技术属于增强现实
，尤其涉及一种增强现实视觉显示器中的相机标定方法、系统及应用。

技术介绍

[0002]目前，在增强现实的视觉显示器中，通常使用相机作为物理跟踪设备，将相机拍摄的图像通过成熟的计算机视觉技术加以分析，以满足增强现实系统对于三维注册的高质量要求。目前常用的视觉显示器一般有智能手机，平板电脑，头戴式显示器(Head Mounted Display，HMD)等等。在增强现实中，需要将虚拟的电子信息与真实的物理世界对齐，相机就是联系两者的媒介，那么便需要建立起精确的相机几何模型。因此，对相机的标定至关重要。
[0003]相机标定就是测量出相机的内参以及镜头的畸变系数，而这些参数通常被视为常量，不需要在线实时测量，只需要在设备启动前或者设备出厂时进行标定并解算出参数，在后续计算中使用即可。所以在增强现实设备中更多考虑的是离线标定，在算法的时间复杂度上可以放宽要求，更多地考虑精度与鲁棒性。
[0004]相机标定方法一般分为传统相机标定法以及相机自标定法，由于相机自标定法的标定精度低，鲁棒性差，无法建立起高精度的相机模型，故增强现实设备中一般采用传统相机标定法。传统相机标定法借助了一些尺寸已知且具有特定规律的标志点，通过空间中某点的三维位置与像平面上对应点的相互关系，解算出相机的相对几何位姿关系，以及相机的内参与畸变系数。目前使用最广泛的是张正友标定法、Tsai两步标定法和直接线性变换方法等。张正友标定法使用了一个黑白的平面棋盘格，从不同位置与角度拍摄多组图片，通过这些图片求解相机的参数，再进行非线性优化，但是标定精度偏低。Tsai两步标定法利用解超定线性方程组得到相机参数，再考虑畸变系数，但无法通过一个平面标定全部的内参数，且涉及非线性运算可能使得结果不稳定。
[0005]近年来很多研究者更多地在研究如何优化标定的初值，他们先用张正友标定方法获得相机内参初始值，然后使用智能优化算法进行迭代优化。徐呈艺等人将粒子群算法进行改进，在不同迭代阶段实现对惯性参数非线性自适应调整，以平衡局部和全局搜索能力，并且采用驱散机制扩大粒子群所在空间范围，避免算法过早收敛。游江等人将遗传模拟退火算法进行改进，结合收敛性较好的遗传算法和局部搜索能力较强的模拟退火算法，提出基于竞争力权值的自适应交叉和变异概率的方法，在进化后期，基于种群趋于稳定准则，加入模拟退火机制再进行优化。王道累等人提出一种基于天牛须搜索算法的优化方法，模拟天牛觅食的过程，但是其并不适用于高维向量的优化并且容易陷入局部最优解。
[0006]通过上述分析，现有技术存在的问题及缺陷为：
[0007](1)相机自标定法标定精度低，鲁棒性差，无法建立起高精度的相机模型。
[0008](2)传统相机标定法中，张正友标定法的标定精度偏低；Tsai两步标定法无法通过一个平面标定全部的内参数，且涉及非线性运算可能使得结果不稳定。
[0009](3)现有的基于天牛须搜索算法的优化方法，并不适用于高维向量的优化并且容易陷入局部最优解。

技术实现思路

[0010]针对现有技术存在的问题，本专利技术提供了一种增强现实(Augment Reality，AR)视觉显示器中的相机标定方法、系统及应用。
[0011]本专利技术是这样实现的，一种增强现实视觉显示器中的相机标定方法包括以下步骤：
[0012]步骤一，对使用Harris角点检测算法检测出的特征点进行精化提纯，并且选择了一个最优的精化迭代次数；
[0013]步骤二，对标准相机成像模型公式进行再推导，引入镜头畸变系数，使得成像模型更加精确；
[0014]步骤三，对原始天牛须搜索算法BAS进行改进，引入两个变量μ和eta，并用于步骤一和步骤二求解出的相机参数初始值的优化，通过与传统天牛须搜索算法，MATLAB标定工具箱标定算法进行对比实验，对新引入的两个参数变量μ和eta进行消融实验充分验证了本方法的优越性。
[0015]进一步，所述步骤一中的角点亚像素精化包括：通过亚像素精化得到更加精确的亚像素坐标值。当q0是通过角点检测算法得到的初始像素点，最终的亚像素点为q
t
。亚像素精化是一个不断迭代优化的过程，为求解新的亚像素点q1，以离q0点最近的整数坐标为中心，选取一个窗口内的多个像素点p
i
，通过所述像素点p
i
与窗口中心像素点的坐标信息不断迭代优化，最终得到精化的亚像素坐标值。
[0016]具体步骤如下：选取像素点p
i
后，计算所述像素点p
i
的梯度信息G
i
。
[0017]若选择的p
i
位于棋盘格边缘上，则此时的梯度G
i
与矢量(p
i
‑
q1)正交；若选择的p
i
不在边缘上，则p
i
点附近的像素值都是一样的，此时没有梯度大小，对于选取的单个像素点p
i
，下式始终成立：
[0018]G
i
*(p
i
‑
q1)＝0；
[0019]所有选择的像素点均满足上式，则在最小二乘形式下计算伪逆可以得到新的亚像素点：
[0020][0021]得到亚像素坐标，进行多次迭代，由于迭代过程中，选取周围像素点并计算梯度信息时引入更多的误差，故指定精度阈值ε为迭代终止条件，此时认为得到精确的亚像素坐标：
[0022]||q
t
‑
q
t
‑1||2≤ε。
[0023]进一步，所述步骤二中的相机成像模型包括：
[0024]物体成像时，在三维坐标系中进行转换，从世界坐标系O
‑
X
w
Y
w
Z
w
转换到相机坐标系O
‑
X
c
Y
c
Z
c
，再通过投影变换转换到二维的图像坐标系O
‑
XY，最后转换到像素坐标系O
‑
UV；其中，三维空间中的变换称为刚体变换，只改变物体的朝向和空间位置，而不改变形状，利用两个变量描述，旋转矩阵R和平移向量T，表达形式为：
[0025][0026]转换成齐次坐标为：
[0027][0028]从相机坐标系到图像坐标系的变换称为透视投影变换，将三维信息转换为二维信息，丢失深度信息，根据比例关系，得到以下关系式：
[0029][0030][0031][0032]径向畸变δ
r
用如下数学表达式描述：
[0033][0034]切向畸变δ
d
用如下数学表达式描述：
[0035][0036][0037]在引入镜头的畸变后，成像点从理想图像坐标点到真实图像坐标点的变换关系表示为：
[0038]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种增强现实视觉显示器中的相机标定方法，其特征在于，所述增强现实视觉显示器中的相机标定方法包括以下步骤：step 1:对使用Harris角点检测算法检测出的特征点进行精化提纯，并且选择了一个最优的精化迭代次数；step 2:对标准相机成像模型公式进行再推导，引入镜头畸变系数，使得成像模型更加精确；step 3:对原始天牛须搜索算法BAS进行改进，引入两个变量μ和eta，并用于step 1和step 2求解出的相机参数初始值的优化，通过与传统天牛须搜索算法，MATLAB标定工具箱标定算法进行对比实验，对新引入的两个参数变量μ和eta进行消融实验充分验证了本方法的优越性。2.如权利要求1所述增强现实视觉显示器中的相机标定方法，其特征在于，所述步骤一中的角点亚像素精化包括：通过亚像素精化得到更加精确的亚像素坐标值；当q0是通过角点检测算法得到的初始像素点，最终的亚像素点为q
t
。亚像素精化是一个不断迭代优化的过程，为求解新的亚像素点q1，以离q0点最近的整数坐标为中心，选取一个窗口内的多个像素点p
i
，通过所述像素点p
i
与窗口中心像素点的坐标信息不断迭代优化，最终得到精化的亚像素坐标值；选取像素点p
i
后，计算所述像素点p
i
的梯度信息G
i
；选择的p
i
位于棋盘格边缘上时，则梯度G
i
与矢量(p
i
‑
q1)正交；选择的p
i
不在边缘上，则p
i
点附近的像素值一样，没有梯度大小，对于选取的单个像素点p
i
，下式始终成立：G
i
*(p
i
‑
q1)＝0；所有选择的像素点均满足上式，则在最小二乘形式下计算伪逆得到新的亚像素点：得到亚像素坐标，进行多次迭代，精度阈值ε为迭代终止条件，得到精确的亚像素坐标：||q
t
‑
q
t
‑1||2≤ε。3.如权利要求1所述增强现实视觉显示器中的相机标定方法，其特征在于，所述步骤二中的相机成像模型包括：物体成像时，在三维坐标系中进行转换，从世界坐标系O
‑
X
w
Y
w
Z
w
转换到相机坐标系O
‑
X
c
Y
c
Z
c
，再通过投影变换转换到二维的图像坐标系O
‑
XY，最后转换到像素坐标系O
‑
UV；三维空间中的变换为刚体变换，只改变物体的朝向和空间位置，不改变形状，旋转矩阵R和平移向量T，表达形式为：转换成齐次坐标为：从相机坐标系到图像坐标系的变换为透视投影变换，将三维信息转换为二维信息，丢
失深度信息，根据比例关系，得到以下关系式：失深度信息，根据比例关系，得到以下关系式：失深度信息，根据比例关系，得到以下关系式：径向畸变δ
r
用下数学表达式描述：切向畸变δ
d
用...

【专利技术属性】
技术研发人员：荣晗戈，张秀山，徐浩，李永杰，史蓓蕾，
申请(专利权)人：中国人民解放军海军工程大学，
类型：发明
国别省市：