基于部分传感器信息的相机-惯性传感器标定方法技术

本发明专利技术公开了一种基于部分传感器信息的相机-惯性传感器标定方法，首先建立基于部分惯性传感器信息的标定方程，然后通过先恢复惯性传感器缺失的信息，再求解相机-惯性传感器之间的相对坐标变换，对上述基于部分惯性传感器信息的标定方程进行求解，并对标定结果进行了优化。解决了在惯性传感器输出信息不完全条件下相机-惯性传感器标定问题，并且在实际标定环境中，在有观测误差的情形下，设计的优化算法可以最优化最终标定结果，获得一个很好的标定精度。

【技术实现步骤摘要】
基于部分传感器信息的相机-惯性传感器标定方法
本专利技术属于计算机视觉中相机-惯性传感器标定领域，应用于同步定位与地图创建(simultaneouslocalizationandmapping，SLAM)技术中，具体涉及一种在惯性传感器的输出信息不完全情形下的相机和惯性传感器之间坐标系变换的标定方法。
技术介绍
同步定位与地图创建指的是移动物体在不确定自身位置的情况下，通过自身的传感器感知环境，在未知环境中创建一个与环境相一致的地图，并同时确定自身在地图中的位置和姿态。近年来随着计算机视觉等技术的进一步发展，基于单目视觉的同步定位与地图创建技术逐渐成为研究热点。考虑到单个感知器的缺点，即没有约束误差的方法，导致累积误差变大，研究者越来越多的关注多传感器融合的同步定位与地图创建方法。其中最常见的就是惯性传感器。为了进行数据融合，需要对相机-惯性传感器之间的相对坐标变换关系进行标定。传统的相机-惯性传感器标定中，相机和传感器的输出数据都是完整的。目前市场上成本低廉的中低档的惯性传感器可以输出的精度较高的三轴方向角中横滚角(Roll角)和俯仰角(Pitch角)，然而输出的偏航角(Yaw角)的误差相对较大。如果直接应用这种惯性传感器输出的误差较大的Yaw角信息辅助单目视觉SLAM系统，不但无法有效减小系统的累积误差，而且会进一步因引入较大的Yaw角误差而增大系统误差。鉴于此，有研究者提出了一种基于Roll角和Pitch角的实时单目视觉SLAM方法。在这种相机-惯性传感器标定中，惯性传感器的输出信息并不完全，因此，需要基于不完全惯性传感器信息进行相机-惯性传感器标定。
技术实现思路
本专利技术的目的是在惯性传感器输出信息不完全条件下进行相机-惯性传感器标定，并提供在实际中有观测误差情形下的标定方法。本专利技术采用如下技术方案：基于部分传感器信息的相机-惯性传感器标定方法，包括以下步骤：1)将相机-惯性传感器系统在两个不同的位姿进行多次测量，得到至少四组观测值；2)对于每组观测值，恢复惯性传感器坐标系在两个不同位姿之间的坐标变换RB；3)对于每两组不同的观测值，结合每组观测值分别恢复出的RB，用传统的手眼标定算法进行标定，得到4个所要求解的相机-惯性传感器之间的相对坐标变换R的候选值；4)重复上述标定过程，得到多组候选结果，比较得到的多组候选结果，通过选出每组候选结果中都一样的值来确定每两组的正确标定结果(正确的解在每组候选结果中都是一致的)；5)根据正确标定结果，恢复出每两组观测值中相应的α的真实值(至此，惯性传感器缺失的信息已经恢复，而且最终标定结果也得到)，完成基于部分传感器信息的相机-惯性传感器的标定。具体地，包括以下几个方面：1、基于部分传感器信息的标定方程在三维空间中，相机定义了相机坐标系，惯性传感器定义了惯性传感器坐标系。在系统中，相机和惯性传感器是固定在一起的，它们之间的相对坐标变换关系是固定的，为了进行数据融合，这个坐标变换关系需要标定出来。传统的相机-惯性传感器标定问题在理论上化为求解一个矩阵方程：RAR＝RRB这个方程称为标定方程，在标定时，需要将相机-惯性传感器系统在两个不同位姿进行观测。其中，RA是相机在两个不同位姿之间的坐标变换，可以通过相机标定方法算出，是已知的三维正交矩阵；RB是惯性传感器坐标系在两个不同位姿之间的坐标变换，可以从惯性传感器的数据计算出来，也是已知的三维正交矩阵。R则是所要求解的相机-惯性传感器之间的相对坐标变换，是未知的三维正交矩阵。在基于部分惯性传感器信息进行标定时，RB就不是已知矩阵。根据Euler角表示法，用惯性传感器输出的Roll角和Pitch角来重构RB，得到基于部分惯性传感器信息的标定方程：RAR＝R·Rot(Z，γ1)Rot(Y，β1)Rot(X，α1)·(Rot(Z，γ2)Rot(Y，β2)Rot(X，α2))-1其中β1，γ1，β2，γ2分别为惯性传感器在两个位姿输出的Roll角和Pitch角，是已知的值，α1，α2为惯性传感器在两个位姿的Yaw角，是未知的值，Rot(n，θ)表示绕n轴旋转θ角度的正交变换矩阵。2、理论标定方法本专利技术首先在理论上对上述基于部分惯性传感器信息的标定方程进行求解，得到其解析解。核心思路是先恢复惯性传感器缺失的信息，即先恢复RB然后再求解R。直观上，能对惯性传感器缺失的信息进行恢复，是因为惯性传感器和相机的相对位置是固定的，惯性传感器缺失的信息能通过相机的信息来弥补。理论操作上，是利用了矩阵的正交性和相似性的代数约束，恢复出缺失的信息。约定记号：Yi＝Rot(X，αi)，Pi＝Rot(Y，βi)，Oi＝Rot(Z，γi)，则Pi，Oi是已知矩阵，Ti未知。可以将RB写成：式中的上标T表示矩阵的转置，其中：K＝P2TO2TO1P1Y＝Y1Y2WK＝[kij]是已知三维矩阵，它的元素为kij，经过化简，Y可以写成：其中，α＝a1-α2，这样RB中只有一个未知参数α，恢复α的值即恢复了矩阵RB。根据矩阵相似理论知：(～表示矩阵相似关系)，则相似矩阵具有相同的迹(矩阵的迹是矩阵对角线上元素之和)：这样就可以求得α的两个候选值从而通过计算和来恢复标定方程中的RB，问题化为传统的标定问题，用手眼标定方法即可完成理论上的标定。关于手眼标定方法，相关研究已经成熟，这里不再赘述。规定每组测量值为系统在两个不同位姿的测量值{RA，β1，γ1，β2γ2}，根据手眼标定内容，需要两组测量值才能标定出R。实际标定中，每组观测值会恢复出α的两个候选值其中一个是正确的，这样，两组观测值标定出4个R的候选值，其中一个是正确的。为了得到正确的标定结果，需再进行一次标定，得到另外4个R的候选值，比较这两组的R的候选值，两组候选值中一样的值就是正确的标定结果，再回溯回去，检测是哪个α的候选值得到的正确标定结果，这个α的候选值就是相应的正确的α值。即完成理论上的标定。3、优化方法在现实标定过程中，存在着观测误差，若只用理论标定方法来进行标定，所得到的标定结果的误差必然很大。为了在实际中存在观测误差情况下得到比较精确的标定结果，本专利技术采用了优化方法来最优化标定结果。考虑m组观测值：{RAi，β1i，γ1i，β2iγ2i}，i＝1，2，…，m，定义残差矩阵：Zi(R，αi)＝RAiR-RRBi(αi)将矩阵Zi(R，αi)按照其列排成一个9维的列向量zi(R，αi)，这样就可以写出优化的代价函数：用四元数q来表示矩阵R(罗德里格斯公式)，则代价函数中的自变量可写为：x＝(q，α1，α2，…，αm)则标定问题可以化为最优化问题：这是一个最小二乘问题，典型方法是Gauss-Newton优化算法，一个改进的方法是Levenberg-Marquardt(LM)算法，比Gauss-Newton算法更加鲁棒。本专利技术的技术效果：本专利技术解决了在惯性传感器输出信息不完全条件下相机-惯性传感器标定问题，并且在实际标定环境中，在有观测误差的情形下，设计的优化算法可以最优化最终标定结果，获得一个很好的标定精度。本专利技术的标定算法不仅仅应用于上述提到的基于惯性传感器的视觉SLAM，其应有前景非常广阔，比如现在流行的智能手机，上面都配有高清摄像头，还有重力传感器，重力传感器并不能输出手机完全的本文档来自技高网...

【技术保护点】
基于部分传感器信息的相机‑惯性传感器标定方法，包括以下步骤：1)将相机‑惯性传感器系统在两个不同的位姿进行多次测量，得到至少四组观测值；2)对于每组观测值，恢复惯性传感器坐标系在两个不同位姿之间的坐标变换RB；3)对于每两组不同的观测值，结合每组观测值分别恢复出的的RB，用传统的手眼标定算法进行标定，得到4个所要求解的相机‑惯性传感器之间的相对坐标变换R的候选值；4)重复上述标定过柞，得到多组候选结果，比较得到的多组候选结果，通过选出每组候选结果中都一样的值来确定每两组的正确标定结果；5)根据正确标定结果，恢复出每两组观测值中相应的α的真实值，完成基于部分传感器信息的相机‑惯性传感器的标定。

【技术特征摘要】
2014.04.23 CN 201410166929.11.基于部分传感器信息的相机-惯性传感器标定方法，包括以下步骤：1)将相机-惯性传感器系统在两个不同的位姿进行多次测量，得到至少四组观测值；2)对于每组观测值，恢复惯性传感器坐标系在两个不同位姿之间的坐标变换RB，再对基于部分惯性传感器信息的标定方程进行求解，所述基于部分惯性传感器信息的标定方程为：RAR＝R·Rot（Z，γ1)Rot(Y，β1)Rot(X，α1)·(Rot(Z，γ2)Rot(Y，β2)Rot(X，α2))-1其中，RA是相机在两个不同位姿之间的坐标变换，β1，γ1，β2，γ2分别为惯性传感器在两个位姿输出的Roll角和Pitch角，是已知的值，α1，α2为惯性传感器在两个位姿的Yaw角，是未知的值，Rot(n，θ)表示绕n轴旋转θ角度的正交变换矩阵；3)对于每两组不同的观测值，结合每组观测值分别恢复出的RB，用传统的手眼标定算法进行标定，得到4个所要求解的相机-惯性传感器之间的相对坐标变换R的候选值；4)重复上述标定过程，得到多组候选结果，比较得到的多组候选结果，通过选出每组候选结果中都一样的值来确定每两组的正确标定结果；5)根据正确标定结果，恢复出每两组观测值中相应的α的真实值，完成基于部分传感器信息的相机-惯性传感器的标定。2.如权利要求1所述的基于部分传感器信息的相机-惯性传感器标定方法，其特征在于，每组观测值为系统在两个不同位姿的观测值{RA，β1，γ1，β2，γ2}，其中，RA是相机在两个不同位姿之间的坐标变换，β1，γ1，β2，γ2分别为惯性传感器在两个位姿输出的Roll角和Pitch角。3.如权利要求1所述的基于部分传感器信息的相机-惯性传感器标定方法，其特征在于，对于每组观测值，通过计算和来恢复RB，其中：为求解得到的α的两个候选值，K＝P2TO2TO1P1，Oi＝Rot(Z，γi)，Pi＝Rot(Y，βi)，i＝1，2，Rot(n...

【专利技术属性】
技术研发人员：刘宏，周玉龙，张国栋，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：广东;44