一种基于特征点不确定性的单目相机位姿估计方法技术

本发明专利技术公开了一种基于特征点不确定性的单目相机位姿估计方法，包括：根据特征点数据空间的像素灰度分布信息，构建特征点的测量误差的协方差逆矩阵；对特征点的协方差逆矩阵进行奇异值分解，得到特征点的仿射变换矩阵；进行不确定性加权，构建加权代数误差函数，根据加权代数误差函数得到线性方程模型，将线性方程模型改写为非线性方程模型；获取一致噪声方差，基于一致噪声方差对非线性方程模型进行求解得到偏差一致的闭式解，根据闭式解得到旋转矩阵的估计值和平移向量的估计值，输出相机位姿估计结果

【技术实现步骤摘要】
一种基于特征点不确定性的单目相机位姿估计方法


[0001]本专利技术涉及一种基于特征点不确定性的单目相机位姿估计方法，属于视觉测量

。

技术介绍

[0002]相机位姿估计在三维重建
、
自动驾驶
、
相机标定
、
增强现实
、
摄影测量中都有广泛应用
。
相机的姿态可以用旋转矩阵和平移向量描述，其也被称为相机的外参
。
通过建立世界坐标系和平面像素坐标系来描述特征点的
3D
‑
2D
匹配关系，以此求解出相机的外参，这个过程叫做
PnP
问题
。
[0003]现有的
PnP
算法大多通过建立代数误差函数，并通过迭代算法获得位姿的最优解
。
但这些算法忽略了特征点的观测误差，并未考虑特征点的不确定性
。
而考虑特征点不确定的
PnP
算法中，一般默认其观测误差为各向同性且独立同分布
。
在实际的特征点提取中，由于特征点周围的灰度分布模式差异较大，其误差常为各向异性且非独立同分布
。

技术实现思路

[0004]目的：为了克服现有技术中存在的不足，本专利技术提供一种基于特征点不确定性的单目相机位姿估计方法，该方法考虑了特征点不确定并消除了渐近偏差，提高位姿估计的精度及效率
。
[0005]技术方案：为解决上述技术问题，本专利技术采用的技术方案为：
[0006]第一方面，本专利技术提供一种基于特征点不确定性的相机位姿估计方法，包括：
[0007]根据特征点数据空间的像素灰度分布信息提取特征点的不确定信息，构建特征点的测量误差的协方差逆矩阵
Q
‑1；
[0008]对特征点的协方差逆矩阵
Q
‑1进行奇异值分解，得到特征点的仿射变换矩阵
F
；
[0009]基于特征点的仿射变换矩阵
F
对特征点进行不确定性加权，构建加权代数误差函数；
[0010]根据加权代数误差函数得到线性方程模型；
[0011]将线性方程模型改写为非线性方程模型；
[0012]基于非线性方程模型获取一致噪声方差，基于一致噪声方差对非线性方程模型进行求解得到偏差一致的闭式解
[0013]根据所述闭式解得到旋转矩阵的估计值和平移向量的估计值输出相机位姿估计结果
。
[0014]在一些实施例中，根据特征点数据空间的像素灰度分布信息提取特征点的不确定信息，构建特征点的测量误差的协方差逆矩阵，包括：
[0015]通过特征点的测量误差的协方差逆矩阵
Q
‑1描述特征点的不确定性，
Q
‑1的建模如下：
[0016][0017]其中，
Q
为测量误差的协方差矩阵，
W
为以特征点为中心的椭圆区域，
w(u,v)
为椭圆区域的像素灰度之和，和分别为图像在
u
和
v
方向上的梯度
。
[0018]在一些实施例中，对特征点的协方差逆矩阵
Q
‑1进行奇异值分解，得到特征点的仿射变换矩阵
F
，包括：
[0019]对
Q
‑1进行奇异值分解，得到
Q
‑1＝
U∑
‑1U
T
，其中，
[0020]仿射变换矩阵
[0021]其中，
σ1和
σ2表示特征点的不确定度，
∑
‑
1/2
将不确定性椭圆变换为单位圆，
U
T
是一个旋转矩阵，将倾斜的不确定椭圆旋转为与图像平面
u
和
v
方向相同的椭圆；
[0022]将特征点数据空间通过仿射变换矩阵
F
投影到加权协方差空间中，特征点的测量误差由各向异性分布转变为各向同性分布
。
[0023]在一些实施例中，基于特征点的仿射变换矩阵
F
对特征点进行不确定性加权，构建加权代数误差函数，包括：
[0024]相机小孔成像模型为：
[0025][0026]其中，为相机内参矩阵，单位为像素，
K
为已知量；
q
i
＝
[u
i v
i
]T
为第
i
个像素平面特征点，为世界坐标系下的参考点；
d
i
表示深度信息；
R
和
t
为待求解的外参信息，分别表示旋转矩阵和平移向量；
[0027]基于特征点的仿射变换矩阵
F
，考虑特征点的测量误差将相机小孔成像模型改写成：
[0028][0029][u
0 v0]T
已知，将上式简化并将特征点进行加权处理，得到观测方程：
[0030][0031]加权代数误差函数为：
[0032][0033]其中，
f
x
为
x
方向上的像素焦距
、f
y
为
y
方向上的像素焦距
、u0为像素平面
u
方向上的中心
、v0为像素平面
v
方向上的中心，
ε
i
测量误差
、W
指矩阵
E
指矩阵指矩阵表示第
i
个像素平面特征点的测量误差
、
表示第
i
个加权像素平面特征点，
F
i
表示第
i
个像素平面特征点的仿射变换矩阵
。
[0034]在一些实施例中，根据加权代数误差函数得到线性方程模型，包括：
[0035]在加权代数误差函数两边同时乘
d
i
，根据相机小孔成像模型，中间参数
e
＝
[0 0 1]T
，得到测量方程：
[0036][0037]将测量方程改写为矩阵形式，得线性方程模型：
[0038][0039]其中，
M
为系数矩阵，
x
由外参
R
和
t
组成，为误差项；其中表示矩阵的张量积，
I3表示一个3×3的单位矩阵
。
[0040]在一些实施例中，将线性方程模型改写为非线性方程模型，包括：
[0041]引入约束和以消除尺度模糊性；将旋转矩阵
R
记为
[r1 r2 r3]T
，平移向量
t
＝
[t
1 t
2 t3]T
...

【技术保护点】

【技术特征摘要】
1.
一种基于特征点不确定性的相机位姿估计方法，其特征在于，所述方法包括：根据特征点数据空间的像素灰度分布信息提取特征点的不确定信息，构建特征点的测量误差的协方差逆矩阵
Q
‑1；对特征点的协方差逆矩阵
Q
‑1进行奇异值分解，得到特征点的仿射变换矩阵
F
；基于特征点的仿射变换矩阵
F
对特征点进行不确定性加权，构建加权代数误差函数；根据加权代数误差函数得到线性方程模型；将线性方程模型改写为非线性方程模型；基于非线性方程模型获取一致噪声方差，基于一致噪声方差对非线性方程模型进行求解得到偏差一致的闭式解根据所述闭式解得到旋转矩阵的估计值和平移向量的估计值输出相机位姿估计结果
。2.
根据权利要求1所述的基于特征点不确定性的相机位姿估计方法，其特征在于，根据特征点数据空间的像素灰度分布信息提取特征点的不确定信息，构建特征点的测量误差的协方差逆矩阵，包括：通过特征点的测量误差的协方差逆矩阵
Q
‑1描述特征点的不确定性，
Q
‑1的建模如下：其中，
Q
为测量误差的协方差矩阵，
W
为以特征点为中心的椭圆区域，
w(u,v)
为椭圆区域的像素灰度之和，和分别为图像在
u
和
v
方向上的梯度
。3.
根据权利要求1所述的基于特征点不确定性的相机位姿估计方法，其特征在于，对特征点的协方差逆矩阵
Q
‑1进行奇异值分解，得到特征点的仿射变换矩阵
F
，包括：对
Q
‑1进行奇异值分解，得到
Q
‑1＝
U∑
‑1U
T
，其中，仿射变换矩阵其中，
σ1和
σ2表示特征点的不确定度，
∑
‑
1/2
将不确定性椭圆变换为单位圆，
U
T
是一个旋转矩阵，将倾斜的不确定椭圆旋转为与图像平面
u
和
v
方向相同的椭圆；将特征点数据空间通过仿射变换矩阵
F
投影到加权协方差空间中，特征点的测量误差由各向异性分布转变为各向同性分布
。4.
根据权利要求1所述的基于特征点不确定性的相机位姿估计方法，其特征在于，基于特征点的仿射变换矩阵
F
对特征点进行不确定性加权，构建加权代数...

【专利技术属性】
技术研发人员：于启炟，谢征峰，周晓彦，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：