一种基于制造技术

本发明专利技术公开了一种基于

【技术实现步骤摘要】
一种基于RGB
‑
D深度相机的密集视觉SLAM方法


[0001]本专利技术属于计算机视觉
，特别是涉及一种基于
RGB
‑
D
深度相机的密集视觉
SLAM
方法，属于基于现有的密集
SLAM
系统中的一种更优越的技术
。

技术介绍

[0002]密集测量方法是一种在稀疏选择的视觉特征之间建立对应关系来估计摄像机运动的方法，在
RGB
深度相机的应用
、
机器人技术
、
自动驾驶等机器视觉领域都有广泛的应用
。
在数据采集的过程中，由于受到环境和设备本身的限制，本专利技术仅仅从它的图像流来估计相机的运动，其中包括一组强度图像和相应的深度图像
。
密集
RGB
‑
D
对齐方法的总体思想是：在两个
RGB
‑
D
图像之间通过最小化光度和几何误差估计摄像机的运动，同时消除漂移影响
。
[0003]现有的密集测量技术可以概括为两类：
(1)
光速法平差
(bundle Adjustment)
，该方法本质是一个优化模型，其目的是最小化重投影误差
。
针对具体应用场景，光束平差法有不同收敛方法
。
目前常用的方法有梯度下降法，牛顿法，高斯牛顿法等方法
。
但光束平差法需要比较好的初始值才能比较快地收敛，所以光束平差法一般作为重建流水线的最后一个步骤
。(2)
位姿图优化
(Post
‑
Graph Optimization)
，位姿图优化
(PGO)
是一种基于成对相对测量值的位姿集估计问题
。
由于原始
PGO
问题有唯一解，并且原始解可以通过缩放一定程度来计算，这使得问题变得清晰明了了一些
。
但
PGO
是一个非凸问题，目前还没有一种已知的技术能够保证全局最优解的计算
。
[0004]综上所述：现有的倾向于基于视觉特征并结合
bundle
调整或位图优化的方法都存在一定的局限性，尚不能满足实际测量的需要
。
因此需要一种能有效利用传感器获取数据，并且实时运行，且能有效消除漂移
(drift)
的方法
。

技术实现思路

[0005]本专利技术提供了一种基于
RGB
‑
D
深度相机的密集视觉
SLAM
方法，该方法与几种最先进的密集方法直接比较，所产生的轨迹误差要小得多，解决了
技术介绍
中的问题
。
[0006]为解决上述技术问题，本专利技术是通过以下技术方案实现的：
[0007]本专利技术的一种基于
RGB
‑
D
深度相机的密集视觉
SLAM
方法，包括如下步骤：
[0008]S1、
获取强度图与深度图上的三维点所对应的投影函数与刚体运动变换函数：
[0009]S2、
利用先前定义的投影函数和刚体运动，导出一个翘曲函数
τ
，并定义一个光测误差
r
I
，在此光测误差的基础上，给出一个摄像机运动
ξ
所估计的概率公式；通过应用贝叶斯规则后，将光度和深度误差建模为能够淡化二元
t
‑
分布
p
t
(0,∑,
υ
)
的二元随机变量
r
＝
(r
I
,r
Z
)
，
[0010]S3、
在通过最小化光度和几何误差对齐两幅
RGB
‑
D
图像后发现，该方法固有地积累了漂移；考虑到创建一个新的关键帧用来克服这一限制，使用一种有效的循环闭包检测来进行关键帧的提取，并在数据集的末尾，通过搜索额外的循环闭包条件，对每个关键帧进行
调整，再次优化整个图；
[0011]S4、
将前三个步骤的结果作为输入，构造出场景的一致点云模型；与
RGB
‑
D
基准进行对比，通过数据集分析，从而表现出本专利技术的视觉
SLAM
方法是更优的方法
。
[0012]进一步地，所述
S1
步骤包括如下分步骤：
[0013]S11、
在每个时间步骤
t
中，摄像机提供一组
RGB
‑
D
图像，包括一幅强度图像
I
t
，和相应的深度图
Z
t
；
[0014]S12、
定义一个三维点在齐次坐标下为
Ρ
＝
(X,Y,Z,1)
T
；在它的像素坐标
X
＝
(x,y)
T
中重建一个点，并用逆方法重建相应的深度测量
Z
＝
Z
(X)
；投影函数
π
‑1：
[0015][0016]S13、
将摄像机运动
g
限制在形成特殊欧氏群
SE(3)
的刚体运动类别上，矩阵
T(
包含
R
旋转矩阵和
T
平移矩阵
)
：
[0017][0018]其中，特殊欧氏群
SE(3)
是指：在特殊正交群
SO(3)
空间中刚体绕定点转动，其构形空间
R
是特殊正交群
SO(3)
，
R
表达成
3x3
转动矩阵形式；而在旋转群
SO(3)
的基础上引入
P∈R3,
描述刚体的空间位置，
v
是
P
的切空间，以4×4齐次形式表示的刚体变换矩阵是一个
Lie
群，同时也是一个特殊欧氏群
SE(3)
，该群是刚体的位形空间；以变换矩阵
g
表示的点
Ρ
的变换定义为：
[0019]g(
Ρ
)
＝
Ρ
'
＝
T
p
ꢀꢀ
式Ⅲ。
[0020]进一步地，所述
S2
包括如下分步骤：
[0021]S21、
利用先前定义的投影函数和刚体运动，可以导出一个翘曲函数
τ
，它从第二幅图像中的第一幅图像中计算像素的位置：
[0022]X'
＝
τ本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
RGB
‑
D
深度相机的密集视觉
SLAM
方法，其特征在于，包括如下步骤：
S1、
获取强度图与深度图上的三维点所对应的投影函数与刚体运动变换函数：
S2、
利用先前定义的投影函数和刚体运动，导出一个翘曲函数
τ
，并定义一个光测误差
r
I
，在此光测误差的基础上，给出一个摄像机运动
ξ
所估计的概率公式；通过应用贝叶斯规则后，将光度和深度误差建模为能够淡化二元
t
‑
分布
p
t
(0,∑,
υ
)
的二元随机变量
r
＝
(r
I
,r
Z
)
，
S3、
在通过最小化光度和几何误差对齐两幅
RGB
‑
D
图像后发现，该方法固有地积累了漂移；考虑到创建一个新的关键帧用来克服这一限制，使用一种有效的循环闭包检测来进行关键帧的提取，并在数据集的末尾，通过搜索额外的循环闭包条件，对每个关键帧进行调整，再次优化整个图；
S4、
将前三个步骤的结果作为输入，构造出场景的一致点云模型；与
RGB
‑
D
基准进行对比，通过数据集分析，从而表现出本发明的视觉
SLAM
方法是更优的方法
。2.
根据权利要求1所述的一种基于
RGB
‑
D
深度相机的密集视觉
SLAM
方法，其特征在于，所述
S1
步骤包括如下分步骤：
S11、
在每个时间步骤
t
中，摄像机提供一组
RGB
‑
D
图像，包括一幅强度图像
I
t
，和相应的深度图
Z
t
；
S12、
定义一个三维点在齐次坐标下为
Ρ
＝
(X,Y,Z,1)
T
；在它的像素坐标
X
＝
(x,y)
T
中重建一个点，并用逆方法重建相应的深度测量
Z
＝
Z
(X)
；投影函数
π
‑1：
S13、
将摄像机运动
g
限制在形成特殊欧氏群
SE(3)
的刚体运动类别上，矩阵
T(
包含
R
旋转矩阵和
T
平移矩阵
)
：其中，特殊欧氏群
SE(3)
是指：在特殊正交群
SO(3)
空间中刚体绕定点转动，其构形空间
R
是特殊正交群
SO(3)
，
R
表达成
3x3
转动矩阵形式；而在旋转群
SO(3)
的基础上引入
P∈R3,
描述刚体的空间位置，
v
是
P
的切空间，以4×4齐次形式表示的刚体变换矩阵是一个
Lie
群，同时也是一个特殊欧氏群
SE(3)
，该群是刚体的位形空间；以变换矩阵
g
表示的点
Ρ
的变换定义为：
g(
Ρ
)
＝
Ρ
'
＝
T
p
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式Ⅲ。3.
根据权利要求1所述的一种基于
RGB
‑
D
深度相机的密集视觉
SLAM
方法，其特征在于，所述
S2
包括如下分步骤：
S21、
利用先前定义的投影函数和刚体运动，可以导出一个翘曲函数
τ
，它从第二幅图像中的第一幅图像中计算像素的位置：
X'
＝
τ
(X,T)
＝
π
(T
π
‑1(X,z1(X)))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式
IV
；
S22、
基于翘曲函数
τ
，定义一个像素
X
的光测误差
r
I
：...

【专利技术属性】
技术研发人员：张斌，骞志彦，
申请(专利权)人：视缘上海交通科技有限公司，
类型：发明
国别省市：