基于RGB-D照相机的跟踪系统及其方法技术方案

一种视觉SLAM系统包括多个关键帧，所述多个关键帧包括关键帧、当前关键帧以及先前关键帧；双密集视觉测距，其被配置为提供在多个关键帧中的两个关键帧之间的成对变换估计；帧生成器，其被配置为创建关键帧图；环约束评估器，其将约束添加到接收关键帧图；以及图优化器，其被配置为产生具有轨迹的绘图。

Tracking System and Method Based on RGB-D Camera

A visual SLAM system includes multiple key frames, which include key frames, current key frames and previous key frames; dual-dense visual ranging, which is configured to provide pairwise transform estimates between two key frames in multiple key frames; frame generator, which is configured to create key frame diagrams; and loop constraint evaluator, which adds constraints to the received key frame diagrams. And a graph optimizer configured to generate a drawing with a trajectory.

【技术实现步骤摘要】
【国外来华专利技术】基于RGB-D照相机的跟踪系统及其方法相关申请的交叉引用本申请要求2016年6月24日提交的美国临时专利申请系列号No.62/354,251的优先权，通过引用将其内容合并于此，如在本文中完全包含一样。
本公开一般地涉及跟踪系统，并且更特别地涉及基于RGB-D照相机的跟踪系统及其方法。
技术介绍
除非本文中另有指示，否则在本部分中描述的材料不是本申请中的权利要求的现有技术并且也不通过在本部分中的包含而被承认为是现有技术。
技术实现思路
下面记载了本文中公开的某些实施例的概述。应当理解：呈现这些方面仅用于向读者提供对该某些实施例的简要概述并且这些方面不旨在限制本公开的范围。实际上，本公开可以包含可能没有在下面记载的多个方面。本公开的实施例涉及一种用于计算视觉同时定位和绘图（Mapping）（SLAM）的方法。所述方法包括由视觉测距模块生成本地测距估计；由关键帧生成器生成关键帧；创建关键帧图；使用环约束（loopconstraint）评估器将约束添加到关键帧图；以及优化具有轨迹（trajectory）的关键帧图。所述方法还包括在生成本地测距估计之前生成在关键帧和当前帧之间的新关键帧。使用环约束评估器将约束添加到关键帧图的方法基于环闭合（loopclosure），其中环闭合是去往先前访问的位置的返回（return）。所述方法还包括在优化后基于关键帧图中的不同约束的边高度调整姿态图（posegraph）。根据本公开的另一个方面，一种将概率性传感器模型（probabilisticsensormodel）应用于密集视觉测距（densevisualodometry）的方法包括：由关键帧生成器生成关键帧，创建关键帧图，使用环约束评估器将约束添加到关键帧图以及优化具有轨迹的关键帧图。所述方法还包括在生成本地测距估计之前生成在关键帧和当前帧之间的新关键帧。使用环约束评估器将约束添加到关键帧图的方法基于环闭合，其中环闭合是去往先前访问的位置的返回。所述方法还包括在优化后基于关键帧图中的不同约束的边高度调整姿态图。根据本公开的另一个方面，一种用于几何误差的概率性传感器模型和光测误差（photometricerror）的t-分布的方法包括：。根据本公开的另一个方面，视觉SLAM系统包括多个关键帧，所述多个关键帧包括关键帧、当前关键帧以及先前（previous）关键帧；双密集视觉测距，其被配置为提供在多个关键帧中的两个关键帧之间的成对变换估计；帧生成器，其被配置为创建关键帧图；环约束评估器，其将约束添加到接收关键帧图；以及图优化器，其被配置为产生具有轨迹的绘图。附图说明当参考附图阅读某些示例性实施例的以下详细描述时，本公开的这些和其他特征、方面以及优势将变得更好理解，在附图中，相同的字符在整个附图中表示相同的技术，其中：图1是图示了视觉SLAM系统的框图；图2是图示了示例关键帧图和环约束评估器的结构的框图；图3图示了RGB-D照相机传感器模型；a图4是不确定性传播的框图；以及图5图示了由系统生成的绘图的示例。具体实施方式呈现以下的描述使得本领域中的任何技术人员能够制造和使用描述的实施例，并且在特定应用及其要求的上下文中提供以下的描述。对描述的实施例的各种修改对于本领域中的技术人员将容易清楚，并且在不脱离描述的实施例的精神和范围的情况下，可以将本文中限定的一般原理应用到其他实施例和应用。因此，描述的实施例不限制为所示实施例，而是符合与本文中公开的原理和特征相一致的最宽范围。可以以最有助于理解要求保护的主题的方式将各种操作依次描述为多个分立的动作或操作。然而，描述的顺序不应当被解释为隐含这些操作必须是依赖顺序的。特别地，可以不以呈现的顺序来执行这些操作。可以以与描述的实施例不同的顺序来执行描述的操作。在附加的实施例中，可以执行各种附加的操作和/或可以将描述的操作省略。图1是图示了视觉同时定位和绘图（SLAM）系统100的框图，所述视觉同时定位和绘图（SLAM）系统100被划分成前端100a和后端100b。在前端100a处，系统100通过充分使用来自RGB-D照相机的所有像素信息以生成本地变换估计112来使用视觉测距方法。也就是说，密集视觉测距108或110提供两个图像帧102、104、106之间的成对变换估计。如图示的那样，使用密集视觉测距108在关键帧102和当前帧104之间执行成对变换估计。使用密集视觉测距110在当前帧104和先前帧106之间执行第二成对变换估计。关键帧生成器114被用于基于测距估计的质量生成关键帧。在系统100的后端100b处，创建使用关键帧生成器114的关键帧图116。在环约束评估器118处，将基于例如是去往先前访问的位置的环闭合的返回的约束添加到关键帧图，以改进其连接性。然后，图优化器120利用约束来优化最终的图，以产生具有轨迹的优化的绘图122。将在下面描述关于关键帧图116和环约束评估器118的更多细节。概率性传感器模型被用在前端100a中并且执行关键帧生成114，并且环约束检测118和图优化120处于后端100b中。图2是图示了示例关键帧图200的结构的框图，其包括后端图优化202和本地邻域（neighborhood）204。在后端图优化202中，将与加权的测距约束组合的环约束优化。最近的关键帧和相对于被跟踪的帧被包括在本地邻域204中。基于熵的比确定关键帧和跟踪的帧。在当前帧不包含足够的信息来跟踪新的帧时，通过使用照相机姿态估计的熵来生成新的帧。当在关键帧和当前帧之间的估计的进入（entry）落在由本地邻域204中的最大估计熵标准化的阈值以下时，照相机姿态估计生成新的帧。假设最大估计熵是关键帧和第一帧之间的一个。提出了基于照相机轨迹的曲线估计的附加关键帧生成策略。在帧i和k之间的曲线估计被定义为在本地邻域N中的帧之间的平移（translation）的和相对于关键帧和最后帧之间的平移的比。等式（1）。如图2中图示的那样，去往先前访问的位置的返回有助于标识在环约束评估器118处被称为环闭合的对于图的附加的约束。在优化之后，基于图中不同约束的边权重来调整姿态图。错误的环约束有时可以导致不良优化的最终轨迹。将先前环约束生成方法扩展，可以使用两个附加的技术减少错误环约束的影响。首先，基于形成环闭合的关键帧之间的度量距离的平方反比（inversesquare）将环闭合约束加权。这基于远处帧之间的环约束比彼此接近的帧易于导致更大的误差的直观。其次，执行阻塞过滤（occlusionfiltering）以移除错误的环闭合约束。深度图像提供了可以被用于在两个关键帧之间执行阻塞过滤的几何信息。深度点的传感器模型不确定性的标准偏差提供了关于以下等式的最大可能深度移位的范围（bound）：等式（2）。违反该假设的所有点都被视为阻塞。关于新的关键帧的生成，利用先前关键帧信息更新后端的图并且创建双窗口图结构200。使用例如开源库g2o来优化后端中的姿态图。执行关于视觉测距的终止的最终优化以生成优化的照相机轨迹估计。通常地，RGB-D照相机投影红外图案并且从具有小视差的两个图像视图之间的对应来恢复深度。在此过程期间，差异被量化为子像素。这引入了深度测量中的量化误差。由于深度测量中的量化误差导致的噪声被定义为等式（3）其中本文档来自技高网...

【技术保护点】
1.一种用于计算视觉同时定位和绘图（SLAM）的方法，包括：通过视觉测距模块生成本地测距估计；通过关键帧生成器生成关键帧；创建关键帧图；使用环约束评估器将约束添加到关键帧图；以及优化具有轨迹的关键帧图。

【技术特征摘要】
【国外来华专利技术】2016.06.24 US 62/3542511.一种用于计算视觉同时定位和绘图（SLAM）的方法，包括：通过视觉测距模块生成本地测距估计；通过关键帧生成器生成关键帧；创建关键帧图；使用环约束评估器将约束添加到关键帧图；以及优化具有轨迹的关键帧图。2.根据权利要求1所述的方法，还包括：在生成本地测距估计之前生成在关键帧和当前帧之间的新关键帧。3.根据权利要求2所述的方法，其中使用环约束评估器将约束添加到关键帧图基于环闭合；其中环闭合是去往先前访问的位置的返回。4.根据权利要求3所述的方法，还包括在优化后基于关键帧图中的不同约束的边高度来调整姿态图。5.一种将概率性传感器模型应用于密集视觉测距的方法，包括：通过关键帧生成器生成关键帧；创建关键帧图；使用环约束评...

【专利技术属性】
技术研发人员：S金，BPW巴布，Z严，L任，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：德国,DE