【技术实现步骤摘要】
【国外来华专利技术】
本申请实施例涉及图像数据处理，包括但不限于用于确定同步定位与地图构建(slam)中相机设备的相机姿势的方法、系统、和非易失性计算机可读介质。
技术介绍
1、同步定位与地图构建(slam)广泛应用于虚拟现实(vr)、增强现实(ar)、自动驾驶和导航。在slam中，场景的特征点被检测并应用于绘制与场景相对应的三维(3d)虚拟空间。使用许多移动设备中存在的光学相机和惯性测量单元(imu)，可以方便、准确地绘制场景的特征点，从而映射到三维虚拟空间中。此外，当前的工作基于词袋技术检测与当前图像匹配的历史关键帧。从每个历史关键帧中提取词袋描述符，并将其保存在映射数据库中，以表示各自的历史关键帧。描述符匹配用于将当前图像与一组历史关键帧中的每个关键帧进行比较，并确定匹配的历史关键帧，从而在slam中形成当前图像与匹配的历史关键帧之间的循环闭合。然而，随着映射数据库的扩展以包含更多历史关键帧，搜索时间会增加，而搜索可靠性会下降。在某些情况下，数据是从与相似场景对应的大空间中收集的。许多slam系统只考虑二维(2d)描述符，而二维描述符缺乏语义或结构信息，因此基于这种词袋技术往往会产生错误的检测结果。即使能够检测到相似的历史关键帧，在比较特征点的后续阶段，图像匹配也可能失败。因此，为slam系统配备快速、高效且准确的图像匹配机制将大有裨益。
技术实现思路
1、本申请的多种实施方式公开了一种层次循环闭合检测和匹配策略，以实现准确的slam结果并提供结构级语义信息。一种快速、高效、且准确的基于slam的
2、在识别出当前图像的拍摄房间后，将进行房间级匹配，以确定该房间是否曾被访问过。根据识别出的房间是否属于之前访问过的多个已知房间之一，当前图像将与存储在相应已知房间中的一系列历史关键帧相关联。区域和/或物体匹配以及关键点匹配在房间级匹配之后进行，用于识别匹配的历史关键帧，从中提取前姿势，并用于确定与当前图像关联的相机姿势。因此，房间级匹配是房间定位的新水平，用于减少当前图像进行比较的历史关键帧的数量，从而显著提高slam中图像匹配和姿势确定的速度、效率、和准确度。
3、第一方面，本申请公开了一种用于同步定位与地图构建(slam)的方法，由电子设备实现。该方法包括：获取视觉图像序列，其中，所述视觉图像序列中的每个视觉图像在对应的房间内捕获；对于所述视觉图像序列中的第一视觉图像(例如，当前图像)，在多个已知房间中识别当前房间；其中，所述第一视觉图像在所述当前房间内捕获；每个所述已知房间对应前图像集，所述前图像集映射所述已知房间；所述前图像集的每个前图像与所述已知房间中的对应前姿势相关联。该方法进一步包括：根据所述当前房间在所述多个已知房间中的识别：识别与所述当前房间相关联的第一前图像集；从所述第一前图像集中选择第一前图像，以匹配所述第一视觉图像；以及根据与所述第一前图像相关联的第一前姿势，确定与所述第一视觉图像相关联的第一相机姿势。
4、在一些实施例中，该方法进一步包括：获取与所述视觉图像序列同步的深度图像序列；其中，每个所述视觉图像对应于所述深度图像序列中对应的深度图像，并与对应的相机姿势相关联；所述视觉图像序列具有第一视觉图像子集，所述第一视觉图像子集是在所述当前房间中捕获的并且包括所述第一视觉图像。该方法进一步包括：根据所述第一视觉图像子集和相应的第一深度图像子集，构建所述当前房间的当前三维房间模型。进一步，在一些实施例中，所述多个已知房间中的每一个已知房间对应于各自的嵌入集；该方法进一步包括：提取所述当前房间的所述当前三维房间模型的第一嵌入集；其中，所述第一嵌入集包括描述所述当前房间的语义和实例信息；所述第一嵌入集包括多个语义元素，被配置为提供位于所述当前三维房间模型中的多个对象或区域的语义信息。进一步，在一些实施例中，该方法进一步包括：将所述第一嵌入集与每个所述已知房间的对应嵌入集进行比较；以及根据比较结果，确定所述第一嵌入集满足房间识别标准，从而在所述多个已知房间中识别所述当前房间。
5、在另一方面，本申请公开了一种电子设备，包括：一个或多个处理器；以及存储有指令的存储器；其中，当由所述一个或多个处理器执行所述指令时，所述一个或多个处理器执行上述任一方法。
6、在另一方面，本申请公开了一种非临时性的计算机可读介质，存储有指令；当所述指令由一个或多个处理器执行时，一个或多个所述处理器执行上述任一方法。
7、提及这些说明性实施例和实施方式并非为了限制或定义公开内容，而是为了举例说明，帮助理解公开内容。详细描述中讨论了其他实施例，并提供了进一步的描述。
本文档来自技高网...【技术保护点】
1.一种用于同步定位与地图构建(SLAM)的方法，由电子设备实现，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，进一步包括：
3.根据权利要求2所述的方法，其特征在于，所述第一视觉图像子集包括紧随所述第一视觉图像的第二视觉图像；所述方法进一步包括：
4.根据权利要求2所述的方法，其特征在于，所述第一视觉图像子集包括备选视觉图像；所述方法进一步包括：
5.根据权利要求2至4中任一项所述的方法，其特征在于，所述第一视觉图像子集包括在所述第一视觉图像之前的第三视觉图像；所述方法进一步包括：
6.根据权利要求2至4中任一项所述的方法，其特征在于，所述多个已知房间中的每一个已知房间对应于各自的嵌入集；所述方法进一步包括：
7.根据权利要求6所述的方法，其特征在于，所述方法进一步包括：
8.根据权利要求6所述的方法，其特征在于，所述方法进一步包括：
9.根据权利要求1所述的方法，其特征在于，进一步包括：
10.根据权利要求9所述的方法，其特征在于，进一步包括：
<...【技术特征摘要】
【国外来华专利技术】
1.一种用于同步定位与地图构建(slam)的方法，由电子设备实现，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，进一步包括：
3.根据权利要求2所述的方法，其特征在于，所述第一视觉图像子集包括紧随所述第一视觉图像的第二视觉图像；所述方法进一步包括：
4.根据权利要求2所述的方法，其特征在于，所述第一视觉图像子集包括备选视觉图像；所述方法进一步包括：
5.根据权利要求2至4中任一项所述的方法，其特征在于，所述第一视觉图像子集包括在所述第一视觉图像之前的第三视觉图像；所述方法进一步包括：
6.根据权利要求2至4中任一项所述的方法，其特征在于，所述多个已知房间中的每一个已知房间对应于各自的嵌入集；所述方法进一步包括：
7.根据权利要求6所述的方法，其特征在于，所述方法进一步包括：
8.根据权利要求6所述的方法，其特征在于，所述方法进一步包括：
9.根据权利要求1所述的方法，其特征在于，进一步包括：
10.根据权利要求9所述的方法，其特征在于，进一步包括：
11.根据权利要求1至10中任一项所述的方法，其特征在于，进一步包括：
12.根据权利要求1至10中任一项所述的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。