基于体素神经隐式表面的稠密同步定位与建图方法技术

本发明专利技术公开了一种基于体素神经隐式表面的稠密同步定位与建图的方法。本发明专利技术将三维场景分解为以体素块为单位的几何单元，并将其内部的几何和纹理信息以特征向量形式存储在体素块中，通过插值的方式获取对应三维点的特征并通过几何解析网络和纹理解析网络两个部分获取符号距离场(SDF)以及对应的颜色。本发明专利技术在此基础上，提出了通过定位和建图两个进程的交叉迭代优化，并通过共享变量的方式在两个进程之间传递地图潜特征向量；本发明专利技术创新地引进了基于Morton编码的八叉树方法来进一步提升地图更新的效率。本发明专利技术通过对生成的体素块进行交互式编辑，就可以渲染出编辑后的表面和纹理效果，从而应用到虚拟现实和增强现实等应用中。中。中。

【技术实现步骤摘要】
基于体素神经隐式表面的稠密同步定位与建图方法


[0001]本专利技术涉及计算机视觉和计算机图形学领域，尤其涉及一种基于体素神经隐式表面的稠密定位和建图方法。

技术介绍

[0002]稠密定位与建图(DSLAM)是很多三维应用的基础，基于三维重建的精确地图，可以在虚实融合的场景中完成遮挡，碰撞等一些交互式的显示，在增强显示应用中达到更逼真的效果。
[0003]传统的DSLAM方法通常采用基于特征匹配的方式以及最小化能量函数的优化方法求解相机位姿和优化地图结构，这类方法通常采用离散的点云，面元或者连续的符号距离场(SDF)表示稠密地图，但是存在的问题也很明显，首先，由于这些方法无法对不可见区域进行预测，因此通常无法在新视角下合成逼真的视觉效果，其二，这些方法需要消耗大量的显存空间。
[0004]基于深度特征的方法例如code
‑
slam以及di
‑
fusion等方法，将局部场景信息存储在压缩的编码中，并通过多视角约束优化这些编码场，从而完成对地图进行更新，这类方法虽然减少了存储，但是收到网络表达能力和预训练场景的约束，泛化到新场景中会产生问题。
[0005]随着神经辐射场技术(NeRF)的兴起，利用MLP网络存储场景信息并在各个视角下生成逼真的渲染效果成为新的发展趋势，而例如iMap方法就采用这类思路完成了基于神经隐式场的DSLAM系统，但是该系统的问题在于，将整个场景都存储在单个MLP中，需要首先对场景的大小有先验信息，这使得该类方法无法对未知场景进行建模，而且由于场景隐式存储在MLP中，使进一步的场景的编辑等操作变得十分困难。

技术实现思路

[0006]为了解决现有技术中的问题，本专利技术提供了一种基于体素神经隐式表面的稠密同步定位与建图的方法，本专利技术的方法包含前段跟踪和后端建图两个进程，与场景相关的信息存储在一个前后端共享的数据区域，并随着运行进行动态的更新。当系统启动时，通过为第一帧运行一些映射迭代来初始化全局映射。系统接受序列的RGBD图像作为输入，仅针对存在深度信息的区域创建体素，并优化体素中的表面和纹理信息，前段跟踪进程将当前帧已有地图进行表面和纹理的对齐，逐步优化相机的位姿，后端建图进程将估计了位姿的帧与已有的地图进行联合优化，并更新地图。
[0007]为了实现上述目的，本专利技术采用如下技术方案：
[0008]本专利技术首先提供了一种基于体素神经隐式表面的稠密同步定位与建图，包括以下步骤：
[0009]步骤1：获取第一帧的RGB
‑
D图像，将第一帧图像中每个像素点对应的深度，反投影到三维空间中，从而获得地图中的初始三维点云；将初始三维点云所在的坐标系设置为参
考坐标系，并基于初始三维点云构建多个不重叠且与参考坐标系的坐标轴对齐的体素块；基于这些体素块构建八叉树结构，并将体素块对应的Moron编码插入到八叉树中；同时为每个体素块8个顶点分配定长特征向量，这些定长特征向量用来储存拟构建场景的几何和纹理信息；
[0010]步骤2：从获取到的图像中随机采样M个像素点，并生成从图像对应的相机中心出发穿过每个像素点的射线，并计算射线与已构建的体素块的交集；在射线与体素块交集的区域进行均匀采样，从而得到采样的三维点，通过三维点的三维坐标获取其所在的体素块的8个顶点的特征向量，并通过特征提取函数得到三维点对应的特征向量；通过几何解析网络获取符号距离场(SDF)和中间信息，再将得到的中间信息通过纹理解析网络获取颜色；通过SDF计算三维点对应的空间密度值，再通过体渲染的方式对射线上的三维点的颜色和深度进行权重累积，最终得到预测的射线对应像素的颜色和深度；将预测的颜色和深度与真实的颜色和深度对比，由此优化体素块顶点上的定长特征向量和几何解析网络和纹理解析网络；
[0011]步骤3：步骤2完成后，开启跟踪进程，跟踪进程为：对从第二帧开始获取的图像重复步骤2，但保持体素块顶点上的定长特征向量和几何解析网络和纹理解析网络不变，只优化图像对应的相机6自由度位姿，优化后即完成定位，并将优化后的相机6自由度位姿与对应的RGB
‑
D图像构建成为帧，并放入候选关键帧列表；
[0012]步骤4：开启建图进程，建图进程为：从步骤3中获取关键帧列表，遍历候选关键帧列表，将每一帧图像的像素点对应的深度，根据图像对应的相机6自由度位姿，反投影深度到三维空间中，获得每一帧对应的三维点云；针对三维点云中的每一个三维点，判断三维点是否包含在已创建的体素块中，若不包含，则
[0013]创建新的体素块，并更新步骤1中的八叉树结构，由此达到动态创建体素块，扩展建图区域的目的；
[0014]从关键帧列表中选取若干合适的帧作为关键帧，并与候选关键帧列表中最新的帧一起优化；对于所有待优化的帧中的图像，重复步骤2，并在优化体素块顶点上的定长特征向量和几何解析网络和纹理解析网络的同时，优化帧的6自由度位姿。
[0015]进一步的，所述的步骤1中的基于初始三维点云构建多个不重叠且与参考坐标系的坐标轴对齐的体素块，具体为：
[0016]初始三维点云被一组体素块划分，每个体素块有三维坐标V
k
＝(x，y，z)；这些三维坐标通过Morton编码转化为64位的二进制编码信息；每个体素块有8个顶点，顶点中，包含由定长特征向量表示的拟构建场景的几何和纹理信息，L
e
为特征向量的长度；因此，对于任一体素V
i
内的任意三维点相邻的体素块共享4个顶点的特征向量。
[0017]作为本专利技术的优选方案，所述的步骤2中的计算射线与步骤1中构建的体素块的交集，具体为：
[0018]从相机中心o沿d方向穿过图像上像素的射线定义为r(t)＝o+dt，t为沿射线方向上的深度；每条射线通过Ray
‑
AABB相交检测算法求出射线与体素块交点的深度，从而划分出射线上与体素块有交集的区域。
[0019]进一步的，所述的步骤2中的通过特征提取函数得到三维点对应的特征向量，通过几何解析网络获取符号距离场(SDF)和中间信息，再将得到的中间信息通过纹理解析网络获取颜色，具体为：
[0020]特征提取函数将三维点p映射到长度为L
e
的特征向量特征提取函数通过三线性插值实现，根据p的三维坐标与p所在的体素块中的相对位置，对体素块的8个顶点所包含的特征向量进行插值，得到p的特征向量e；
[0021]采用多层感知器网络(MLP)来表示几何解析网络F
σ
和纹理解析网络F
c
；几何解析网络通过p的特征向量e生成它的符号距离场和长度为Lf几何特征向量σ的符号表示p是在表面S的内部还是外部；场景的表面S通过下式提取：
[0022][0023]其中操作[0]意味着从F
σ
中获取位置p的符号距离场σ；三维点p的几何特征向量f、p所在的射线方向d和p的特征向量e连接起来作为纹理解析网络F
c
...

【技术保护点】

【技术特征摘要】
1.一种基于体素神经隐式表面的稠密同步定位与建图的方法，其特征在于，包括以下步骤：步骤1：获取第一帧的RGB
‑
D图像，将第一帧图像中每个像素点对应的深度，反投影到三维空间中，从而获得地图中的初始三维点云；将初始三维点云所在的坐标系设置为参考坐标系，并基于初始三维点云构建多个不重叠且与参考坐标系的坐标轴对齐的体素块；基于这些体素块构建八叉树结构，并将体素块对应的Morton编码插入到八叉树中；同时为每个体素块8个顶点分配定长特征向量，这些定长特征向量用来储存拟构建场景的几何和纹理信息；步骤2：从获取到的图像中随机采样M个像素点，并生成从图像对应的相机中心出发穿过每个像素点的射线，并计算射线与已构建的体素块的交集；在射线与体素块交集的区域进行均匀采样，从而得到采样的三维点，通过三维点的三维坐标获取其所在的体素块的8个顶点的特征向量，并通过特征提取函数得到三维点对应的特征向量；通过几何解析网络获取符号距离场(SDF)和中间信息，再将得到的中间信息通过纹理解析网络获取颜色；通过SDF计算三维点对应的空间密度值，再通过体渲染的方式对射线上的三维点的颜色和深度进行权重累积，最终得到预测的射线对应像素的颜色和深度；将预测的颜色和深度与真实的颜色和深度对比，由此优化体素块顶点上的定长特征向量和几何解析网络和纹理解析网络；步骤3：步骤2完成后，开启跟踪进程，跟踪进程为：对从第二帧开始获取的图像重复步骤2，但保持体素块顶点上的定长特征向量和几何解析网络和纹理解析网络不变，只优化图像对应的相机6自由度位姿，优化后即完成定位，并将优化后的相机6自由度位姿与对应的RGB
‑
D图像构建成为帧，并放入候选关键帧列表；步骤4：开启建图进程，建图进程为：从步骤3中获取关键帧列表，遍历候选关键帧列表，将每一帧图像的像素点对应的深度，根据图像对应的相机6自由度位姿，反投影深度到三维空间中，获得每一帧对应的三维点云；针对三维点云中的每一个三维点，判断三维点是否包含在已创建的体素块中，若不包含，则创建新的体素块，并更新步骤1中的八叉树结构，由此达到动态创建体素块，扩展建图区域的目的；从关键帧列表中选取若干合适的帧作为关键帧，并与候选关键帧列表中最新的帧一起优化；对于所有待优化的帧中的图像，重复步骤2，并在优化体素块顶点上的定长特征向量和几何解析网络和纹理解析网络的同时，优化帧的6自由度位姿。2.根据权利要求1所述的基于体素神经隐式表面的稠密同步定位与建图的方法，其特征在于，所述的步骤1中的基于初始三维点云构建多个不重叠且与参考坐标系的坐标轴对齐的体素块，具体为：初始三维点云被一组体素块划分，每个体素块有三维坐标V
k
＝(x，y，z)；这些三维坐标通过Morton编码转化为64位的二进制编码信息；每个体素块...

【专利技术属性】
技术研发人员：章国锋，杨兴锐，李海，翟宏佳，
申请(专利权)人：浙江大学，
类型：发明
国别省市：