【技术实现步骤摘要】
本专利技术属于视觉三维重建领域，具体涉及一种融合神经隐式表面表征与体积渲染的建图方法。
技术介绍
1、同步定位与地图构建( simultaneous localization and mapping，slam )是机器人在未知环境中，仅依靠自身的传感器，在移动过程中同时估计自身位置并建立环境地图的技术。作为计算机视觉和移动机器人领域的研究热点问题之一，其研究引起了广泛的关注。传统slam方法中一般采用图像特征匹配或者光流法来估计相机姿态，然后通过位姿与地图点的联合优化提高定位与构图精度。随着深度学习的发展，研究者开始利用深度神经网络来提高slam的环境适应性，深度学习技术为经典视觉slam问题提供了更多选择。但传统的slam算法性能依赖特征点检测和匹配结果，但是在存在众多弱纹理、重复特征的现实应用环境中，错误特征匹配往往导致位姿估计误差增大，乃至定位失效，进而导致建图出现断层、全局不一致等问题。此外，传统slam技术利用离散的、非结构化点云或三角网格可实现对大规模环境的动态构建，但对物体表面细节的精细刻画能力非常有限。同时，随着对神经辐射场（neural radiance fields，nerf）的视图渲染与场景重建技术研究，例如表面重建、相机位姿估计、三维重建。nerf利用mlp（multilayer perceptron）参数实现场景的连续隐式编码，通过对相机未观测到部分的有效预测，可有效实现地图空洞的填充，在环境表征的保真度与渲染视图的逼真度上，均达到了传统方法无法企及的高度。诸如imap（implicit mapping
技术实现思路
1、针对现有技术中的上述不足，本专利技术提供的一种融合神经隐式表面表征与体积渲染的建图方法解决了以下问题：
2、1）传统slam建图过程中受遮挡、测量误差等因素影响，构造地图易出现空洞、断层的问题。
3、2）对“无边界”的场景的重建效果差。
4、3）大尺度环境下难以实现地图的动态拓展。
5、为了达到上述专利技术目的，本专利技术采用的技术方案为：一种融合神经隐式表面表征与体积渲染的建图方法，包括以下步骤：
6、s1、获取rgb-d相机输出的颜色信息和深度信息，根据深度信息和相机内参得到视锥空间，通过空间收缩函数对视锥空间进行压缩，根据压缩后的视锥空间的点云分布得到体素网格和二维网格，所述体素网格顶点和二维网格顶点存储预训练的局部特征；
7、s2、根据图像像素、相机内参和相机姿态构造射线，通过射线对体素网格中的体素进行采样，得到采样点几何特征向量和采样点颜色特征向量；
8、s3、将采样点几何特征向量和采样点颜色特征向量输入mlp神经网络，得到sdf值和rgb值；
9、s4、根据sdf值得到新的采样点几何特征向量和采样点颜色特征向量，将其输入mlp神经网络，得到新的sdf值和rgb值；
10、s5、根据新的sdf值和rgb值计算射线的像素颜色估计和像素深度估计；
11、s6、根据射线的像素颜色估计和像素深度估计得到场景表面几何与颜色的表征的约束条件；
12、s7、根据约束条件优化体素网格顶点和正二维网格顶点局部特征向量，得到场景的隐式表征，完成融合神经隐式表面表征与体积渲染的建图方法。
13、进一步地：所述s1中，空间收缩函数的表达式具体为：
14、
15、式中，为无穷范数，xj为第j个缩放点的空间坐标。
16、进一步地：所述s2包括以下分步骤：
17、s21、基于图像像素、相机内参和相机姿态，构造以相机光心为起点，经过图像像素的射线；
18、s22、在射线穿过体素的距离内均匀取样，得到射线采样点；
19、s23、查询射线采样点在体素网格顶点的局部特征嵌入，通过三线性插值计算局部特征嵌入，得到体素几何特征向量和体素颜色特征向量；
20、s24、查询射线采样点在二维网格顶点的局部特征嵌入，通过双线性插值计算平面投影颜色特征向量和平面投影几何特征向量；
21、s25、将体素几何特征向量和平面投影几何特征向量进行拼接，得到采样点几何特征向量，将体素颜色特征向量和平面投影颜色特征向量进行拼接，得到采样点颜色特征向量。
22、进一步地：所述s3中，mlp神经网络包括依次连接的几何预测子网络和颜色预测子网络，所述几何预测子网络包括依次连接的第一全连接层~第四全连接层，所述包括依次连接的第五全连接层和第六全连接层；
23、得到sdf值和rgb值的方法具体为：
24、s31、将采样点几何特征向量和采样点颜色特征向量依次输入第一全连接层~第四全连接层，得到sdf值和128维潜向量；
25、s32、将128维潜向量依次输入第五全连接层和第六全连接层，得到rgb值。
26、进一步地：所述s4中，得到新的采样点几何特征向量和采样点颜色特征向量的方法包括具体为：
27、根据sdf值设置截断距离，根据截断距离设置重点体素，通过射线对重点体素进行采样，得到新的采样点几何特征向量和采样点颜色特征向量。
28、进一步地：所述s5包括以下分步骤：
29、s51、根据新的sdf值计算射线采样点体密度；
30、s52、根据射线采样点体密度计算射线采样点权重；
31、s53、根据射线采样点权重、新的sdf值和rgb值计算射线的像素颜色估计和像素深度估计。
32、进一步地：所述s51中，计算射线采样点体密度的表达式具体为：
33、
34、式中，为可学习参数，为新的sdf值，为激活函数；
35、所述s52中，计算射线采样点权重的表达式具体为：
36、
37、式中，为第n个射线采样点体密度，为第n个射线采样点体密度，n为射线采样点总数；
38、所述s53中，计算射线的像素深度估计的表达式具体为：
39、
40、计算射线的像素颜色估计的表达式具体为：
41、
42、式中，为rgb值。
43、进一步地：所述s6中，场景表面几何与颜色的表征的约束条件的表达式具体为：
44、
45、式中，为rgb损失，为深度损失，为射线自由空间损失，为截断距离损失，、、和均为加权系数；
46、所述rgb损失的表达式具体为：
47、
48、本文档来自技高网...
【技术保护点】
1.一种融合神经隐式表面表征与体积渲染的建图方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的融合神经隐式表面表征与体积渲染的建图方法，其特征在于，所述S1中，空间收缩函数的表达式具体为：
3.根据权利要求1所述的融合神经隐式表面表征与体积渲染的建图方法，其特征在于，所述S2包括以下分步骤：
4.根据权利要求1所述的融合神经隐式表面表征与体积渲染的建图方法，其特征在于，所述S3中，MLP神经网络包括依次连接的几何预测子网络和颜色预测子网络，所述几何预测子网络包括依次连接的第一全连接层~第四全连接层，所述包括依次连接的第五全连接层和第六全连接层；
5.根据权利要求1所述的融合神经隐式表面表征与体积渲染的建图方法，其特征在于，所述S4中，得到新的采样点几何特征向量和采样点颜色特征向量的方法包括具体为：
6.根据权利要求1所述的融合神经隐式表面表征与体积渲染的建图方法，其特征在于，所述S5包括以下分步骤：
7.根据权利要求6所述的融合神经隐式表面表征与体积渲染的建图方法，其特征在于，所述S51中，计算射线采
8.根据权利要求7所述的融合神经隐式表面表征与体积渲染的建图方法，其特征在于，所述S6中，场景表面几何与颜色的表征的约束条件的表达式具体为：
9.根据权利要求8所述的融合神经隐式表面表征与体积渲染的建图方法，其特征在于，所述截断距离符号场值的表达式具体为下式；
...【技术特征摘要】
1.一种融合神经隐式表面表征与体积渲染的建图方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的融合神经隐式表面表征与体积渲染的建图方法，其特征在于，所述s1中，空间收缩函数的表达式具体为：
3.根据权利要求1所述的融合神经隐式表面表征与体积渲染的建图方法，其特征在于，所述s2包括以下分步骤：
4.根据权利要求1所述的融合神经隐式表面表征与体积渲染的建图方法，其特征在于，所述s3中，mlp神经网络包括依次连接的几何预测子网络和颜色预测子网络，所述几何预测子网络包括依次连接的第一全连接层~第四全连接层，所述包括依次连接的第五全连接层和第六全连接层；
5.根据权利要求1所述的融合神经隐式表面表征与...
【专利技术属性】
技术研发人员：王录涛，戈胥，王紫威，沈艳，郜东瑞，陈俊，陈海宁，
申请(专利权)人：成都信息工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。