【技术实现步骤摘要】
本专利技术涉及一种可适用于复杂多变室内办公环境的基于神经辐射场（neuralradiance fields，nerf）的视觉主导多模态slam(simultaneous localization andmapping)方法，属于同时定位与地图构建领域。
技术介绍
1、同时定位与地图构建slam方法是一种利用多传感器（如相机、激光雷达、imu等）数据来估计传感器姿态并同时重建周围环境3d地图的技术。slam技术可以解决机器人或设备在未知环境中的自主定位和导航问题，是实现全自主移动机器人的关键技术之一。现有多模态slam技术在处理复杂多变室内办公环境下的低纹理区域和有限视角约束时表现不佳，特别是基于运动结构（sfm）和多视图立体（mvs）生成密集纹理的视觉slam系统，在室内办公场景下常常面临退化问题。若在动态环境下采用语义分割先验、光流运动或重采样和残差优化策略来去除动态环境下的离群点方式，却只能有效处理小尺度运动，在遇到连续物体运动时往往失败。
2、神经辐射场nerf是一种计算机视觉技术，用于生成高质量的三维重建模型。nerf可以简要概括为用一个多层感知机（multilayer perceptron，mlp)神经网络去隐式地表示一个静态3d场景，实现复杂场景的任意新视角合成（渲染），但对于现有多模态slam系统的上述不足并不能提供较好的辅助。
3、如下述在先申请并公开的中国专利申请，申请号为202410906208.3，名为一种基于图像增强和nerf的单目稠密slam地图构建方法，其将弱光rgb图片输入到
4、有鉴于此，特提出本申请。
技术实现思路
1、本申请所述的基于nerf的面向室内办公环境的视觉主导多模态slam方法，在于解决上述现有技术存在的问题而提出在多传感器融合slam系统基础上进一步结合nerf的改进方案，以期保留现有slam方法在位姿估计精度上的优势，有效地提升地图的纹理和材质的连续性，从而在位姿估计精度、实时性和重建质量方面实现实质上的提升。
2、为实现上述设计目的，所述基于nerf的面向室内办公环境的视觉主导多模态slam方法包括下述步骤：
3、步骤1)、通过lio配准每次输入lidar扫描的点云测量值，以构建辐射地图的几何结构；
4、步骤2）、通过vio恢复地图的亮度信息；
5、在lio重建环境的几何结构时，vio从输入的彩色图像中恢复辐射信息；vio从全局地图向当前图像投影，然后通过投影的辐射误差来迭代估计相机姿态；帧间vio更新通过最小化帧间pnp重投影误差来估计系统状态，帧到地图vio更新则最小化地图点与当前图像之间的亮度误差；
6、步骤3)、将lio和vio在非歧管误差状态迭代卡尔曼滤波框架esikf内进行耦合，更新整个室内工作场景的辐射点云地图；
7、步骤4）、将上述整个室内工作场景的辐射点云地图，通过nerf体渲染以重建地图，将辐射地图划分为若干个稠密点云子地图；
8、步骤5）、随着子地图的不断更新，为每个子地图动态分配八叉树体素网格，指导nerf对光线进行采样并对整个场景进行渲染。
9、进一步地，所述的步骤1）包括下述步骤，
10、步骤1.1)、对于输入的lidar扫描点云数据，使用imu反向传播来补偿帧内运动，采用运动补偿和去畸变对激光雷达所输入的点云数据进行预处理；
11、步骤1.2）、使用预处理的点云数据进行点到面lio更新，使用广义迭代封闭点gicp方法最小化扫描中每个点云到地图中相应点拟合的平面的距离，迭代估计lidar姿态，然后使用估计的状态估计值将新点附加到地图；
12、步骤1.3）、使用激光雷达感应来对无纹理的物体进行几何测量，通过添加深度损失来施加基于激光雷达的深度正则化；添加在激光雷达的深度损失定义为激光雷达深度测量d周围的正态分布与nerf模型中渲染的光线分布 h( t)之间的分歧，表达式如下：
13、 (1)
14、其中，为添加在激光雷达的深度损失；为激光雷达深度测量d周围的正态分布；是分布的标准差； h( t)为光线分布；
15、步骤1.4）、随着辐射地图的不断更新，反向检索点云数据的状态估计值，不断优化点云输入。
16、进一步地，所述的步骤2）包括下述步骤，
17、步骤2.1）、对相机传感器输入的连续图像进行光度校准；
18、对于每个传入图像i，首先校正图像非线性crf 和消光因子，以获得光度校正图像γ，其在像素位置 ρ处第 i通道的表达式如下：
19、 (2)
20、光度校正后的图像γ随后用于帧到帧vio更新、帧到地图vio更新和亮度恢复；
21、步骤2.2）、在帧到帧vio更新，利用帧到帧vio更新光流跟踪最后一帧中观察到的地图点，并通过最小化跟踪点的pnp重投影误差来获得系统状态的粗略估计；
22、步骤2.3）、对于每个输入关键帧来计算密集光流翘曲集；
23、使用从匹配集 s中采样的内线估计基本矩阵，设定匹配集 s内的任意匹配点（ o ji， o ki），利用矩阵 f计算对应点与其极线之间的距离，设置阈值 e th，动态对象对应的翘曲掩码计算表达式如下：
24、 (3)
25、其中，为极线系数，为与当前帧图像尺寸对齐的翘曲掩码大小； j和 k为关键帧id，表示从第个关键帧到第个关键帧的光流掩模翘曲过程；
26、步骤2.4）、在帧到地图vio更新中，通过最小化地图点的亮度和当前图像中其投影位置的像素强度之间的差异，以进一步细化状态估计；
27、步骤2.5）、在帧到地图的vio更新之后，使用slam姿态本文档来自技高网...
【技术保护点】
1.一种基于NeRF的面向室内办公环境的视觉主导多模态SLAM方法，其特征在于：
2.根据权利要求1所述的基于NeRF的面向室内办公环境的视觉主导多模态SLAM方法，其特征在于： 所述的步骤1）包括下述步骤，
3.根据权利要求1所述的基于NeRF的面向室内办公环境的视觉主导多模态SLAM方法，其特征在于：所述的步骤2）包括下述步骤，
4.根据权利要求3所述的基于NeRF的面向室内办公环境的视觉主导多模态SLAM方法，其特征在于：所述的步骤2.5），添加深度方差来降低深度异常值的权重，通过收敛状态估计和原始输入图像，根据当前图像测量更新地图点的辐射度；
5.根据权利要求1所述的基于NeRF的面向室内办公环境的视觉主导多模态SLAM方法，其特征在于：所述的步骤4）具体包括以下步骤，
6.根据权利要求1所述的基于NeRF的面向室内办公环境的视觉主导多模态SLAM方法，其特征在于：所述的步骤5）包括以下步骤，
7.根据权利要求6所述的基于NeRF的面向室内办公环境的视觉主导多模态SLAM方法，其特征在于：所述的步骤5
8.根据权利要求6所述的基于NeRF的面向室内办公环境的视觉主导多模态SLAM方法，其特征在于：所述的步骤5.5）包括以下步骤，
...【技术特征摘要】
1.一种基于nerf的面向室内办公环境的视觉主导多模态slam方法，其特征在于：
2.根据权利要求1所述的基于nerf的面向室内办公环境的视觉主导多模态slam方法，其特征在于： 所述的步骤1）包括下述步骤，
3.根据权利要求1所述的基于nerf的面向室内办公环境的视觉主导多模态slam方法，其特征在于：所述的步骤2）包括下述步骤，
4.根据权利要求3所述的基于nerf的面向室内办公环境的视觉主导多模态slam方法，其特征在于：所述的步骤2.5），添加深度方差来降低深度异常值的权重，通过收敛状态估计和原始输入图像，根据当前图像测量更新地...
【专利技术属性】
技术研发人员：刘丹，张宇，张盈盈，孙慧，任传祥，韩志凤，邢磊，
申请(专利权)人：山东科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。