【技术实现步骤摘要】
本专利技术涉及网格地图，尤其涉及一种xr设备的实时网格地图生成系统。
技术介绍
1、常用的3d模型表示方法包括点云地图、占位网格地图、tsdf(truncated signeddistance function)地图、surfel面片地图和网格地图。其中，网格地图（mesh地图）相对其它地图，具有能够近似表达绝大部分复杂3d模型结构、避免不连续、存储花销小且扩展性高等优点。
2、现有的网格地图生成的时耗与3d点数量成指数关系，时耗非常高，因此主要适用于离线处理的场景，这限制了其在实时应用场景中的普及，不适用于对实时性要求高的应用场景。在xr(extended reality，扩展现实)设备的应用场景中，需要实时更新mesh地图，满足诸如虚实遮挡、虚实碰撞、光场估计等空间计算需求，因此，现有技术无法在xr设备上实时运行。
技术实现思路
1、鉴于上述的分析，本专利技术实施例旨在提供一种xr设备的实时网格地图生成系统，用以解决现有网格地图生成时耗高的问题。
2、一方面，本专利技术实施例提供了一种xr设备的实时网格地图生成系统，包括：
3、深度传感器，用于实时采集点云数据；
4、位置姿态估计单元，用于实时检测所述xr设备的位姿数据；
5、体素库，用于存储最新的体素单元信息；
6、重建模块，用于根据当前时刻的点云数据和所述xr设备的位姿数据确定当前时刻的体素单元，并对判断为表面类型的体素单元基于高斯过程估计进行表面重建；
7、地图生成模块，用于基于当前时刻体素库中的体素单元信息生成网格地图的三角面片。
8、基于上述系统的进一步改进，所述地图生成模块基于当前时刻体素库中的体素单元信息采用以下方式生成三角面片：
9、依次遍历体素库中每个标记为已进行了表面重建的体素单元作为当前体素单元；
10、对于当前体素单元，依次遍历每个表面重建方向上的每个三维重建点，若当前重建点在表面重建方向的零平面上对应的网格上有对角网格点，则基于当前重建点在表面重建方向的零平面上对应的网格点构建三角面片；
11、计算所述三角面片的不确定度， 若所述三角面片的不确定度小于第六阈值，则输出所述三角面片。
12、基于上述系统的进一步改进，采用以下公式计算所述三角面片的不确定度：
13、；
14、其中，表示三角面片的不确定度，、和分别表示构成所述三角面片的三个重建点的不确定度。
15、基于上述系统的进一步改进，基于当前重建点在表面重建方向的零平面上对应的网格点构建三角面片，包括：
16、以当前重建点在表面重建方向的零平面上对应的网格点为当前网格点，确定当前网格点的相邻网格点和对角网格点；
17、将当前重建点、当前网格点的相邻网格点对应的重建点、当前网格点的对角网格点对应的重建点作为三角面片的三个顶点构建三角面片。
18、基于上述系统的进一步改进，所述重建模块采用以下方式对判断为表面类型的体素单元基于高斯过程估计进行表面重建：
19、基于主成分分析确定所述体素单元的表面重建方向；
20、对于每个表面重建方向，基于所述体素单元的三维点采用高斯过程估计得到重建点及每个重建点的不确定度。
21、基于上述系统的进一步改进，基于主成分分析采用以下方式确定所述体素单元的表面重建方向：
22、对所述体素单元内的所有三维点进行主成分分析得到对应的特征值和特征向量；
23、计算最小特征值对应的特征向量与三个坐标轴间的夹角并从小到大排序得到第一夹角、第二夹角和第三夹角；
24、若第二夹角与第一夹角的差大于等于第二阈值，则第一夹角对应的坐标轴方向为表面重建方向；
25、若第二夹角与第一夹角的差小于第二阈值，且第三夹角与第二夹角的差大于等于第三阈值，则第一夹角和第二夹角对应的坐标轴方向均为表面重建方向；
26、若第二夹角与第一夹角的差小于第二阈值，且第三夹角与第二夹角的差小于第三阈值，则三个坐标轴方向均为表面重建方向。
27、基于上述系统的进一步改进，对于每个表面重建方向，基于所述体素单元的三维点采用高斯过程估计得到重建点及每个重建点的不确定度，包括：
28、对所述表面重建方向的零平面进行网格划分得到网格点；
29、将所述三维点投影在所述表面重建方向的零平面上得到投影点；
30、对于每个网格点，查找最邻近投影点，将所述最邻近投影点对应的三维点加入观测点集合；
31、以所述观测点集合中的三维点为观测点，基于所述观测点在所述表面重建方向上的值采用高斯过程估计得到所述网格点在所述表面重建方向上的数值及不确定度，得到重建点及每个重建点的不确定度。
32、基于上述系统的进一步改进，基于所述观测点在所述表面重建方向上的值采用以下公式得到所述网格点在所述表面重建方向上的数值及不确定度：
33、；；
34、其中，表示网格点在表面重建方向上的数值向量，表示网格点在表面重建方向上的数值的不确定度向量，m表示网格点的数量，n表示观测点的数量，表示观测点在表面重建方向上的数值向量，noise表示观测点的噪声，k表示高斯过程估计的核函数矩阵，i表示单位矩阵， diag(·)表示取矩阵的对角线元素。
35、基于上述系统的进一步改进，基于当前时刻的体素单元对体素库中的体素单元信息进行更新，包括：
36、对于当前时刻的每个体素单元，若所述体素库中所述体素单元未进行表面重建，则将体素库中所述体素单元的三维点和当前时刻所述体素单元的三维点合并，基于合并后的三维点判断所述体素单元是否为表面类型，若是，则采用高斯过程估计对所述体素单元进行重建得到所述体素单元的重建结果，对体素库中所述体素单元进行更新；
37、若所述体素库中所述体素单元进行了表面重建，则根据当前时刻的重建结果的不确定度对体素库中所述体素单元进行更新；
38、所述重建结果包括表面重建方向、每个表面重建方向的重建点和每个重建点的不确定度。
39、基于上述系统的进一步改进，根据当前时刻的重建结果的不确定度对体素库中所述体素单元进行更新，包括：
40、依次遍历所述体素单元的当前时刻的重建结果中每个表面重建方向的每个重建点，若所述重建点的不确定度和体素库中所述体素单元对应的重建点的不确定度均小于第四阈值，则采用以下公式更新体素库中所述体素单元对应的重建点和不确定度：
41、；
42、；
43、否则，若所述重建点的不确定度小于体素库中所述体素单元对应的重建点的不确定度，则采用以下公式更新体素库中所述体素单元对应的重建点和不确定度：
44、mgpp = cgpp；
45、mgpvar = cgpv本文档来自技高网...
【技术保护点】
1.一种XR设备的实时网格地图生成系统，其特征在于，包括：
2.根据权利要求1所述的XR设备的实时网格地图生成系统，其特征在于，所述地图生成模块基于当前时刻体素库中的体素单元信息采用以下方式生成三角面片：
3.根据权利要求1所述的XR设备的实时网格地图生成系统，其特征在于，采用以下公式计算所述三角面片的不确定度：
4.根据权利要求2所述的XR设备的实时网格地图生成系统，其特征在于，基于当前重建点在表面重建方向的零平面上对应的网格点构建三角面片，包括：
5.根据权利要求1所述的XR设备的实时网格地图生成系统，其特征在于，所述重建模块采用以下方式对判断为表面类型的体素单元基于高斯过程估计进行表面重建：
6.根据权利要求5所述的XR设备的实时网格地图生成系统，其特征在于，基于主成分分析采用以下方式确定所述体素单元的表面重建方向：
7.根据权利要求5所述的XR设备的实时网格地图生成系统，其特征在于，对于每个表面重建方向，基于所述体素单元的三维点采用高斯过程估计得到重建点及每个重建点的不确定度，包括：
8.
9.根据权利要求1所述的XR设备的实时网格地图生成系统，其特征在于，基于当前时刻的体素单元对体素库中的体素单元信息进行更新，包括：
10.根据权利要求9所述的XR设备的实时网格地图生成系统，其特征在于，根据当前时刻的重建结果的不确定度对体素库中所述体素单元进行更新，包括：
...【技术特征摘要】
1.一种xr设备的实时网格地图生成系统，其特征在于，包括：
2.根据权利要求1所述的xr设备的实时网格地图生成系统，其特征在于，所述地图生成模块基于当前时刻体素库中的体素单元信息采用以下方式生成三角面片：
3.根据权利要求1所述的xr设备的实时网格地图生成系统，其特征在于，采用以下公式计算所述三角面片的不确定度：
4.根据权利要求2所述的xr设备的实时网格地图生成系统，其特征在于，基于当前重建点在表面重建方向的零平面上对应的网格点构建三角面片，包括：
5.根据权利要求1所述的xr设备的实时网格地图生成系统，其特征在于，所述重建模块采用以下方式对判断为表面类型的体素单元基于高斯过程估计进行表面重建：
6.根据权利要求5所述的xr设备的实时网格地图生成系统，其特征在...
【专利技术属性】
技术研发人员：包灵，赵科峰，叶勇杰，谭宝，
申请(专利权)人：杭州慧建智联科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。