【技术实现步骤摘要】
本申请涉及增强现实和混合现实领域，特别是涉及一种基于层级共视关系的三维高斯溅射训练方法、系统、计算机设备和计算机可读存储介质。
技术介绍
1、三维高斯溅射(3d gaussian splatting,简称3dgs)使用三维高斯这一显式表达,凭借训练速度快,可编辑性强等诸多优点,迅速成为高保真三维重建的首选技术。
2、在相关技术中，本领域常规的3dgs训练方法，通过输入已知的相机内参和位姿,以及对应的三维高斯点云,使用随机梯度下降法进行优化训练。但是，由于该类方法在优化过程中，某些三维点在多个视角之间缺乏一致性验证，导致这些点在当前视角下的位置或匹配关系不准确，在优化过程中，导致被优化的目标产生歧义性，进而容易在空中产生漂浮的噪点，影响三维点云的训练质量。
3、目前，针对相关技术中，在纯视觉的3dgs训练中容易产生漂浮噪点的问题，尚未提出有效的解决方案。
技术实现思路
1、本申请实施例提供了一种基于层级共视关系的三维高斯溅射训练方法、系统、计算机设备和计算机可读存储介质，以至少解决相关技术中3dgs训练中容易产生漂浮噪点的问题。
2、第一方面，本申请实施例提供了一种基于层级共视关系的三维高斯溅射训练方法，用于在得到三维骨架重建结果之后，基于所述三维骨架重建结果进行三维高斯溅射优化训练，所述方法包括：
3、基于三维骨架重建结果，获取多个共视相机组，其中，任意一个共视相机组包括多个存在共视3d点的相机模型；
4、根据所述相机模型
5、基于所述共视相机组对应的共视图像和所述权重矩阵，对所述三维骨架重建结果进行多个层级的三维高斯溅射优化，得到三维高斯模型。
6、在其中一些实施例中，所述基于三维骨架重建结果，获取多个共视相机组包括：
7、基于所述三维骨架重建结果，得到各个特征图像中的2d点与真实空间中3d点的匹配关系；
8、根据所述匹配关系，获取与任意一个3d点存在共同观测的所有相机模型，组成初始共视相机组，其中，任意一个初始共视相机组中包括至少两个存在共视3d点的相机模型；
9、基于预设筛选规则，对所述初始共视相机组进行筛选，得到所述共视相机组。
10、在其中一些实施例中，基于预设筛选规则，对所述初始共视相机组过滤，得到所述共视相机组包括：
11、根据所述初始共视相机组中，任意两个相机模型组成的相机对的共视3d数量，对所述初始共视相机组进行初次筛选；
12、在所述初次筛选之后的共视相机组中，根据各个相机对之间3d点交并比，获取所有目标共视模型组成所述共视相机组。
13、在其中一些实施例中，根据所述相机模型投影至二维平面的视锥三角形，得到各个共视相机组对应的权重矩阵包括：
14、通过将所述共视相机组中各个相机模型的三维视锥，投影至二维平面，并根据所述相机模型中的3d点深度值的中位数，截取所述投影的二维平面，得到所述视锥三角形；
15、在所述相机共视组中，根据任意两个相机模型之间视锥三角形的面积交并比，得到各个相机对的权重；
16、结合任意一个所述相机共视组中所有相机对的权重，得到该相机共视组的权重系数。
17、在其中一些实施例中，基于所述共视相机组和所述权重矩阵，对所述三维骨架重建结果进行多个层级的三维高斯溅射优化包括：
18、基于所述共视相机组中所有两个共视图像组成的所有图像匹配对，对所述三维骨架重建结果进行首轮训练，
19、在所述首轮训练之后，通过逐步增加所述训练过程中，所述图像匹配对中共视图像的数量，对所述骨架模型进行迭代训练，直至所述迭代次数达到预设阈值，得到所述三维高斯模型；
20、其中，训练过程的损失函数用于最小化三维点在共视图像中的误差，基于所述权重矩阵加权计算得到所述损失函数。
21、在其中一些实施例中，在所述三维骨架重建结果中的特征图像的总数小于预设阈值，且图像分辨率小于预设分辨率的情况下，所述方法还包括：
22、在得到所述三维高斯模型之后；
23、获取所有三维骨架重建结果中所有相机模型对应的特征图像；
24、以所述共视相机组中的所有共视图像为约束条件，基于所述特征图像，对所述三维高斯模型进行多次全图迭代优化，得到优化之后的三维高斯模型。
25、第二方面，本实施例还提供了一种基于层级共视关系的三维高斯溅射训练系统，用于在得到三维骨架重建结果之后，基于所述三维骨架重建结果进行三维高斯溅射优化训练，所述系统包括：预处理模块和优化训练模块，其中：
26、所述预处理模块用于，基于三维骨架重建结果，获取多个共视相机组，其中，任意一个共视相机组包括多个存在共视3d点的相机模型；
27、以及，根据所述相机模型投影至二维平面的视锥三角形，得到各个共视相机组对应的权重矩阵；
28、所述优化训练模块用于，基于所述共视相机组对应的共视图像和所述权重矩阵，对所述三维骨架重建结果进行多个层级的三维高斯溅射优化，得到三维高斯模型。
29、在其中一些实施例中，所述系统还包括全图优化模块，所述全图优化模块用于：
30、在所述三维骨架重建结果中的特征图像的总数小于预设阈值，且图像分辨率小于预设分辨率的情况下，在得到所述三维高斯模型之后；
31、获取所有三维骨架重建结果中所有相机模型对应的特征图像；
32、以所述共视相机组中的所有共视图像为约束条件，基于所述特征图像，对所述三维高斯模型进行多次全图迭代优化，得到优化之后的三维高斯模型。
33、第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。
34、第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的方法。
35、相比于相关技术，本申请实施例提供的一种基于层级共视关系的三维高斯溅射训练方法，通过基于三维骨架重建结果，获取多个共视相机组，其中，任意一个共视相机组包括多个存在共视3d点的相机模型；根据相机模型投影至二维平面的视锥三角形，得到各个共视相机组对应的权重矩阵；基于共视相机组对应的共视图像和权重矩阵，对三维骨架重建结果进行多个层级的三维高斯溅射优化，得到三维高斯模型，由于利用了多视角的共视信息，三维点的位置和属性估计更为准确。共视约束使得同一三维点在不同视角下的重建结果更加一致，减少了漂浮噪点的产生。
本文档来自技高网...【技术保护点】
1.一种基于层级共视关系的三维高斯溅射训练方法，其特征在于，用于在得到三维骨架重建结果之后，基于所述三维骨架重建结果进行三维高斯溅射优化训练，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于三维骨架重建结果，获取多个共视相机组包括：
3.根据权利要求2所述的方法，其特征在于，基于预设筛选规则，对所述初始共视相机组过滤，得到所述共视相机组包括：
4.根据权利要求1至3中任意一项所述的方法，其特征在于，根据所述相机模型投影至二维平面的视锥三角形，得到各个共视相机组对应的权重矩阵包括：
5.根据权利要求1所述的方法，其特征在于，基于所述共视相机组和所述权重矩阵，对所述三维骨架重建结果进行多个层级的三维高斯溅射优化包括：
6.根据权利要求1所述的方法，其特征在于，在所述三维骨架重建结果中的特征图像的总数小于预设阈值，且图像分辨率小于预设分辨率的情况下，所述方法还包括：
7.一种基于层级共视关系的三维高斯溅射训练系统，其特征在于，用于在得到三维骨架重建结果之后，基于所述三维骨架重建结果进行三维高斯溅射
8.根据权利要求7所述的系统，其特征在于，所述系统还包括全图优化模块，所述全图优化模块用于：
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至6中任一项所述的方法。
...【技术特征摘要】
1.一种基于层级共视关系的三维高斯溅射训练方法，其特征在于，用于在得到三维骨架重建结果之后，基于所述三维骨架重建结果进行三维高斯溅射优化训练，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于三维骨架重建结果，获取多个共视相机组包括：
3.根据权利要求2所述的方法，其特征在于，基于预设筛选规则，对所述初始共视相机组过滤，得到所述共视相机组包括：
4.根据权利要求1至3中任意一项所述的方法，其特征在于，根据所述相机模型投影至二维平面的视锥三角形，得到各个共视相机组对应的权重矩阵包括：
5.根据权利要求1所述的方法，其特征在于，基于所述共视相机组和所述权重矩阵，对所述三维骨架重建结果进行多个层级的三维高斯溅射优化包括：
6.根据权利要求1所述的方法，其特征在于，在...
【专利技术属性】
技术研发人员：毛扬军，王成，秦宇，丛林，
申请(专利权)人：浙江生一光学感知科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。