【技术实现步骤摘要】
本专利技术属于三维重建，具体为一种基于三维高斯溅射技术的三维重建方法及相关设备。
技术介绍
1、在三维重建和新视角合成领域，3d gaussian splatting (3dgs) 是一种前沿技术，它通过使用一组各向异性的3d高斯基元来表示三维场景，并通过可微分的α混合渲染技术实现高效渲染。然而，3dgs在处理稀疏输入视图时存在一些明显的不足。首先，由于输入视图数量有限，3dgs生成的初始高斯点云可能过于稀疏，无法提供足够的几何信息来准确重建场景的细节。其次，稀疏视图导致训练过程中的监督信号不足，使得重建的模型难以捕捉场景的复杂外观和几何结构。此外，优化过程中部分高斯椭圆体可能变得异常庞大，这会导致新视角下的渲染结果出现模糊和过拟合现象，尤其是在场景的边缘和纹理较少的区域。
2、为了解决这些问题，一些研究工作提出了改进方法。例如，freenerf通过频率正则化策略来改善稀疏输入下的nerf训练，而sparsenerf利用预训练的深度估计模型生成伪地面真实深度图，用于局部深度排名损失。dngaussian则采用单目深度和全局-局部深度归一化来优化高斯参数。尽管这些方法在一定程度上提高了稀疏输入场景的重建质量，但它们通常依赖于跨视图尺度不一致的单目深度图，这限制了它们在精确几何约束方面的有效性。
3、在三维重建领域，稀疏输入视图的重建任务一直是一个挑战，因为有限的视角难以提供足够的信息来捕捉场景的复杂细节。传统的三维高斯重建（3dgs）方法在这种情况下常常遭遇初始化点云过于稀疏、训练过程中缺乏足够的监督信号以
技术实现思路
1、本专利技术提供了一种基于三维高斯溅射技术的三维重建方法及相关设备，解决了现有稀疏输入视图重建不准确的问题。
2、为实现上述目的，本专利技术提供如下技术方案：
3、一种基于三维高斯溅射技术的三维重建方法，包括：
4、s1:获取稀疏图像数据集；
5、s2:对稀疏图像数据集进行初始化处理，获得初始3d点云；
6、s3:对初始3d点云进行循环式渐进高斯初始化，获得高斯点云数据；
7、s4:对高斯点云数据进行深度对齐，获得深度对齐后的高斯点云数据；
8、s5:对深度对齐后的高斯点云数据进行稀疏友好采样；
9、s6:重复进行s3、s4和s5 1000次，获得三维重建后的图像。
10、优选地，对稀疏图像数据集进行初始化处理的步骤具体为：
11、使用结构从运动技术从数据集中的输入的稀疏图像数据集中恢复出的初始3d点云。
12、优选地，对初始3d点云进行循环式渐进高斯初始化，获得高斯点云数据具体为：
13、利用初始3d点云，初始化一组3d高斯基元，然后利用3d高斯点云渲染伪视图并将其作为新的稀疏视图，迭代利用该新的稀疏视图增加高斯点云的密度，其中，在数据集中的稀疏视图周围生成新的伪视图，伪视图的位置通过训练视图的相机参数周围添加高斯噪声获取。
14、优选地，伪视图位置位置获取的公式为：
15、
16、其中和分别是伪视图和训练视图的位置，是高斯噪声，代表第个训练视图，表示第个伪视图，是用来控制生成质量的常数。
17、
18、优选地，对高斯点云数据进行深度对齐的操作步骤具体为：
19、首先对初始点云数据实施匹配误差滤波操作，排除误差大于设置阈值的3d点，然后排除仅从伪视图生成的3d点，同时选择在特定视图中可见的3d点，最后在渲染的深度图和单目深度估计图上滑动一个固定大小的窗口，窗口在图像上按设定的步长移动，覆盖整个图像，在每个窗口位置，计算渲染深度与单目深度之间的差异，并采用损失函数来评估两个深度图在窗口内的一致性，获得深度损失，根据深度损失调整3d高斯模型的参数。
20、优选地，深度损失的计算公式为：
21、
22、为深度损失，其中、和分别代表渲染深度、sfm提取的深度和单目深度，为深度损失，表示平均绝对误差损失，为皮尔逊分布损失，和为权重系数，代表第 w个窗口， w是窗口总数。
23、优选地，对深度对齐后的高斯点云数据进行稀疏友好采样的步骤具体为：
24、在渲染过程中，通过比较渲染图像和真实图像，计算每个像素的误差，识别出具有最高误差值的像素，然后分析每个像素的颜色是如何通过对多个高斯椭圆体进行α-混合得到的，确定对像素颜色贡献最大的高斯椭圆体，将会对高斯椭球体执行分割操作，分为多个高斯椭圆体。
25、一种基于三维高斯溅射技术的三维重建系统，包括：
26、数据获取模块：用于获取稀疏图像数据集；
27、初始化处理模块：用于对稀疏图像数据集进行初始化处理，获得初始3d点云；
28、密度增加模块：用于利用初始3d点云增加高斯点云密度，获得高斯点云数据；
29、深度对齐模块：用于对高斯点云数据进行深度对齐，获得深度对齐后的高斯点云数据；
30、采样模块：用于对深度对齐后的高斯点云数据进行稀疏友好采样；
31、重建模块：用于重复进行s3、s4和s5 1000次，获得三维重建后的图像。
32、一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现一种基于三维高斯溅射技术的三维重建方法的步骤。
33、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现一种基于三维高斯溅射技术的三维重建方法的步骤。
34、与现有技术相比，本专利技术具有以下有益效果：本专利技术提出了一种基于三维高斯溅射技术的三维重建方法，首先，采用循环式渐进高斯初始化 ，在训练过程中利用伪视图来增加高斯点云的密度，从而实现更全面的几何覆盖；其次，实施深度对齐正则化，结合初始化3d点云得到的精确深度和单目深度估计，通过滑动窗口机制对深度信息进行对齐，提供有效的几何约束；最后，引入稀疏友好采样策略，针对性地处理因输入数据稀疏而过度膨胀的高斯椭圆体，通过分割这些椭圆体来提高细节的几何和渲染质量。
本文档来自技高网...【技术保护点】
1.一种基于三维高斯溅射技术的三维重建方法，其特征在于，包括：
2.根据权利要求1所述的一种基于三维高斯溅射技术的三维重建方法，其特征在于，对稀疏图像数据集进行初始化处理的步骤具体为：
3.根据权利要求1所述的一种基于三维高斯溅射技术的三维重建方法，其特征在于，对初始3D点云进行循环式渐进高斯初始化，获得高斯点云数据具体为：
4.根据权利要求3所述的一种基于三维高斯溅射技术的三维重建方法，其特征在于，伪视图位置位置获取的公式为：
5.根据权利要求1所述的一种基于三维高斯溅射技术的三维重建方法，其特征在于，对高斯点云数据进行深度对齐的操作步骤具体为：
6.根据权利要求5所述的一种基于三维高斯溅射技术的三维重建方法，其特征在于，深度损失的计算公式为：
7.根据权利要求1所述的一种基于三维高斯溅射技术的三维重建方法，其特征在于，对深度对齐后的高斯点云数据进行稀疏友好采样的步骤具体为：
8.一种基于三维高斯溅射技术的三维重建系统，其特征在于，包括：
9.一种计算机设备，包括存储器、处理器以及存
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述一种基于三维高斯溅射技术的三维重建方法的步骤。
...【技术特征摘要】
1.一种基于三维高斯溅射技术的三维重建方法，其特征在于，包括：
2.根据权利要求1所述的一种基于三维高斯溅射技术的三维重建方法，其特征在于，对稀疏图像数据集进行初始化处理的步骤具体为：
3.根据权利要求1所述的一种基于三维高斯溅射技术的三维重建方法，其特征在于，对初始3d点云进行循环式渐进高斯初始化，获得高斯点云数据具体为：
4.根据权利要求3所述的一种基于三维高斯溅射技术的三维重建方法，其特征在于，伪视图位置位置获取的公式为：
5.根据权利要求1所述的一种基于三维高斯溅射技术的三维重建方法，其特征在于，对高斯点云数据进行深度对齐的操作步骤具体为：
6.根据权利要求5所述的一种基于三维高斯溅射技术的三维重建方法，其...
【专利技术属性】
技术研发人员：梁卫，郭诚，冯继亮，熊永平，周俊杰，叶旺平，吕波，娄红娜，王琼，刘力文，张俊国，陈浩，章玥，
申请(专利权)人：西安西开电力装备智慧服务有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。