【技术实现步骤摘要】
本专利技术属于点云渲染领域，具体涉及一种基于深度去噪的三维高斯渲染方法。
技术介绍
1、点云是由三维点构成的集合，常用于表示物体的几何结构。然而，由于点云本身缺乏体积，现有的方法通常将每个点描绘为球体，并通过投射到像素平面上进行渲染，最终生成图像。三维高斯作为一种新兴的三维表达方式，使用各向异性球体来表示3d场景，成为点云渲染的新范式，然而由于其各项异性的表达，使得存储急剧增大。此外在光栅化过程中，由于球体体积的占用，不可避免地会引入噪声，如空洞和锯齿效应；现有的去噪方法可以一定程度缓解噪声导致的伪影问题，但其对复杂场景和弱纹理区域的伪影并不能有效去除。而且会使得存储大小有所增加。为此，本专利技术提出了一种新方法，专门处理光栅化过程中产生的噪声同时降低存储，本专利技术方法极大提高了基于三维高斯的点云渲染质量。
技术实现思路
1、本专利技术提出了一种基于深度去噪的三维高斯渲染方法，提高了基于三维高斯渲染的质量，同时降低了其存储空间。
2、本专利技术提出的一种基于深度去噪的三维高斯渲染方法，包括以下步骤：
3、步骤1、基于图片序列或者视频获取场景点云和相机位姿。
4、收集待渲染场景的视频或图片序列，对其进行预处理，利用结构从运动（sfm）算法，提取场景的点云数据和图像对应的相机的位姿信息。
5、步骤2、基于获取的点云构造神经辐射图。
6、步骤3、对得到的神经辐射图进行深度去噪。
7、步骤4、通过端到端训练得到训练好
8、步骤5、通过训练得到的场景表达实现三维高斯渲染；
9、为得到所需视角的渲染结果，将所需视角的相机位姿输入至训练好的场景表达即可实现三维高斯渲染。
10、进一步的，步骤2具体方法如下：
11、将三维高斯重新参数化为，，，，这五个变量，分别表示为四元数，泼溅长度，空间位置，不透明度和外观模型。通过获取的点云初始化三维高斯的空间位置；其他属性进行随机初始化。对于每一个视角，通过相机位姿将三维高斯泼溅到二维像素平面。之后每一个所需要渲染的像素由多个高斯占据。使用如下的公式得到对应像素的神经辐射图：
12、 (1)
13、其中n表示像素位置下占据的高斯数量。
14、引入来增强神经辐射图，其考虑了每个像素位置的光线方向以纠正神经辐射图，从而缓解了三维高斯投影到二维空间过程中噪声带来的影响。其中由一个多层感知机构成。
15、 (2)
16、进一步的，步骤3具体方法如下：
17、使用一个轻量化的网络对神经辐射图进行处理，其由三层标准的卷积层构成。由于的维度为，并不是。的输入是，输出是一个的掩膜。在得到掩膜之后将其相乘到得到的去噪神经辐射图，最后使用u-net来将解码成的彩色图片。所述的u-net由五个卷积块组成，每一层的卷积块输出的通道数为别为64，128，256，512，1024，五个卷积块由门控卷积和2x2的平均池化构成。
18、进一步的，步骤4具体方法如下：
19、对于待渲染场景采集到的图片，三维高斯的属性，，，，、多层感知机、轻量化的网络以及u-net在端到端训练过程中进行联合优化。训练的过程中，通过相机位姿将三维高斯泼溅到二维像素平面，使用公式（1）得到神经辐射图。之后，通过u-net解码得到渲染的图片。计算渲染的图片与真值之间的损失函数。
20、损失函数为：
21、 (3)
22、其中，和分别表示l1损失函数以及ssim损失函数。
23、在训练完成之后，得到训练好的场景表达，所述的训练好的场景表达包括优化好的三维高斯、多层感知机、轻量化的网络以及u-net。
24、本专利技术的特点及有益效果如下：
25、本专利技术专注于解决光栅化过程中由于采样不充分引入的噪声问题。通过利用深度去噪技术，本专利技术能够有效去除渲染结果中的“伪影”，这些伪影通常表现为视觉上的失真或不自然的纹理特征，严重影响了最终图像的质量。借助这一方法，可以大幅提升渲染结果的清晰度与真实感，为高质量图形生成与显示提供了一种可靠的技术支持。
本文档来自技高网...【技术保护点】
1.一种基于深度去噪的三维高斯渲染方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于深度去噪的三维高斯渲染方法，其特征在于，步骤2具体方法如下：
3.根据权利要求2所述的一种基于深度去噪的三维高斯渲染方法，其特征在于，步骤3具体方法如下：
4.根据权利要求3所述的一种基于深度去噪的三维高斯渲染方法，其特征在于，步骤4具体方法如下：
【技术特征摘要】
1.一种基于深度去噪的三维高斯渲染方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于深度去噪的三维高斯渲染方法，其特征在于，步骤2具体方法如下：
3.根...
【专利技术属性】
技术研发人员：孙垚棋，任浩帆，颜成钢，朱尊杰，高宇涵，王鸿奎，金恒，
申请(专利权)人：杭州电子科技大学丽水研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。