【技术实现步骤摘要】
本专利技术涉及三维视觉动态场景渲染，特别是涉及一种基于三维分解哈希编码的动态场景渲染方法及系统。
技术介绍
1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
2、三维动态场景重建和渲染技术是应用于影视、电子游戏、虚拟现实等领域的重要技术，其旨在根据部分时刻下有限的若干图像及其相机位姿和拍摄时刻，重建出所拍摄的动态三维场景的物体几何和光场信息，以及场景物体的移动情况，根据重建得到的信息，渲染出该时间段内任何时刻任何视角下的场景图像。
3、早期的方法通常使用神经辐射场和位移场的方式对动态场景进行建模，利用神经网络表示场景中各个位置的体密度，各个位置上物体的光场颜色，以及随时间变化的各位置参数的变化，从而表示场景的物体信息、光场信息和位移信息，最后利用体渲染公式，将神经网络的输出渲染成图像与目标图像做监督，让神经网络回归训练出场景的各个信息。但是，该方法效率低，训练速度慢，渲染速度慢，渲染质量低。
4、近期，基于三维高斯函数的建模方法获得静态场景渲染算法各个方面性能的提升。一些工作将三维高斯函数的建模方法融合基于多层感知机(multilayer perceptron,mlp)或二维坐标分解表示方法的位移场，应用在了动态场景渲染领域，然而其依然存在渲染质量和渲染速度不高的问题。
技术实现思路
1、为了解决上述问题，本专利技术提出了一种基于三维分解哈希编码的动态场景渲染方法及系统，并基于特征的不同性质，提出方向注意力机制，三
2、为了实现上述目的，本专利技术采用如下技术方案：
3、第一方面，本专利技术提供一种基于三维分解哈希编码的动态场景渲染方法，包括：
4、获取指定时段内拍摄的待渲染图像及对应的拍摄时刻和相机位姿，并初始化三维高斯函数；
5、对由待渲染图像的拍摄时刻和三维高斯函数的中心位置坐标组成的四维坐标进行三维分解，并对得到的每个三维坐标分别进行哈希编码；
6、将哈希编码得到的特征进行方向注意力机制的特征融合；
7、解码得到的融合特征，得到三维高斯函数的参数在当前拍摄时刻下的变化值，根据变化值调整三维高斯函数的参数；
8、将参数调整后的三维高斯函数，根据相机位姿，采用可微光栅化渲染方式，渲染得到所需的场景图像。
9、作为可选择的实施方式，对由待渲染图像的拍摄时刻t和三维高斯函数的中心位置坐标(x，y，z)组成的四维坐标(x，y，z，t)分解为四个三维坐标，即(x，y，z)、(x，y，t)、(y，z，t)、(x，z，t)，对每个三维坐标进行哈希编码后，得到时间特征gxyt，gyzt，gxzt和空间特征gxyz；其中，哈希编码为对三维坐标在一定分辨率的三维网格特征中进行线性插值，从而获得对该三维坐标的编码。
10、作为可选择的实施方式，特征融合的过程包括：
11、将空间特征转换为注意力分数a，分数范围是[-1，1]；将注意力分数点乘作用在时间特征中，得到融合特征h；
12、
13、h＝a⊙ft(gxyt，gyzt，gxzt)；
14、其中，φ为sigmoid函数，⊙为向量点乘操作，fs(·)为多层感知机网络对空间特征gxyz的处理，ft(·)为多层感知机网络对时间特征gxyt，gyzt，gxzt的处理。
15、作为可选择的实施方式，利用多层感知机解码器解码融合特征，对三维高斯函数的中心大小矩阵参数s和旋转矩阵参数r进行调整；
16、s′＝s+δs；r′＝r+δr；
17、其中，rx，tx为三维高斯函数中心的变化参数，δr为三维高斯函数旋转矩阵参数的变化值，δs为三维高斯函数大小矩阵参数的变化值；s′、r′为调整后的三维高斯函数的中心、大小矩阵参数和旋转矩阵参数。
18、作为可选择的实施方式，渲染的过程包括：
19、将三维高斯函数通过视角变换矩阵w和仿射投影矩阵j转化为二维高斯函数；二维高斯函数的中心为三维高斯函数的中心光栅化到图像平面而获得，二维高斯函数的协方差矩阵∑′通过光栅化公式获得：∑′＝jw∑wtjt；∑为三维高斯函数的协方差矩阵；
20、通过体渲染公式获得场景图像中的每个像素c(p)，得到所有像素后组成场景图像；
21、
22、
23、其中，n为重叠的二维高斯函数的数量，p为像素坐标；为第i个二维高斯函数的中心；ci为对应高斯函数的颜色；σi为对应高斯函数的非透明度。
24、作为可选择的实施方式，所述基于三维分解哈希编码的动态场景渲染方法结合光滑正则项损失进行训练，具体包括：
25、光滑正则项损失lr为：
26、lr＝|gxyzt(x，y，z，t)-gxyzt(x+∈x，y+∈y，z+∈z，t+∈t)|2；
27、其中，gxyzt＝{gxyz，gxyt，gyzt，gxzt}为由空间特征和时间特征连接组成的特征，(∈x，∈y，∈z，∈t)为对输入坐标的扰动；
28、总损失l为：l＝(1-λc)l1+λcld-ssim+λrlr；其中，λc，λr为超参数；l1为图像渲染损失；ld-ssim为图像结构相似性损失；
29、通过梯度下降法，求解三维高斯函数中各参数的梯度，并进行参数自适应变化；
30、根据三维高斯函数的各参数和参数梯度，对三维高斯函数进行裁剪、复制和分裂；其中，当三维高斯函数的非透明度低于设定非透明度阈值时，将该三维高斯函数删除；当三维高斯函数的中心的梯度大于设定梯度阈值时，对三维高斯函数的大小大于设定最大阈值的三维高斯函数进行分裂，对小于设定最小阈值的三维高斯函数进行克隆；
31、直至达到设定迭代次数后，根据输入的指定时段内的任意拍摄时刻和相机位姿，渲染对应的场景图像。
32、第二方面，本专利技术提供一种基于三维分解哈希编码的动态场景渲染系统，包括：
33、获取模块，被配置为获取指定时段内拍摄的待渲染图像及对应的拍摄时刻和相机位姿，并初始化三维高斯函数；
34、编码模块，被配置为对由待渲染图像的拍摄时刻和三维高斯函数的中心位置坐标组成的四维坐标进行三维分解，并对得到的每个三维坐标分别进行哈希编码；
35、融合模块，被配置为将哈希编码得到的特征进行方向注意力机制的特征融合；
36、解码模块，被配置为解码得到的融合特征，得到三维高斯函数的参数在当前拍摄时刻下的变化值，根据变化值调整三维高斯函数的参数；
37、渲染模块，被配置为将参数调整后的三维高斯函数，根据相机位姿，采用可微光栅化渲染方式，渲染得到所需的场景图像。
38、第三方面，本专利技术本文档来自技高网...
【技术保护点】
1.一种基于三维分解哈希编码的动态场景渲染方法，其特征在于，包括：
2.如权利要求1所述的一种基于三维分解哈希编码的动态场景渲染方法，其特征在于，对由待渲染图像的拍摄时刻t和三维高斯函数的中心位置坐标(x,y,z)组成的四维坐标(x,y,z,t)分解为四个三维坐标，即(x,y,z)、(x,y,t)、(y,z,t)、(x,z,t)，对每个三维坐标进行哈希编码后，得到时间特征Gxyt,Gyzt,Gxzt和空间特征Gxyz；其中，哈希编码为对三维坐标在一定分辨率的三维网格特征中进行线性插值，从而获得对该三维坐标的编码。
3.如权利要求2所述的一种基于三维分解哈希编码的动态场景渲染方法，其特征在于，特征融合的过程包括：
4.如权利要求1所述的一种基于三维分解哈希编码的动态场景渲染方法，其特征在于，利用多层感知机解码器解码融合特征，对三维高斯函数的中心大小矩阵参数S和旋转矩阵参数R进行调整；
5.如权利要求1所述的一种基于三维分解哈希编码的动态场景渲染方法，其特征在于，渲染的过程包括：
6.如权利要求1所述的一种基于三维分解哈希编
7.一种基于三维分解哈希编码的动态场景渲染系统，其特征在于，包括：
8.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-6任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-6任一项所述的方法。
10.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序被处理器执行时实现完成权利要求1-6任一项所述的方法。
...【技术特征摘要】
1.一种基于三维分解哈希编码的动态场景渲染方法，其特征在于，包括：
2.如权利要求1所述的一种基于三维分解哈希编码的动态场景渲染方法，其特征在于，对由待渲染图像的拍摄时刻t和三维高斯函数的中心位置坐标(x,y,z)组成的四维坐标(x,y,z,t)分解为四个三维坐标，即(x,y,z)、(x,y,t)、(y,z,t)、(x,z,t)，对每个三维坐标进行哈希编码后，得到时间特征gxyt,gyzt,gxzt和空间特征gxyz；其中，哈希编码为对三维坐标在一定分辨率的三维网格特征中进行线性插值，从而获得对该三维坐标的编码。
3.如权利要求2所述的一种基于三维分解哈希编码的动态场景渲染方法，其特征在于，特征融合的过程包括：
4.如权利要求1所述的一种基于三维分解哈希编码的动态场景渲染方法，其特征在于，利用多层感知机解码器解码融合特征，对三维高斯函数的中心大小矩阵参数s和旋转矩阵参数r进...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。