【技术实现步骤摘要】
本公开涉及计算机图形学，具体地涉及一种三维高斯光栅化建模方法、模型训练方法及装置。
技术介绍
1、相关合成新视角图像的方法，主要关注的是对以物体为中心的场景进行建模。在这类场景中，物体大多具有不透明的性质，并且存在较少的与视角相关的效果(如：高光反射)。
2、相关合成新视角图像的方法往往忽视了，针对物体具有反射、折射等性质的场景，由于物体会对入射光线进行反射、折射等，场景中会存在复杂光路，进而会产生特殊的视角效果。因此，相关的合成新视角图像方法对这类特殊的视角效果的表达能力较差，难以准确建模该类场景中的物体的外观和几何形状，导致生成的图像模糊和失真。
技术实现思路
1、鉴于上述问题，本公开提供了一种三维高斯光栅化建模方法、模型训练方法及装置。
2、根据本公开的第一个方面，提供了一种三维高斯光栅化建模方法，包括：获取与目标场景对应的目标相机采集位置及三维点云，其中，上述三维点云是根据在m个不同预定相机位置下，对上述目标场景采集的m个二维图像生成的，上述目标场景对用于采集上述二维图像的入射光线进行反射、折射和/或漫反射；针对上述三维点云中的每个三维点，计算上述三维点与上述目标相机采集位置之间的相对距离；计算上述三维点相对于上述目标相机采集位置的观察方向；利用目标三维高斯模型，从上述观察方向中提取观察方向特征；利用上述目标三维高斯模型，根据上述观察方向特征和上述三维点的三维位置，确定变形点位置；利用上述目标三维高斯模型，对上述变形点位置、上述相对距离和上述观察方向
3、本公开的第二方面提供了一种模型训练方法，包括：
4、根据在m个不同预定相机采集位置下，对上述目标场景采集的m个二维图像，生成与上述目标场景对应的三维点云，其中，上述目标场景对用于采集上述二维图像的入射光线进行反射、折射和/或漫反射；
5、针对每个预定相机采集位置和上述三维点云中的每个三维点，计算上述三维点与上述预定相机采集位置之间的相对距离；
6、计算上述三维点相对于上述预定相机采集位置的观察方向；
7、利用三维高斯模型，从上述观察方向中提取观察方向特征；
8、利用所述三维高斯模型，根据上述观察方向特征和上述三维点的三维位置，确定变形点位置；
9、利用上述三维高斯模型对上述变形点位置、上述相对距离和上述观察方向特征进行处理，得到上述三维点在上述预定相机采集位置下的预测颜色；
10、根据上述预测颜色和上述二维图像中的标准颜色，更新上述三维高斯模型的模型参数，并在上述预测颜色与上述标准颜色之间的偏差满足预设条件的情况下，将当前训练得到的上述三维高斯模型确定为目标三维高斯模型。
11、本公开的第三方面提供了一种三维高斯光栅化建模装置，包括：获取模块、第一计算模块、第二计算模块、第一提取模块、第一确定模块、得到模块和渲染模块。
12、获取模块，用于获取与目标场景对应的目标相机采集位置及三维点云，其中，上述三维点云是根据在m个不同预定相机位置下，对上述目标场景采集的m个二维图像生成的，上述目标场景对用于采集上述二维图像的入射光线进行反射、折射和/或漫反射。
13、第一计算模块，用于针对上述三维点云中的每个三维点，计算上述三维点与上述目标相机采集位置之间的相对距离。
14、第二计算模块，用于计算上述三维点相对于上述目标相机采集位置的观察方向。
15、第一提取模块，用于利用目标三维高斯模型，从上述观察方向中提取观察方向特征。
16、第一确定模块，用于利用上述目标三维高斯模型，根据上述观察方向特征、上述观察方向和上述三维点的三维位置，确定变形点位置。
17、第一得到模块，用于利用目标三维高斯模型对上述变形点位置、相对距离和上述观察方向特征进行处理，得到上述三维点在上述目标相机采集位置下的预测颜色。
18、渲染模块，用于根据上述预测颜色，对上述三维点在上述目标相机采集位置下的二维图像中的颜色进行渲染。
19、本公开的第四方面提供了一种模型训练装置，包括生成模块、第三计算模块、第四计算模块、第二提取模块、第二确定模块、训练模块和第三确定模块。
20、生成模块，用于根据在m个不同预定相机采集位置下，对上述目标场景采集的m个二维图像，生成与上述目标场景对应的三维点云，其中，上述目标场景对用于采集上述二维图像的入射光线进行反射、折射和/或漫反射。
21、第三计算模块，用于针对每个预定相机采集位置和上述三维点云中的每个三维点，计算上述三维点与上述预定相机采集位置之间的相对距离。
22、第四计算模块，用于计算上述三维点相对于上述预定相机采集位置的观察方向。
23、第二提取模块，用于利用三维高斯模型，从上述观察方向中提取观察方向特征。
24、第二确定模块，用于利用上述三维高斯模型，根据上述观察方向特征和上述三维点的三维位置，确定变形点位置。
25、第二得到模块，用于利用上述三维高斯模型对上述变形点位置、上述相对距离和上述观察方向特征进行处理，得到上述三维点在上述预定相机采集位置下的预测颜色；
26、第三确定模块，用于根据上述预测颜色和上述二维图像中的标准颜色，更新上述三维高斯模型的模型参数，并在上述预测颜色与上述标准颜色之间的偏差满足预设条件的情况下，将当前训练得到的上述三维高斯模型确定为目标三维高斯模型。
27、本公开实施例提供的三维高斯光栅化建模方法，通过针对三维点云中的每个三维点，计算三维点与目标相机采集位置之间的相对距离，可以得到各个三维点相对于目标相机采集位置的空间位置特征。计算三维点相对于目标相机采集位置的观察方向，利用目标三维高斯模型，从观察方向中提取观察方向特征，可以得到准确的且维度较低的与三维点对应的观察视角特征。然后利用目标三维高斯模型，根据观察方向特征和三维点的三维位置，确定变形点位置，可以得到较准确的变形点位置，实现精确解耦观测视角变化与空间三维点的几何结构，进而后续在利用目标三维高斯模型对变形点位置、相对距离和观察方向特征进行处理，得到三维点在目标相机采集位置下的预测颜色时，可以在目标相机采集位置相对于预定相机位置相差较大的情况下，得到较准确的预测颜色。因此，根据预测颜色，对三维点在目标相机采集位置下的二维图像中的颜色进行渲染，可以得到高质量的渲染效果，使得二维图像较清晰。
本文档来自技高网...【技术保护点】
1.一种三维高斯光栅化建模方法，包括：
2.根据权利要求1所述的方法，其中，所述利用所述目标三维高斯模型，根据所述观察方向特征和所述三维点的三维位置，确定变形点位置包括：
3.根据权利要求2所述的方法，其中，所述对所述初始空间特征和所述初始空间及视角特征进行上采样及拼接，得到目标特征包括：
4.根据权利要求2或3所述的方法，其中，所述初始空间特征包括第一二维坐标、第二二维坐标和第三二维坐标，所述从所述空间视角信息中提取初始空间特征包括：
5.根据权利要求2或3所述的方法，其中，初始空间及视角特征包括第一空间视角子特征、第二空间视角子特征和第三空间视角子特征，所述从所述空间视角信息中提取初始空间及视角特征包括：
6.根据权利要求2或3所述的方法，其中，所述利用多层感知器对所述目标特征进行解码，得到所述变形点位置包括：
7.根据权利要求1所述的方法，其中，所述利用所述目标三维高斯模型，对所述变形点位置、所述相对距离和所述观察方向特征进行处理，得到所述三维点在所述目标相机采集位置下的预测颜色包括：
8.
9.一种三维高斯光栅化建模装置，包括：
10.一种模型训练装置，包括：
...【技术特征摘要】
1.一种三维高斯光栅化建模方法，包括：
2.根据权利要求1所述的方法，其中，所述利用所述目标三维高斯模型，根据所述观察方向特征和所述三维点的三维位置，确定变形点位置包括：
3.根据权利要求2所述的方法，其中，所述对所述初始空间特征和所述初始空间及视角特征进行上采样及拼接，得到目标特征包括：
4.根据权利要求2或3所述的方法，其中，所述初始空间特征包括第一二维坐标、第二二维坐标和第三二维坐标，所述从所述空间视角信息中提取初始空间特征包括：
5.根据权利要求2或3所述的方法，其中，初始空间及视角特征包括第一空...
【专利技术属性】
技术研发人员：王震武，葛一烽，陆云天，常伟其，
申请(专利权)人：中国科学技术大学先进技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。