【技术实现步骤摘要】
本公开涉及图形逆渲染领域，尤其涉及一种基于全局-局部表面协同感知的物体高斯逆渲染方法。
技术介绍
1、物体逆渲染是基于计算机视觉及图形学的重要研究方向，旨在从给定的图像或视频数据中恢复场景的底层物理属性，例如光源条件、物体形状以及表面材质等。可以将逆渲染视为当前图形学渲染管线的反向过程，该技术广泛应用于游戏、电影制作、虚拟现实（vr）和增强现实（ar）等领域。现有的物体逆渲染方法主要包含三类，第一类是基于显示几何表示的物体逆渲染方法，这类方法以三角面片作为物体的几何代理，通过梯度回传的方式逐步优化解耦的各个材质属性贴图，这类方法虽然能够兼容于现有的传统渲染管线，但受限于三角面片的数量，无法处理好物体细节处的材质纹理解耦任务；第二类是基于隐式几何表示的物体逆渲染方法，该方法通过模拟环境光线如何与具有材质属性的神经辐射场相互作用来建模场景，并在可微渲染过程中估计环境光照明和材质属性参数，然而，这类方法受限于神经辐射场的重建计算复杂度；第三类是基于3d高斯点云的物体逆渲染方法，3d高斯点云作为一种显式表达，其同时兼具较高的渲染质量和渲染效率，但是现有的3d高斯点云方法存在视角过拟合问题，重建的高斯场景中的高斯椭球体的位置与形状会过拟合于某些特定的拍摄视角，从而导致物体表面是粗糙的，这给逆渲染任务带来了巨大的挑战。
技术实现思路
1、本公开提供了一种基于全局-局部表面协同感知的物体高斯逆渲染方法及装置、设备以及存储介质。
2、根据本公开的第一方面，提供了一种基于全局-局部表面协
3、对多视角图片中的每个像素进行光线投射，在光线上进行采样，获取各采样点；
4、利用几何网络和颜色网络分别计算各采样点的神经辐射距离函数值和颜色值，并获取全局几何表征；
5、根据各采样点的神经辐射距离函数值，初始化高斯点云位置，获取初始化的高斯点云；
6、从初始化的高斯点云中选取局部控制高斯点，以局部控制高斯点为中心，确定局部采样点；
7、根据局部控制高斯点和局部采样点，构建局部距离函数；
8、根据局部采样点，利用局部距离函数和神经辐射距离函数，分别计算局部采样点关于局部控制高斯点的局部距离函数值和全局神经辐射距离函数值；
9、根据全局几何表征，以局部距离函数值和全局神经辐射距离函数值作为约束，重建几何细节；
10、重建完成后，为高斯点云添加属性值进行材质与光照建模，获取材质属性与光照条件，并计算高斯点云中各高斯点的可见性。
11、在第一方面的一些可实现方式中，利用几何网络和颜色网络分别计算各采样点的神经辐射距离函数值和颜色值，并获取全局几何表征，包括：
12、对各采样点进行编码得到各采样点的空间位置表征；
13、将各采样点的空间位置表征分别输入几何网络与颜色网络，利用几何网络计算各采样点的神经辐射距离函数值，利用颜色网络计算各采样点的颜色值；
14、根据各采样点的神经辐射距离函数值和颜色值，获取全局几何表征。
15、在第一方面的一些可实现方式中，根据各采样点的神经辐射距离函数值，初始化高斯点云位置，包括：
16、使用最远点采样法对在预设区间内的各采样点的神经辐射距离函数值对应的点集进行下采样，将下采样得到的采样点作为高斯点云位置初始化后的高斯点。
17、在第一方面的一些可实现方式中，从初始化的高斯点云中选取局部控制高斯点，包括：
18、从初始化的高斯点云中选取高斯渲染深度与相机空间深度的直接插值在预设阈值内的高斯点作为局部控制高斯点。
19、在第一方面的一些可实现方式中，以局部控制高斯点为中心，确定局部采样点，包括：
20、以局部控制高斯点为中心，沿高斯点最短轴方向添加随机高斯噪声，将局部控制高斯点和添加的随机高斯噪声作为局部采样点。
21、在第一方面的一些可实现方式中，根据局部控制高斯点和局部采样点，构建局部距离函数，包括：
22、根据局部控制高斯点和局部采样点，构建局部密度函数；
23、根据局部密度函数和局部采样点，构建局部距离函数。
24、在第一方面的一些可实现方式中，局部密度函数为：
25、；
26、其中，表示局部密度函数，表示局部采样点，、、分别表示局部控制高斯点的alpha混合系数、空间位置和协方差，表示转置操作；
27、局部距离函数为：
28、；
29、其中，表示局部距离函数，为局部控制高斯点的最小缩放因子。
30、在第一方面的一些可实现方式中，该方法，还包括：
31、将材质属性、光照条件和各高斯点的可见性输入微表面模型，获取各高斯点的渲染颜色；
32、对各高斯点的渲染颜色进行积分，获取渲染图像；
33、以渲染图像对应的真实图像作为约束，优化高斯点云位置及高斯点云的属性值。
34、在第一方面的一些可实现方式中，该方法，还包括：
35、根据各采样点的神经辐射距离函数值和颜色值，使用体渲染方法，生成体渲染图像；
36、以体渲染图像对应的真实图像作为约束，优化几何网络和颜色网络。
37、根据本公开的第二方面，提供了一种基于全局-局部表面协同感知的物体高斯逆渲染装置。该装置包括：
38、采样点获取模块，用于对多视角图片中的每个像素进行光线投射，在光线上进行采样，获取各采样点；
39、全局几何表征获取模块，用于利用几何网络和颜色网络分别计算各采样点的神经辐射距离函数值和颜色值，并获取全局几何表征；
40、高斯点云位置初始化模块，用于根据各采样点的神经辐射距离函数值，初始化高斯点云位置，获取初始化的高斯点云；
41、局部采样点确定模块，用于从初始化的高斯点云中选取局部控制高斯点，以局部控制高斯点为中心，确定局部采样点；
42、局部距离函数构建模块，用于根据局部控制高斯点和局部采样点，构建局部距离函数；
43、函数值计算模块，用于根据局部采样点，利用局部距离函数和神经辐射距离函数，分别计算局部采样点关于局部控制高斯点的局部距离函数值和全局神经辐射距离函数值；
44、几何细节重建模块，用于根据全局几何表征，以局部距离函数值和全局神经辐射距离函数值作为约束，重建几何细节；
45、材质与光照重建模块，用于重建完成后，为高斯点云添加属性值进行材质与光照建模，获取材质属性与光照条件，并计算高斯点云中各高斯点的可见性。
46、根据本公开的第三方面，提供了一种电子设备。该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上所述的方法。
47、根据本公开的第四方面本文档来自技高网...
【技术保护点】
1.一种基于全局-局部表面协同感知的物体高斯逆渲染方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述利用几何网络和颜色网络分别计算各采样点的神经辐射距离函数值和颜色值，并获取全局几何表征，包括：
3.根据权利要求1所述的方法，其特征在于，所述根据各采样点的神经辐射距离函数值，初始化高斯点云位置，包括：
4.根据权利要求1所述的方法，其特征在于，所述从初始化的高斯点云中选取局部控制高斯点，包括：
5.根据权利要求1所述的方法，其特征在于，所述以局部控制高斯点为中心，确定局部采样点，包括：
6.根据权利要求1所述的方法，其特征在于，所述根据局部控制高斯点和局部采样点，构建局部距离函数，包括：
7.根据权利要求6所述的方法，其特征在于，所述局部密度函数为：
8.根据权利要求1所述的方法，其特征在于，所述方法，还包括：
9.根据权利要求1所述的方法，其特征在于，所述方法，还包括：
10.一种与所述权利要求1对应的基于全局-局部表面协同感知的物体高斯逆渲染装置，
...【技术特征摘要】
1.一种基于全局-局部表面协同感知的物体高斯逆渲染方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述利用几何网络和颜色网络分别计算各采样点的神经辐射距离函数值和颜色值，并获取全局几何表征，包括：
3.根据权利要求1所述的方法，其特征在于，所述根据各采样点的神经辐射距离函数值，初始化高斯点云位置，包括：
4.根据权利要求1所述的方法，其特征在于，所述从初始化的高斯点云中选取局部控制高斯点，包括：
5.根据权利要求1所述的方法，其特征在...
【专利技术属性】
技术研发人员：孙鑫，李俊男，李茹，孟权令，柳青林，张盛平，
申请(专利权)人：哈尔滨工业大学威海，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。