【技术实现步骤摘要】
本专利技术涉及场景渲染，尤其涉及一种基于视角匹配与对极几何约束的隐式场重建方法、系统、终端及计算机可读存储介质。
技术介绍
1、相机射线是指从相机位置发出的穿过对应图像平面像素的光线，用于确定哪些部分的场景应该在图像中显示出来。在神经隐式场渲染方法中，相机射线上的采样点起着至关重要的作用。
2、但是，神经隐式场的重建依赖于一个精确的位姿输入，而针对位姿不精确情况下设计的算法，难以有效同时优化相机位姿与神经隐式场表达，得到的新视角渲染结果存在细节缺失，从密度场中提取的三维网格通常过度光滑，不能很好地反应目标物体的几何细节。
3、因此，现有技术还有待于改进和发展。
技术实现思路
1、本专利技术的主要目的在于提供一种基于视角匹配与对极几何约束的隐式场重建方法、系统、终端及计算机可读存储介质，旨在解决现有技术中难以有效同时优化相机位姿与神经隐式场表达，从而导致渲染结果模糊，且不能准确表达物体的几何细节的问题。
2、为实现上述目的，本专利技术提供一种基于视角匹配与对极几何约束的隐式场重建方法，所述基于视角匹配与对极几何约束的隐式场重建方法包括如下步骤：
3、获取目标对象的初始图像组，并构建初始三维隐式场，将所述初始图像组与所述目标对象的多视角渲染值之间光度误差输入所述初始三维隐式场进行训练，得到三维隐式场；
4、提取多种相机射线的采样点特征，根据多个所述采样点特征生成目标关键特征，将所述目标关键特征输入所述三维隐式场，并将所述初始图
5、将所述目标特征体输入几何网络，输出有向距离场值和输出特征，根据所述有向距离场值和所述输出特征，得到所述目标对象的几何结果；
6、根据所述几何结果得到所述目标对象在每个采样点上的法向信息，将所有所述法向信息输入纹理网络，输出多种所述相机射线中的匹配射线的渲染值。
7、可选地，所述的基于视角匹配与对极几何约束的隐式场重建方法，其中，所述获取目标对象的初始图像组，并构建初始三维隐式场，将所述初始图像组与所述目标对象的多视角渲染值之间光度误差输入所述初始三维隐式场进行训练，得到三维隐式场，具体包括：
8、获取目标相机采集的所述目标对象的初始图像组，其中，所述初始图像组由所述目标相机从多个视角拍摄所述目标对象生成；
9、构建初始三维隐式场，并计算所述初始图像组与所述目标对象的多视角渲染值之间光度误差：
10、；
11、；
12、；
13、；
14、其中，表示采样点的光度误差，表示采样点，表示初始图像组中的图像索引，表示图像的像素点，表示图像和目标对象在像素点处的颜色误差，表示第个图像在像素点处的rgb值，表示目标对象在像素点处的第个图像对应的相机视角的渲染值，表示第个图像的相机位姿，表示第个图像对应的目标相机的旋转矩阵，表示第个图像对应的目标相机的位移矢量，表示三维旋转群，表示三维的有理数空间；
15、将所述光度误差输入所述初始三维隐式场进行训练，得到三维隐式场。
16、可选地，所述的基于视角匹配与对极几何约束的隐式场重建方法，其中，所述相机射线包括：关键射线和辅助射线；
17、所述提取多种相机射线的采样点特征，根据多个所述采样点特征生成目标关键特征，将所述目标关键特征输入所述三维隐式场，并将所述初始图像组输入所述三维隐式场，输出目标特征体，之前还包括：
18、获取多个所述关键射线经过的多个所述采样点，并获取每个所述采样点的颜色信息和特征信息；
19、提取具有一致性的多个颜色信息和多个特征信息，并选择对应的采样点，将选择的多个所述采样点对应的关键射线相匹配，得到匹配射线：
20、；
21、；
22、其中，表示匹配射线，表示目标相机的相机中心，表示射线数量，表示匹配射线的归一化方向。
23、可选地，所述的基于视角匹配与对极几何约束的隐式场重建方法，其中，所述提取多种相机射线的采样点特征，根据多个所述采样点特征生成目标关键特征，将所述目标关键特征输入所述三维隐式场，并将所述初始图像组输入所述三维隐式场，输出目标特征体，具体包括：
24、提取所述匹配射线穿过所述初始图像组生成的关键采样点的关键特征，提取多个所述辅助射线穿过所述初始图像组生成的多个辅助采样点的辅助特征：
25、；
26、其中，表示采样点处的特征，表示采样点，表示渐进特征掩码，表示初始特征体；
27、利用所有所述辅助特征增强所述关键特征，得到目标关键特征，并将所述目标关键特征输入所述三维隐式场，输出目标特征体。
28、可选地，所述的基于视角匹配与对极几何约束的隐式场重建方法，其中，所述利用所述辅助特征增强所述关键特征，得到目标关键特征，并将所述目标关键特征输入所述三维隐式场，输出目标特征体，具体包括：
29、融合所述关键特征与所有所述辅助特征，得到目标关键特征：
30、；
31、其中，表示关键采样点的目标关键特征，表示关键采样点的辅助射线数量，表示一种数学函数，用于将一组任意实数转换为表示概率分布的实数，表示关键采样点，表示辅助采样点，表示关键采样点处的关键特征，表示辅助采样点处的辅助特征；
32、将所述目标关键特征输入所述三维隐式场，根据所述目标关键特征优化所述三维隐式场中的相机位姿，并输出目标关键特征。
33、可选地，所述的基于视角匹配与对极几何约束的隐式场重建方法，其中，所述将所述目标特征体输入几何网络，输出有向距离场值和输出特征，根据所述有向距离场值和所述输出特征，得到所述目标对象的几何结果，具体包括：
34、将所述目标特征体的目标关键特征输入已构建的几何网络，输出有向距离场值和所述输出特征；
35、根据所述输出特征，从所述有向距离场值中提取所述目标对象在三维空间中的几何结果：
36、；
37、其中，表示关键采样点的有向距离场值，表示关键采样点的输出特征，表示几何网络。
38、可选地，所述的基于视角匹配与对极几何约束的隐式场重建方法，其中，所述根据所述几何结果得到所述目标对象在每个采样点上的法向信息，将所有所述法向信息输入纹理网络，输出多种所述相机射线中的匹配射线的渲染值，具体包括：
39、根据所述几何结果的梯度值，计算所述目标对象在采样点上的法向，并根据所述法向得到所述采样点上的法向信息；
40、将所述法向信息输入已构建的纹理网络，输出所述采样点的rgb值：
41、；
42、其中，表示采样点的rgb值，表示纹理网络，表示采样点的输出特征，表示匹配射线的归一化方向，表示采样点的法向信息；
43、利用所有采样点的不透明密度和rgb值，对所述匹配射线的颜色进行渲染，得到所述匹配射线的渲染值本文档来自技高网...
【技术保护点】
1.一种基于视角匹配与对极几何约束的隐式场重建方法，其特征在于，所述基于视角匹配与对极几何约束的隐式场重建方法包括：
2.根据权利要求1所述的基于视角匹配与对极几何约束的隐式场重建方法，其特征在于，所述获取目标对象的初始图像组，并构建初始三维隐式场，将所述初始图像组与所述目标对象的多视角渲染值之间光度误差输入所述初始三维隐式场进行训练，得到三维隐式场，具体包括：
3.根据权利要求1所述的基于视角匹配与对极几何约束的隐式场重建方法，其特征在于，所述相机射线包括：关键射线和辅助射线；
4.根据权利要求3所述的基于视角匹配与对极几何约束的隐式场重建方法，其特征在于，所述提取多种相机射线的采样点特征，根据多个所述采样点特征生成目标关键特征，将所述目标关键特征输入所述三维隐式场，并将所述初始图像组输入所述三维隐式场，输出目标特征体，具体包括：
5.根据权利要求4所述的基于视角匹配与对极几何约束的隐式场重建方法，其特征在于，所述利用所述辅助特征增强所述关键特征，得到目标关键特征，并将所述目标关键特征输入所述三维隐式场，输出目标特征体，具体包括：
6.根据权利要求5所述的基于视角匹配与对极几何约束的隐式场重建方法，其特征在于，所述将所述目标特征体输入几何网络，输出有向距离场值和输出特征，根据所述有向距离场值和所述输出特征，得到所述目标对象的几何结果，具体包括：
7.根据权利要求2所述的基于视角匹配与对极几何约束的隐式场重建方法，其特征在于，所述根据所述几何结果得到所述目标对象在每个采样点上的法向信息，将所有所述法向信息输入纹理网络，输出多种所述相机射线中的匹配射线的渲染值，具体包括：
8.一种基于视角匹配与对极几何约束的隐式场重建系统，其特征在于，所述基于视角匹配与对极几何约束的隐式场重建系统包括：
9.一种终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于视角匹配与对极几何约束的隐式场重建程序，所述基于视角匹配与对极几何约束的隐式场重建程序被所述处理器执行时实现如权利要求1-7任一项所述的基于视角匹配与对极几何约束的隐式场重建方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有基于视角匹配与对极几何约束的隐式场重建程序，所述基于视角匹配与对极几何约束的隐式场重建程序被处理器执行时实现如权利要求1-7任一项所述的基于视角匹配与对极几何约束的隐式场重建方法的步骤。
...【技术特征摘要】
1.一种基于视角匹配与对极几何约束的隐式场重建方法，其特征在于，所述基于视角匹配与对极几何约束的隐式场重建方法包括：
2.根据权利要求1所述的基于视角匹配与对极几何约束的隐式场重建方法，其特征在于，所述获取目标对象的初始图像组，并构建初始三维隐式场，将所述初始图像组与所述目标对象的多视角渲染值之间光度误差输入所述初始三维隐式场进行训练，得到三维隐式场，具体包括：
3.根据权利要求1所述的基于视角匹配与对极几何约束的隐式场重建方法，其特征在于，所述相机射线包括：关键射线和辅助射线；
4.根据权利要求3所述的基于视角匹配与对极几何约束的隐式场重建方法，其特征在于，所述提取多种相机射线的采样点特征，根据多个所述采样点特征生成目标关键特征，将所述目标关键特征输入所述三维隐式场，并将所述初始图像组输入所述三维隐式场，输出目标特征体，具体包括：
5.根据权利要求4所述的基于视角匹配与对极几何约束的隐式场重建方法，其特征在于，所述利用所述辅助特征增强所述关键特征，得到目标关键特征，并将所述目标关键特征输入所述三维隐式场，输出目标特征体，具体包括：
6.根据权利要求5所述的基于视角匹配与对极几何约束的隐式场重建方法，其特征在...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。