【技术实现步骤摘要】
本专利技术属于计算机视觉，特别是关注于多视图几何的三维重建技术。具体而言，本专利技术提出了一种基于神经辐射场(neural radiance fields)进行三维渲染的新方法。该技术旨在提高可泛化的稀疏输入视图三维重建的渲染效果。该技术在在机器人、虚拟现实和增强现实等领域都有潜在应用。基于视觉的三维重建技术被广泛应用在自动驾驶、数字孪生等领域。图像数据成本低且易取得，从图片恢复场景的三维结构日益成为一个重要的研究方向。虽然工业应用传统的三维重建算法较为广泛，但是深度学习方法的重建效果更接近真实场景，由此深度学习算法也在越来越多的场景中得到应用。
技术介绍
1、随着三维技术的快速发展，三维重建技术在多个领域得到了广泛的应用和快速的发展。三维重建技术能从二维图像中重建出精确的三维模型，可以广泛应用于文化遗产保护、城市规划、虚拟现实等多个领域。而近年来快速发展的基于神经辐射场(nerf)的三维重建技术在重建与渲染方面取得了巨大的突破。神经辐射场的研究目的是合成同一场景不同视角下的图像，最终重构出这个场景的3d表示，在渲染过程中将不同视角作为输入就可以重建该场景的视图。
2、nerf在神经重建与渲染方面取得了巨大的突破，但是它受限于长时间的逐场景渲染，缺乏在新场景上的泛化能力。我们提出了一种基于补丁提取的可泛化神经辐射场重建方法——pmsnerf。我们的方法能有效提高新视角合成的泛化能力和合成质量。通过引入vgg-16低层网络对目标视图进行补丁特征提取，在训练中进行局部特征增强，我们的模型能够更好的捕捉图像差异，显著提高了
3、通过图像重建并渲染真实场景对计算机视觉的应用至关重要。近年来，多种基于nerf的方法被提出并尝试解决模型跨场景训练的问题，这些方式的统一之处在于根据一组视角相近的源视图渲染出的目标视图来训练nerf网络。尽管这些方法也表现出了对新场景良好的泛化能力，但渲染图像的生成效果仍有不足之处。为了解决这些问题，我们一种基于补丁提取的可泛化神经辐射场重建方法。我们的方法旨在提高新视角合成的合成质量以及泛化能力，引入vgg-16低层网络对参考视图的补丁特征提取，通过高效的训练机制进行局部特征增强，提高对图像细节与物体边界的渲染能力。
技术实现思路
1、本专利技术的以场景中三个邻近视角的源视图作为输入训练模型，最终向模型输入参考视图视角的坐标与方位输出该视角下的渲染图像，以此最终可得到整个场景的渲染结果。本专利技术有效提高了基于神经辐射场的稀疏重建的泛化能力和合成质量，利用较少数量的输入视图渲染得到目标场景，能够更好的捕捉图像差异，在处理渲染产生的伪影与复杂的结构方面有显著优势。
2、本专利技术结合多视角立体几何与神经辐射场，首先利用二维卷积神经网络(2dconvolutional neural network，2d cnn)提取图像特征f，然后通过单应性变换将特征图扭曲到参考视图方位下128个不同深度的平面，得到成本体积(cost volume)。通过三维卷积神经网络(3d convolutional neural network，3d cnn)，以成本体积作为输入而后输出一个神经编码体积(neural encoding volume)。随后通过多层感知机(multilayerperceptron，mlp)从神经编码体积回归得到最终进行体渲染所需的体积密度σ和颜色c。受到两次时间尺度更新规则(two time-scale update rule，ttur)的启发，我们每进行64次上述全局训练之后进行一次补丁提取的局部训练进行局部特征增强，并加入正则化项进行特征约束。
3、基于上述专利技术思路，本专利技术提出了一种基于补丁提取的可泛化神经辐射场重建方法,其具体包括以下步骤：
4、s1，提取源视图与目标视图的二维图像特征，通过单应性变换扭曲参考视图特征的坐标系来构造三维的成本体积。
5、s2，利用三维卷积神经网络将成本体积转化为神经编码体积，通过多层感知机回归辐射场。
6、s3，每64个全局训练步骤后，对当前目标视图随机取64×64大小的补丁进行局部训练。按照当前多层感知机的参数渲染得到目标视图，分别对参考视图与目标视图进行特征提取得到图像对应特征值fr与ft。
7、s4，对于全局训练，我们基于目标视图以及参考视图的像素差定义损失函数。在局部训练中，我们加上以特征差异约束的正则化损失项通过反向传播进行梯度下降，更新网络参数。
8、一种基于补丁提取的可泛化神经辐射场重建方法，所述步骤s1的目的在于，对于当前输入的参考视图与源视图，得到特征图并通过平面扫描算法得到当前全局训练的成本体积。成本体积是通过几何感知来推理的，通过成本体积可以学习到一个通用的函数，是重建的神经辐射场具有可泛化性的重要因素。该步骤具体包括以下分步骤：
9、s11，提取二维图像特征。通过二维卷积神经网络t提取二维图像特征，得到局部图像外观的神经特征。该神经网络由七层下采样卷积层组成。将图像输入中转化为特征映射
10、fi＝t(ii) (1)
11、其中h与w表示输入图片的长与宽，c是得到的特征通道数。
12、s12，扭曲特征图。得到特征图后利用平面扫描算法，通过单应性变换得到源视图i到参考视图的扭曲特征。数据集给定相机内外参数φ＝[k,r,t]，计算单应性变换将源图片映射到参考视图的视角的扭曲矩阵：
13、
14、其中hi(z)是在深度z处从源视图i到参考视图的扭曲矩阵，k是内在矩阵，r和t是相机旋转和平移矩阵，每个源视图的特征都可以通过对应的扭曲矩阵变换到参考视图：
15、fi,z(u,v)＝fi(hi(z)[u,v,1]t) (3)
16、fi,z是视图i在参考视角深度z处的扭曲特征映射。(u,v)表示参考视图中的像素位置。
17、s13，构造成本体积。成本体积由扭曲特征图构建，我们利用基于方差的度量来计算成本体积。对于以坐标(u,v,z)为中心的成本体积中的每个体素，其成本特征向量通过如下进行计算：
18、p(u,v,z)＝var(fi,z(u,v)) (4)
19、var代表计算了m个视图的方差。基于方差的代价编码体积编码了不同输入视图的图像外观变化，也是我们的方法可以跨场景的重要原因。
20、一种基于补丁提取的可泛化神经辐射场重建方法，所述步骤s2的目的在于，对于当前场景所构造的成本体积，将其输入到一个三维卷积神经网络中，得到神经编码体积。将神经编码体积输入到多层感知机内，回归得到体本文档来自技高网...
【技术保护点】
1.一种基于补丁提取的可泛化神经辐射场重建方法，其特征在于，包括以下步骤：S1，提取源视图与目标视图的二维图像特征，通过单应性变换扭曲参考视图特征的坐标系来构造三维的成本体积。S2，利用三维卷积神经网络将成本体积转化为神经编码体积，通过多层感知机回归辐射场。S3，每64个全局训练步骤后，对当前目标视图随机取64×64大小的补丁进行局部训练。按照当前多层感知机的参数渲染得到目标视图，分别对参考视图与目标视图进行特征提取得到图像对应特征值Fr与Ft。S4，对于全局训练，我们基于目标视图以及参考视图的像素差定义损失函数。在局部训练中，我们加上以特征差异约束的正则化损失项通过反向传播进行梯度下降，更新网络参数。
2.根据权利要求1所述的基于补丁提取的可泛化神经辐射场重建方法，其特征在于，步骤S1中，对于当前输入的参考视图与源视图，得到特征图并通过平面扫描算法得到当前全局训练的成本体积。成本体积是通过几何感知来推理的，通过成本体积可以学习到一个通用的函数。该步骤S1具体包括以下分步骤：S11，提取二维图像特征。通过二维卷积神经网络T提取二维图像特征，得到局部图像外观的神经特征。
3.根据权利要求1所述的基于补丁提取的可泛化神经辐射场重建方法，其特征在于，步骤S2中，对于当前场景所构造的成本体积，将其输入到一个三维卷积神经网络中，得到神经编码体积。将神经编码体积输入到多层感知机内，回归得到体积密度与颜色，从而构建神经辐射场。该步骤S2具体包括以下分步骤：
4.根据权利要求1所述的基于补丁提取的可泛化神经辐射场重建方法，其特征在于，步骤S3中，重建当前神经辐射场后，由TTUR启发我们每进行64次全局的训练则进行一次针对补丁的局部训练，来提高辐射场的重建效果。通过预训练的the Visual Geometry Group(VGG)低层网络分别提取参考视图补丁的特征值与当前辐射场渲染得到的目标视图补丁的特征值以进行局部训练。
5.根据权利要求1所述的基于补丁提取的可泛化神经辐射场重建方法，其特征在于，步骤S4中，VGG-16低层网络提取的参考视图特征与目标视图特征反映了图像的结构信息，得到参考视图补丁与目标视图补丁的内容特征误差，通过内容误差在损失函数中加入该正则化项提高渲染质量。该步骤S4具体包含以下分步骤：
...【技术特征摘要】
1.一种基于补丁提取的可泛化神经辐射场重建方法，其特征在于，包括以下步骤：s1，提取源视图与目标视图的二维图像特征，通过单应性变换扭曲参考视图特征的坐标系来构造三维的成本体积。s2，利用三维卷积神经网络将成本体积转化为神经编码体积，通过多层感知机回归辐射场。s3，每64个全局训练步骤后，对当前目标视图随机取64×64大小的补丁进行局部训练。按照当前多层感知机的参数渲染得到目标视图，分别对参考视图与目标视图进行特征提取得到图像对应特征值fr与ft。s4，对于全局训练，我们基于目标视图以及参考视图的像素差定义损失函数。在局部训练中，我们加上以特征差异约束的正则化损失项通过反向传播进行梯度下降，更新网络参数。
2.根据权利要求1所述的基于补丁提取的可泛化神经辐射场重建方法，其特征在于，步骤s1中，对于当前输入的参考视图与源视图，得到特征图并通过平面扫描算法得到当前全局训练的成本体积。成本体积是通过几何感知来推理的，通过成本体积可以学习到一个通用的函数。该步骤s1具体包括以下分步骤：s11，提取二维图像特征。通过二维卷积神经网络t提取二维图像特征，得到局部图像外观的神经特征。该神经网络由七层下采样卷...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。