基于参考文献视图的神经视图合成方法技术

本发明专利技术公开了一种基于参考文献视图的神经视图合成方法。本发明专利技术包括如下步骤：步骤1：初步新视图的生成；利用场景已有的训练数据集训练一个神经辐射场模型，来预测该场景的初步新视图，该初步新视图包含了场景的基本信息，包括场景的颜色和形状；步骤2：利用参照视图选择模块，筛选最佳初步新视图；步骤3：利用参照视图转换模块，提高初步新视图的质量；将纹理特征从参考视图转换到初步新视图，采用粗到细的方案，实现高质量的新视图合成。本发明专利技术利用训练数据集与新视图之间的相似性进行高质量的新视图合成。探索了一种从粗到细的相关性匹配方案来实现高质量的新视图合成。由于从真实视角输入相似信息，提高了新视角的质量。提高了新视角的质量。提高了新视角的质量。

【技术实现步骤摘要】
基于参考文献视图的神经视图合成方法


[0001]本专利技术提出了一种基于参考文献视图的神经视图合成方法。

技术介绍

[0002]新视图合成是计算机视觉和图形学领域的一项令人印象深刻的任务，它旨在从所提出的图像数据中合成逼真的新视图。以前的方法通常会重建场景的三维几何图形和外观的显式表示。许多经典的视图合成算法使用基于网格的表示，比如网格或稀疏网格。然而，由于不连续和局部极小值，使用基于网格几何和拓扑的方法来优化网格几何通常是困难的。近来，随着深度学习方法的快速发展和神经体积表征方式的研究应用，给该领域提供了新的科研思路。在这些方法中，神经辐射场(NeRF)是该领域最重要的最新发展之一。NeRF可以将特定的场景建模为一个连续的体积函数，它将坐标和视图方向映射到与视图相关的颜色和不透明度。它使用全连接神经网络和优化的自然可微方法生成了优秀的新型高分辨率的逼真视图。
[0003]此外，随着神经辐射领域的引入，大量的研究集中在提高结果图像质量和推理速度上。Mip
‑
NeRF探索了一种新的渲染策略，使用了一种锥体追踪的方式来替代原始的射线追踪，提出了一种新的特征表示方法：集成位置编码来编码圆锥截台的位置和大小，可以解决NeRF固有的锯叠，产生抗锯叠的结果，能够适用于多分辨率场景数据集。NeRF++评论了辐射场及其潜在的歧义，并提出了倒球参数化来处理无界场景捕获造成的模糊。Instant
‑
NGP通过一种多功能的多分辨率散列编码显著减少了时间消耗，允许使用一个更小的网络而不牺牲合成质量。值得注意的是，训练数据集中的现有视图和新视图是同一场景的不同视图。因此，它们具有某些相似的内容，如纹理、颜色和形状。然而，现有的方法在新的观点合成阶段从来没有考虑到这种相似性。
[0004]请注意，新视图合成的目的是用一些现有的摆姿势的相机图像来合成大量的新视图。这样的任务相当于解决一个病态问题。很难准确预测空间中任何点的体积密度和发射颜色，这使新视角中每个像素的估计有偏差。如图1中的(b)所示，新观点的某些部分与地面真实值之间存在一定的差距。将类似的信息如图1中的(c)所示从训练数据集转移到新的视图中，是提高新的视图质量的有效方法。

技术实现思路

[0005]本专利技术的目的是针对现有技术的不足，提供一种基于参考文献视图的神经视图合成方法。
[0006]基于参考文献视图的神经视图合成方法，包括如下步骤：
[0007]步骤1：初步新视图的生成；
[0008]利用场景已有的训练数据集训练一个神经辐射场模型F
NeRF
，来预测该场景的初步新视图，该初步新视图包含了场景的基本信息，包括场景的颜色和形状；
[0009]步骤2：利用参照视图选择模块，筛选最佳初步新视图；
[0010]步骤3：利用参照视图转换模块，提高初步新视图的质量；
[0011]将纹理特征从参考视图转换到初步新视图，采用粗到细的方案，实现高质量的新视图合成；
[0012]进一步的，步骤2包括：
[0013]2‑
1.寻找训练数据集中是视角图像的潜在特征；
[0014]2‑
2.计算训练数据集中视角图像与对应生成的初步新视图之间的相似度得分；
[0015]2‑
3.在训练数据集中挑选出与最高相似度得分对应的视角图像作为参考视图；
[0016]进一步的，步步骤2
‑
1具体实现包括：
[0017]通过VGG
‑
19模型获取潜在特征，具体的，将训练数据集中所有视角图像输入VGG
‑
19模型，输出得到所有视角图像的潜在特征；
[0018]进一步的，步骤2
‑
2具体实现包括：
[0019]采用了余弦相似度方法，如下式所示:
[0020][0021]其中，Φ(
·
)表示固定的预训练的VGG
‑
19模型的最后一个隐藏特征；V
p
表示初步新视图，V
i
表示训练数据集中的第i个视角图像；
[0022]进一步的，步骤2
‑
3具体实现包括：
[0023]在训练数据集中挑选出与最高相似度得分对应的视角图像作为参考视图；且在训练该参照视图选择模块的过程中，训练数据集涉及到一个与初步新视图完全一致的视图时，忽略该视图，不选择作为参考视图；
[0024]进一步的，步骤3具体实现包括：
[0025]3‑
1.训练信息提取器；
[0026]3‑
2.将参考视图与生成的初步新视图进行相关性匹配；
[0027]3‑
3.信息融合；
[0028]进一步的，步骤3
‑
1具体实现包括：
[0029]信息提取器由两个卷积层和ReLU激活层组成，卷积层的步幅为2，，且两个卷积将与参照视图转换模块的其他部分一起进行训练；该步骤可以压缩输入的大小，并以4
×
因子扩展其通道，这将减少相关性匹配后的注意操作中的计算负担；这个过程用下面方程式来表示：
[0030]F
in
＝TIE(IN)
[0031]F
Ref
↓↑
＝TIE(Ref
↓↑
)
[0032]F
Ref
＝TIE(Ref)
[0033]其中，TIE(
·
)表示可训练的信息提取器，IN表示生成初步新视图，F
in
表示信息提取器提取训练数据集中视角图像的特征Ⅰ，Ref
↓↑
表示进行下采样和上采样后的视角图像，F
Ref
↓↑
表示信息提取器下采样上采样后的视角图像得到的特征Ⅱ，Ref表示参考视图，F
Ref
表示信息提取器提取参考视图得到的特征Ⅲ；
[0034]进一步的，步骤3
‑
2具体实现包括：
[0035]首先，对相应特征F
in
进行展开操作，分别得到N个不重叠的块：
[0036][0037]其中，f
U
(
·
)表示展开的操作；
[0038]其次，为了实现粗块匹配，对特征F
Ref
↓↑
进行展开操作，
[0039]并将特征F
Ref
↓↑
展开的块与特征F
in
展开的每个块采用余弦相似度计算；由于块的大小比它的中心元素要大得多，因此中心元素不能完全表示整个块，这可能会导致找到不相关的块；因此选择中心区域斑块来计算这些块之间的相似度得分r
ij
：
[0040][0041]其中，表示第i个块的中心区域斑块，表示第j个块的中心区域斑块，α表示中心区域斑块的大小；r
ij
表示它们之间的相似性得分；然后裁剪这本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于参考文献视图的神经视图合成方法，其特征在于包括如下步骤：步骤1：初步新视图的生成；利用场景已有的训练数据集训练一个神经辐射场模型F
NeRF
，来预测该场景的初步新视图，该初步新视图包含了场景的基本信息，包括场景的颜色和形状；步骤2：利用参照视图选择模块，筛选最佳初步新视图；步骤3：利用参照视图转换模块，提高初步新视图的质量；将纹理特征从参考视图转换到初步新视图，采用粗到细的方案，实现高质量的新视图合成。2.根据权利要求1所述的基于参考文献视图的神经视图合成方法，其特征在于包括如下步骤2包括：2
‑
1.寻找训练数据集中是视角图像的潜在特征；2
‑
2.计算训练数据集中视角图像与对应生成的初步新视图之间的相似度得分；2
‑
3.在训练数据集中挑选出与最高相似度得分对应的视角图像作为参考视图。3.根据权利要求2所述的基于参考文献视图的神经视图合成方法，其特征在于包括如下步骤2
‑
1具体实现包括：通过VGG
‑
19模型获取潜在特征，具体的，将训练数据集中所有视角图像输入VGG
‑
19模型，输出得到所有视角图像的潜在特征。4.根据权利要求3所述的基于参考文献视图的神经视图合成方法，其特征在于包括如下步骤2
‑
2具体实现包括：采用了余弦相似度方法，如下式所示:其中，Φ(
·
)表示固定的预训练的VGG
‑
19模型的最后一个隐藏特征；V
p
表示初步新视图，V
i
表示训练数据集中的第i个视角图像。5.根据权利要求4所述的基于参考文献视图的神经视图合成方法，其特征在于包括如下步骤2
‑
3具体实现包括：在训练数据集中挑选出与最高相似度得分对应的视角图像作为参考视图；且在训练该参照视图选择模块的过程中，训练数据集涉及到一个与初步新视图完全一致的视图时，忽略该视图，不选择作为参考视图。6.根据权利要求5所述的基于参考文献视图的神经视图合成方法，其特征在于包括如下步骤3具体实现包括：3
‑
1.训练信息提取器；3
‑
2.将参考视图与生成的初步新视图进行相关性匹配；3
‑
3.信息融合。7.根据权利要求6所述的基于参考文献视图的神经视图合成方法，其特征在于包括如下步骤3
‑
1具体实现包括：信息提取器由两个卷积层和ReLU激活层组成，卷积层的步幅为2，，且两个卷积将与参照视图转换模块的其他部分一起进行训练；该步骤可以压缩输入的大小，并以4
×
因子扩展
其通道，这将减少相关性匹配后的注意操作中的计算负担；这个过程用下面方程式来表示：F
in
＝TlE(IN)F
Ref
↓↑
＝TIE(Ref
↓
T)F
Ref
＝TIE(Ref)其中，TIE(
·
)表示可训练的信息提取器，IN表示生成初步新视图，F
in
表示信息提取器提取训练数据集中视角图像的特征Ⅰ，Ref
↓↑
表示进行下采样和上采样后的视角图像，F
Ref
↓↑
表示信息提取器下采样上采样后的视角图像得到的特征Ⅱ，Ref表示参考视图，F
Ref
表示信息提取器提取参考视图得到的特征Ⅲ。8.根据权利要求7所述的基于参考文献视图的神经视图合成方法，其特征在于包括如下步骤3
‑
2具体实现包括：首先，对相应特征F
in
进行展开操作...

【专利技术属性】
技术研发人员：刘振阳，包欣蓉，陈思宇，何丽娟，丁佳骏，原俊青，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：