一种数据处理方法及其装置制造方法及图纸

一种数据处理方法，应用于图像处理，例如新视角生成领域，方法包括：获取第一图像；根据第一图像的下采样图像的一个第一连续区域内的像素点的位置信息以及方向信息，通过NeRF网络，预测每个像素点的第一颜色值；第一颜色值用于确定第一连续区域对应的低分辨率图像；根据第二图像中与第一连续区域对应的图像区域、以及低分辨率图像，通过第一编码器处理得到第一特征表示；根据第一特征表示，通过第一解码器，得到第一低分辨率图像对应的超分图像。本申请中NeRF在每批次进行采样的像素属于连续的区域，NeRF每批次得到一个连续区域内的像素的颜色信息，因此，可以将NeRF之后连接SR网络，以生成场景低分辨率低频的新视角渲染结果。以生成场景低分辨率低频的新视角渲染结果。以生成场景低分辨率低频的新视角渲染结果。

【技术实现步骤摘要】
一种数据处理方法及其装置


[0001]本申请涉及人工智能领域，尤其涉及一种数据处理方法及其装置。

技术介绍

[0002]人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
[0003]当前神经辐射场正引领着计算机图形学，神经渲染，3D视觉等领域的新趋势。基于神经辐射场(neural radiance field，NeRF)的新视角生成技术是新视角重建、场景重建、3D视觉、数字人等应用的根技术。由于当前NeRF的渲染效率低下以及NeRF对高频细节恢复能力不足等限制，导致基于NeRF的神经渲染仅仅能够支持小分辨率的实时渲染，因此对NeRF的高分辨率的快速超清渲染具有非常大的需求。
[0004]现有的NeRF使用随机采样策略，输出为任意场景下任意像素的颜色信息，无法适用于超分模型。

技术实现思路

[0005]本申请提供了一种数据处理方法，可以生成场景低分辨率低频的新视角渲染结果。
[0006]第一方面，本申请提供了一种数据处理方法，包括：获取第一图像；根据所述第一图像的下采样图像的一个第一连续区域内的像素点的位置信息以及方向信息，通过神经辐射场NeRF网络，预测每个所述像素点的第一颜色值；所述第一颜色值用于确定所述第一连续区域对应的第一低分辨率图像；根据第二图像中与所述第一连续区域对应的图像区域、以及所述第一低分辨率图像的上采样结果，通过第一编码器处理得到第一特征表示；所述第二图像和所述第一图像为针对于同一场景从不同视角拍摄的图像；根据所述第一特征表示，通过第一解码器，得到所述第一低分辨率图像对应的超分图像。
[0007]本申请实施例中，由于NeRF在每批次进行采样的像素属于一个连续的区域，NeRF每批次得到一个连续区域内的像素的颜色信息，因此，可以将NeRF之后连接SR网络，也就是通过构建端到端的基于patch
‑
NeRF的super
‑
sampling训练通路，融合3D渲染和2D图像增强，以生成场景低分辨率低频的新视角渲染结果，进而可以实现平方率倍数的推理加速。
[0008]在一种可能的实现中，所述第一连续区域为正方形区域。
[0009]在一种可能的实现中，所述方法还包括：根据所述第二图像的下采样图像中与所述第一连续区域对应的图像区域内的像素点的位置信息以及方向信息，通过所述NeRF网络，预测每个所述像素点的第二颜色值；所述第二颜色值用于确定所述第一连续区域对应的第二低分辨率图像；根据所述第二低分辨率图像以及所述第一低分辨率图像，通过第二
编码器处理得到第二特征表示；根据所述第二特征表示，通过第二解码器，得到所述第一低分辨率图像对应的残差图像；所述残差图像用于融合至所述超分图像。
[0010]基于NeRF降质模型和参考帧引导的超分模块，提出细节分支引导参考帧来提供场景的高频细节，实现高清渲染画质的进一步增强，同时提出降质模型主导分支，模拟建模NeRF的降质过程。
[0011]现有的NeRF存在渲染速度慢，无法学习高频细节的缺陷，从而导致基于NeRF的大分辨率渲染方法并不能直接应用到端侧中。为了解决这个问题，本申请实施例提出了一种结合神经辐射场与超分辨率模型的管道实现快速的超分辨率渲染，并提出基于NeRF降质模型和参考帧引导的超分模块以更好的恢复图像中的高频细节。
[0012]在一种可能的实现中，所述第二编码器和所述第一编码器相同或不同。
[0013]在一种可能的实现中，所述第二解码器和所述第一解码器相同或不同。
[0014]在一种可能的实现中，所述第一图像和所述第二图像为同一视频的相邻帧图像。
[0015]在一种可能的实现中，所述超分图像的分辨率和所述第二图像中与所述第一连续区域对应的图像区域的分辨率相同。
[0016]在每个训练轮次，将固定的连续射线区域送到MLP中，在训练过程中会导致训练扰动，并落入次优解。因此，可以在每个训练轮次之后对整个训练图像进行随机的连续区域选择。
[0017]例如，可以在NeRF的不同训练批次中，在第一图像中采样图像位置和第一连续区域不同的另外一块连续区域(例如第二连续区域)，具体的，在一种可能的实现中，可以根据所述第一图像的下采样图像的一个第二连续区域内的像素点的位置信息以及方向信息，通过所述NeRF网络，预测每个所述像素点的第三颜色值；所述第三颜色值用于确定所述第二连续区域对应的第三低分辨率图像；所述第二连续区域和所述第一连续区域为不同位置的图像区域；根据所述第二图像中与所述第二连续区域对应的图像区域、以及所述第二低分辨率图像的上采样结果，通过所述第一编码器处理得到第三特征表示；根据所述第三特征表示，通过所述第一解码器，得到所述第三低分辨率图像对应的超分图像。
[0018]例如，可以在NeRF的不同训练批次中，在和第一图像不同的第三图像中采样图像位置和第一连续区域不同的另外一块连续区域(例如第三连续区域)，具体的，在一种可能的实现中，可以根据第三图像的下采样图像的一个第三连续区域内的像素点的位置信息以及方向信息，通过所述NeRF网络，预测每个所述像素点的第四颜色值；所述第四颜色值用于确定所述第三连续区域对应的第四低分辨率图像；所述第三连续区域和所述第一连续区域为不同位置的图像区域；根据第四图像中与所述第三连续区域对应的图像区域、以及所述第四低分辨率图像的上采样结果，通过所述第一编码器处理得到第四特征表示；所述第三图像和所述第四图像为针对于同一场景从不同视角拍摄的图像；根据所述第四特征表示，通过所述第一解码器，得到所述第四低分辨率图像对应的超分图像。
[0019]在一种可能的实现中，所述第一编码器包括依次连接的深度估计网络、卷积网络和残差网络。
[0020]第二方面，本申请提供了一种数据处理装置，所述装置包括：
[0021]获取模块，用于获取第一图像；
[0022]处理模块，用于根据所述第一图像的下采样图像的一个第一连续区域内的像素点
的位置信息以及方向信息，通过神经辐射场NeRF网络，预测每个所述像素点的第一颜色值；所述第一颜色值用于确定所述第一连续区域对应的第一低分辨率图像；
[0023]根据第二图像中与所述第一连续区域对应的图像区域、以及所述第一低分辨率图像的上采样结果，通过第一编码器处理得到第一特征表示；所述第二图像和所述第一图像为针对于同一场景从不同视角拍摄的图像；
[0024]根据所述第一特征表示，通过第一解码器，得到所述第一低分辨率图像对应的超分图像。
[0025]在一种可能的实现中，所述第一连续区域为正方形区域。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获取第一图像；根据所述第一图像的下采样图像的一个第一连续区域内的像素点的位置信息以及方向信息，通过神经辐射场NeRF网络，预测每个所述像素点的第一颜色值；所述第一颜色值用于确定所述第一连续区域对应的第一低分辨率图像；根据第二图像中与所述第一连续区域对应的图像区域、以及所述第一低分辨率图像的上采样结果，通过第一编码器处理得到第一特征表示；所述第二图像和所述第一图像为针对于同一场景从不同视角拍摄的图像；根据所述第一特征表示，通过第一解码器，得到所述第一低分辨率图像对应的超分图像。2.根据权利要求1所述的方法，其特征在于，所述第一连续区域为正方形区域。3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：根据所述第二图像的下采样图像中与所述第一连续区域对应的图像区域内的像素点的位置信息以及方向信息，通过所述NeRF网络，预测每个所述像素点的第二颜色值；所述第二颜色值用于确定所述第一连续区域对应的第二低分辨率图像；根据所述第二低分辨率图像以及所述第一低分辨率图像，通过第二编码器处理得到第二特征表示；根据所述第二特征表示，通过第二解码器，得到所述第一低分辨率图像对应的残差图像；所述残差图像用于融合至所述超分图像。4.根据权利要求3所述的方法，其特征在于，所述第二编码器和所述第一编码器相同或不同。5.根据权利要求3或4所述的方法，其特征在于，所述第二解码器和所述第一解码器相同或不同。6.根据权利要求1至5任一所述的方法，其特征在于，所述第一图像和所述第二图像为同一视频的相邻帧图像。7.根据权利要求1至6任一所述的方法，其特征在于，所述超分图像的分辨率和所述第二图像中与所述第一连续区域对应的图像区域的分辨率相同。8.根据权利要求1至7任一所述的方法，其特征在于，所述方法还包括：根据所述第一图像的下采样图像的一个第二连续区域内的像素点的位置信息以及方向信息，通过所述NeRF网络，预测每个所述像素点的第三颜色值；所述第三颜色值用于确定所述第二连续区域对应的第三低分辨率图像；所述第二连续区域和所述第一连续区域为不同位置的图像区域；根据所述第二图像中与所述第二连续区域对应的图像区域、以及所述第二低分辨率图像的上采样结果，通过所述第一编码器处理得到第三特征表示；根据所述第三特征表示，通过所述第一解码器，得到所述第三低分辨率图像对应的超分图像。9.根据权利要求1至8任一所述的方法，其特征在于，所述方法还包括：根据第三图像的下采样图像的一个第三连续区域内的像素点的位置信息以及方向信息，通过所述NeRF网络，预测每个所述像素点的第四颜色值；所述第四颜色值用于确定所述
第三连续区域对应的第四低分辨率图像；所述第三连续区域和所述第一连续区域为不同位置的图像区域；根据第四图像中与所述第三连续区域对应的图像区域、以及所述第四低分辨率图像的上采样结果，通过所述第一编码器处理得到第四特征表示；所述第三图像和所述第四图像为针对于同一场景从不同视角拍摄的图像；根据所述第四特征表示，通过所述第一解码器，得到所述第四低分辨率图像对应的超分图像。10.根据权利要求1至9任一所述的方法，其特征在于，所述第一编码器包括依次连接的深度估计网络、卷积网络和残差网络。11.一种数据处理装置，其特征在于，所述装置包括：获取模块，用于获取第一图像；处理模块，用于根据所述第一图像的下采样图像的一个第一连续区域内的像素点的位置信息以及方向信息，通过神经辐射场NeRF网络，预测每个所述像素点的第一颜色值；所述第一颜色值用于确定所述第一连续区域对应的第一低分辨率图像；根据第二图像中与所述第一连续区域对应的...

【专利技术属性】
技术研发人员：黄旭东，李卫，胡杰，陈汉亭，王云鹤，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：