一种基于神经辐射场的三维图像渲染方法及系统技术方案

本申请实施例公开了一种基于神经辐射场的三维图像渲染方法及系统。本申请实施例提供的技术方案，通过确定拍摄目标的第一三维坐标和对应的第一光线方向，进而将第一三维坐标和第一光线方向输入预构建的神经辐射场模型，基于神经辐射场模型预测第一三维坐标在对应的第一光线方向上的体密度以及对应颜色值的漫反射特征和镜面反射特征，之后，基于漫反射特征和体密度进行体渲染得到第一渲染结果，基于镜面反射特征和体密度进行体渲染得到第二渲染结果，根据第一渲染结果和第二渲染结果输出拍摄目标的渲染图像。采用上述技术手段，可以保障图像渲染质量，缩短图像体渲染耗时，进而提升三维图像渲染的实时性，提升用户使用体验。验。验。

【技术实现步骤摘要】
一种基于神经辐射场的三维图像渲染方法及系统


[0001]本申请实施例涉及计算机视觉
，尤其涉及一种基于神经辐射场的三维图像渲染方法及系统。

技术介绍

[0002]神经辐射场(NeRF，Neural Radiance Fields)是一种隐式的三维场景表示，其将场景表示为空间中任何点的体密度和颜色值。有了以神经辐射场形式存在的场景表示后，便可以对该场景进行渲染进而生成任意视角的图片。目前，在基于神经辐射场进行三维图像渲染时，通常会使用一个全连接神经网络构建图像三维坐标(x，y，z)到体密度σ和颜色值c的映射，进而基于体密度σ和颜色值c进行体渲染，通过大量的神经网络推理，以实现三维图像渲染。
[0003]但是，上述三维图像渲染过程中，对于每一个三维点，都需要花费大量的时间进行体渲染，整个过程相对冗长复杂，三维图像渲染缺乏实时性。

技术实现思路

[0004]本申请实施例提供一种基于神经辐射场的三维图像渲染方法及系统，能够在保障图像渲染质量的前提下，提升三维图像渲染的实时性，解决三维图像渲染过程耗时过长的技术问题。
[0005]在第一方面，本申请实施例提供了一种基于神经辐射场的三维图像渲染方法，包括：
[0006]确定拍摄目标的第一三维坐标和对应的第一光线方向；
[0007]将第一三维坐标和第一光线方向输入预构建的神经辐射场模型，基于神经辐射场模型预测第一三维坐标在对应的第一光线方向上的体密度以及对应颜色值的漫反射特征和镜面反射特征；
[0008]基于漫反射特征和体密度进行体渲染得到第一渲染结果，基于镜面反射特征和体密度进行体渲染得到第二渲染结果，根据第一渲染结果和第二渲染结果输出拍摄目标的渲染图像。
[0009]在第二方面，本申请实施例提供了一种基于神经辐射场的三维图像渲染系统，包括：
[0010]确定模块，配置为确定拍摄目标的第一三维坐标和对应的第一光线方向；
[0011]预测模块，配置为将第一三维坐标和第一光线方向输入预构建的神经辐射场模型，基于神经辐射场模型预测第一三维坐标在对应的第一光线方向上的体密度以及对应颜色值的漫反射特征和镜面反射特征；
[0012]渲染模块，配置为基于漫反射特征和体密度进行体渲染得到第一渲染结果，基于镜面反射特征和体密度进行体渲染得到第二渲染结果，根据第一渲染结果和第二渲染结果输出拍摄目标的渲染图像。
[0013]在第三方面，本申请实施例提供了一种基于神经辐射场的三维图像渲染设备，包括：
[0014]存储器以及一个或多个处理器；
[0015]所述存储器，配置为存储一个或多个程序；
[0016]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的基于神经辐射场的三维图像渲染方法。
[0017]在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时配置为执行如第一方面所述的基于神经辐射场的三维图像渲染方法。
[0018]在第五方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品中包含有指令，当指令在计算机或处理器上运行时，使得计算机或处理器执行如第一方面所述的基于神经辐射场的三维图像渲染方法
[0019]本申请实施例通过确定拍摄目标的第一三维坐标和对应的第一光线方向。进而将第一三维坐标和第一光线方向输入预构建的神经辐射场模型，基于神经辐射场模型预测第一三维坐标在对应的第一光线方向上的体密度以及对应颜色值的漫反射特征和镜面反射特征。之后，基于漫反射特征和体密度进行体渲染得到第一渲染结果，基于镜面反射特征和体密度进行体渲染得到第二渲染结果，根据第一渲染结果和第二渲染结果输出拍摄目标的渲染图像。采用上述技术手段，通过分别基于镜面反射特征和漫反射特征进行拍摄目标体渲染，进而综合两个体渲染结果得到拍摄目标渲染图像，以此即保障了图像渲染质量，又通过两次并行的体渲染流程提升三维图像渲染效率，缩短图像体渲染耗时，进而提升三维图像渲染的实时性，提升用户使用体验。
附图说明
[0020]图1是本申请实施例提供的一种基于神经辐射场的三维图像渲染方法的流程图；
[0021]图2是本申请实施例中神经辐射场模型的训练流程图；
[0022]图3是本申请实施例中渲染图像的生成示意图；
[0023]图4是本申请实施例中基于轮廓信息和深度信息的损失约束示意图；
[0024]图5是本申请实施例提供的一种基于神经辐射场的三维图像渲染系统的结构示意图；
[0025]图6是本申请实施例提供的一种基于神经辐射场的三维图像渲染设备的结构示意图。
具体实施方式
[0026]为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序
可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
[0027]本申请提供的基于神经辐射场的三维图像渲染方法，旨在利用神经辐射场模型分别基于拍摄目标体密度和颜色值的镜面反射特征和漫反射特征进行拍摄目标体渲染，进而综合两个体渲染结果得到拍摄目标渲染图像，以此即保障了图像渲染质量，又通过两次并行的体渲染流程提升三维图像渲染效率。
[0028]对于现有的三维图像渲染方案，其通常会使用一个全连接神经网络构建图像三维坐标(x，y，z)到体密度σ和颜色值c的映射，进而基于体密度σ和颜色值c进行体渲染。对于一张1080x1920的图像，需要约4亿次推理。并且，对于每个三维坐标点都需要进行一次神经网络的推理，其耗时巨大，因此无法达到实时渲染的效果。基于此，提供本申请实施例的一种基于神经辐射场的三维图像渲染方法及系统，以解决三维图像渲染过程耗时过长的技术问题。
[0029]实施例：
[0030]图1给出了本申请实施例提供的一种基于神经辐射场的三维图像渲染方法的流程图，本实施例中提供的基于神经辐射场的三维图像渲染方法可以由基于神经辐射场的三维图像渲染设备执行，该基于神经辐射场的三维图像渲染设备可以通过软件和/或硬件的方式实现，该基于神经辐射场的三维图像渲染设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。一般而言，该基于神经辐射场的三维图像渲染设备可以是图像处理服务器、电脑，手机，平板等处理设备。
[0031]下述以该基于神经辐射场的三维图像渲染设备为执行基于神经辐射场的三维图像渲染方法的主体为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经辐射场的三维图像渲染方法，其特征在于，包括：确定拍摄目标的第一三维坐标和对应的第一光线方向；将所述第一三维坐标和所述第一光线方向输入预构建的神经辐射场模型，基于所述神经辐射场模型预测所述第一三维坐标在对应的所述第一光线方向上的体密度以及对应颜色值的漫反射特征和镜面反射特征；基于所述漫反射特征和所述体密度进行体渲染得到第一渲染结果，基于所述镜面反射特征和所述体密度进行体渲染得到第二渲染结果，根据所述第一渲染结果和所述第二渲染结果输出所述拍摄目标的渲染图像。2.根据权利要求1所述的基于神经辐射场的三维图像渲染方法，其特征在于，所述神经辐射场模型的训练流程包括：获取训练目标的第二三维坐标、第二光线方向和目标图像；以所述第二三维坐标和所述第二光线方向作为模型输入训练所述神经辐射场模型，基于所述神经辐射场模型进行模型运算，输出所述训练目标的渲染图像；基于所述目标图像和所述训练目标的渲染图像，使用预构建的第一损失函数计算对应的第一损失函数数值，根据所述第一损失函数数值调整模型参数，直至所述神经辐射场模型收敛。3.根据权利要求2所述的基于神经辐射场的三维图像渲染方法，其特征在于，所述基于所述神经辐射场模型进行模型运算，包括：基于网格哈希编码算法将所述第二三维坐标和所述第二光线方向映射至网格特征空间，基于所述网格特征空间筛选所述第二三维坐标和所述第二光线方向，得到对应的融合特征信息，以所述融合特征信息进行所述神经辐射场模型的模型运算。4.根据权利要求2所述的基于神经辐射场的三维图像渲染方法，其特征在于，所述目标图像通过对应所述训练目标的拍摄图像进行前景分割，去除图像背景后得到。5.根据权利要求2所述的基于神经辐射场的三维图像渲染方法，其特征在于，所述神经辐射场模型的训练流程包括：基于所述训练目标的深度信息和轮廓信息，使用预构建的第二损失函数计算对应的第二损失函数数值，根据所述第二损失函数数值调整模型参数，直至所述神经辐射场模型收敛。6.根据权利要求1所述的基于神经辐射场的三维图像渲染方法，其特征在于，所述根据所述第一渲染结果和所述第二渲染结果输出所述拍摄目标的渲染...

【专利技术属性】
技术研发人员：王跃辉，李玉乐，项伟，
申请(专利权)人：百果园技术新加坡有限公司，
类型：发明
国别省市：