一种基于神经辐射场的重新照明方法及系统技术方案

本发明专利技术属于图像重建领域，具体涉及了一种基于神经辐射场的重新照明方法及系统，旨在解决现有技术中对于处理阴影和间接光照来说不实用，限制了它们在具有复杂光物相互作用的场景中的适用性的问题

【技术实现步骤摘要】
一种基于神经辐射场的重新照明方法及系统


[0001]本专利技术属于图像重建领域，具体涉及了一种基于神经辐射场的重新照明方法及系统
。

技术介绍

[0002]神经辐射场（
Neural Radiance Fields
，简称
NeRF
）是一种计算机视觉技术，用于生成高质量的三维重建模型
。
它利用深度学习技术从多个视角的图像中提取出对象的几何形状和纹理信息，然后使用这些信息生成一个连续的三维辐射场，从而可以在任意角度和距离下呈现出高度逼真的三维模型
。
[0003]传统的渲染和重照方法通常依赖于使用实体表面的光线追踪，这可能在计算上非常昂贵，并且对于处理阴影和间接光照来说并不实用
。
先前的方法尝试单独建模间接光照或使用额外的
MLP
来近似光遮挡，但它们通常忽略了估计的密度场和遮挡之间的耦合，并且可能依赖于参数化模型，限制了它们在具有复杂光物相互作用的场景中的适用性
。
[0004]基于此，本专利技术提出了一种基于神经辐射场的重新照明方法及系统
。

技术实现思路

[0005]为了解决现有技术中的上述问题，即现有技术中在计算上非常昂贵，并且对于处理阴影和间接光照来说并不实用，限制了它们在具有复杂光物相互作用的场景中的适用性的问题，本专利技术提供了一种基于神经辐射场的重新照明方法及系统
。
[0006]本专利技术的一方面，提出了一种基于神经辐射场的重新照明方法，该方法包括：利用相机对待重新照明的物体发射射线，获取所述射线的起点
、
观测方向
、
行近距离，进而得到所述射线上的任一采样点的位置坐标；对任一采样点的位置坐标进行位置编码，将位置编码后的特征向量输入至训练好的基于神经辐射场的重新照明网络模型中，得到任一采样点的预测像素颜色和体密度；所述基于神经辐射场的重新照明网络包括依次连接的建模网络和照明网络；所述建模网络基于依次连接的
m
个隐藏层构建；所述照明网络基于依次连接的
b
个隐藏层构建
。
[0007]在一些优选的实施方式中，所述建模网络的输入为位置编码后的特征向量；所述建模网络中的各隐藏层每层均包含
a
个节点且设置一个激活函数；在第
n
个隐藏层与所述建模网络的输入跳跃连接，将所述建模网络的输入与第
n
个隐藏层的输出作为第
n+1
个隐藏层的输入；第
m
个隐藏层的输出为对应的采样点的
SDF
值和具有
a
个节点的特征向量
。
[0008]在一些优选的实施方式中，所述照明网络中各隐藏层每层均设置
a
个节点
、
一个激活函数；将所述
、
从所述
SDF
导出的法线
、
相机射线的当前位置以及编码后的相机方向
、
编码后的点光源位置
、
编码后的阴影信息和编码后的高光信息作为所述照明网
络的输入；所述照明网络的输出为预测像素颜色和体密度
。
[0009]在一些优选的实施方式中，所述，其获取方法为：；其中，表示相机射线从相机位置，沿射线方向的预测像素颜色；表示照明网络的函数形式；相机射线，其中
t
是射线行进距离，是相机射线方向；，是生成
SDF
的建模网络，表示
SDF
函数相对于相机射线上采样点的坐标（
x
，
y
，
z
）的偏导；
N
是采样数量，
i
是第
i
个采样点；是无偏密度权重；为第
i
个采样点的阴影信息；为第
i
个采样点的高光信息
。
[0010]在一些优选的实施方式中，所述和所述体密度，其获取方法为：；；；其中，表示透射率；是累计分布函数，是概率密度函数
。
[0011]在一些优选的实施方式中，当所述待重新照明的物体为不透明物体时，所述阴影信息，其获取方法为：；其中，表示相机射线从相机位置，沿射线方向的深度；将所述对应的点进行采样，并计算阴影强度值，即阴影信息
。
[0012]在一些优选的实施方式中，当所述待重新照明的物体为半透明物体或透明物体时，所述阴影信息，其获取方法为：将在所述射线上进行均匀采样的点，作为第一采样点，获取各所述第一采样点的贡献值，在贡献值大于第一预设阈值的所述第一采样点中的第一个和最后一个之间，进行重要性采样，得到第二采样点，将所述第二采样点的贡献值进行降序排列；将降序排列后的贡献值中的，前
f
个贡献值的和作为总贡献值；计算所述第一采样点的贡献值分别占所述总贡献值的比例，根据所述比例计算出所述第一采样点的阴影强度值，即阴影信息
。
[0013]在一些优选的实施方式中，所述基于神经辐射场的重新照明网络模型，其训练方法为：步骤
S10
，获取数据集，将所述数据集中的物体的体密度和各视角的颜色作为真值标签；步骤
S20
，利用相机对所述数据集中的物体发射射线，并获取所述射线的起点
、
观测方向
、
行近距离作为输入数据，输入至预构建的基于神经辐射场的重新照明网络模型中，得到重新照明后的物体的体密度和各视角的颜色，作为模型标签；
步骤
S30
，基于所述模型标签和所述真值标签，结合预构建的损失函数，修正预构建的基于神经辐射场的重新照明网络模型；步骤
S40
，重复步骤
S20
‑
S30
，直至得到训练好的基于神经辐射场的重新照明网络模型
。
[0014]在一些优选的实施方式中，所述损失函数，其构建方法为：；；；其中，表示一条射线，表示每个
Batch
数据集中的射线集合；是粗粒度采样预测的屏幕像素颜色值，是精细采样预测的屏幕像素颜色值，是真实的屏幕像素颜色值；所述粗粒度采样为第一采样点，所述精细采样为第二采样点，所述基于体渲染获取
。
[0015]本专利技术的另一方面，提出了一种基于神经辐射场的重新照明系统，基于一种基于神经辐射场的重新照明方法，该系统包括：输入数据获取模块，其配置为利用相机对待重新照明的物体发射射线，获取所述射线的起点
、
观测方向
、
行近距离，进而得到所述射线上的任一采样点的位置坐标；重新照明模块，其配置为对任一采样点的位置坐标进行位置编码，将位置编码后的特征向量输入至训练好的基于神经辐射场的重新照明网络模型中，得到任一采样点的预测像素颜色和体密度；所述基于神经辐射场的重新照明网络包括依次连接的建模网络和照明网络；所述建模网络基于依次连本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于神经辐射场的重新照明方法，其特征在于，该方法包括：利用相机对待重新照明的物体发射射线，获取所述射线的起点
、
观测方向
、
行近距离，进而得到所述射线上的任一采样点的位置坐标；对任一采样点的位置坐标进行位置编码，将位置编码后的特征向量输入至训练好的基于神经辐射场的重新照明网络模型中，得到任一采样点的预测像素颜色和体密度；所述基于神经辐射场的重新照明网络包括依次连接的建模网络和照明网络；所述建模网络基于依次连接的
m
个隐藏层构建；所述照明网络基于依次连接的
b
个隐藏层构建
。2.
根据权利要求1所述的一种基于神经辐射场的重新照明方法，其特征在于，所述建模网络的输入为位置编码后的特征向量；所述建模网络中的各隐藏层每层均包含
a
个节点且设置一个激活函数；在第
n
个隐藏层与所述建模网络的输入跳跃连接，将所述建模网络的输入与第
n
个隐藏层的输出作为第
n+1
个隐藏层的输入；第
m
个隐藏层的输出为对应的采样点的
SDF
值和具有
a
个节点的特征向量 。3.
根据权利要求2所述的一种基于神经辐射场的重新照明方法，其特征在于，所述照明网络中各隐藏层每层均设置
a
个节点
、
一个激活函数；将所述
、
从所述
SDF
导出的法线
、
相机射线的当前位置以及编码后的相机方向
、
编码后的点光源位置
、
编码后的阴影信息和编码后的高光信息作为所述照明网络的输入；所述照明网络的输出为预测像素颜色和体密度
。4.
根据权利要求3所述的一种基于神经辐射场的重新照明方法，其特征在于，所述，其获取方法为：；其中，表示相机射线从相机位置，沿射线方向的预测像素颜色；表示照明网络的函数形式；相机射线，其中
t
是射线行进距离，是相机射线方向；，是生成所述
SDF
的建模网络，表示
SDF
函数相对于相机射线上采样点的坐标（
x
，
y
，
z
）的偏导；
N
是采样数量，
i
是第
i
个采样点；是无偏密度权重；为第
i
个采样点的阴影信息；为第
i
个采样点的高光信息
。5.
根据权利要求4所述的一种基于神经辐射场的重新照明方法，其特征在于，所述和所述体密度，其获取方法为：；；；其中，表示透射率；是累计分布函数，是概率密度函数
。6.
根据权利要求5所述的一种基于神经辐射场的重新照明方法，其特征在于，当所述待
重...

【专利技术属性】
技术研发人员：方顺，张志恒，冯星，崔铭，胡梓楠，乔磊，孙思远，汪成峰，殷杏雨，单仝，刘锦，杨峰峰，王月，韦建伟，张造时，穆子杰，金虓，张柏鹏，王玉娇，范佳佳，
申请(专利权)人：北京渲光科技有限公司，
类型：发明
国别省市：