【技术实现步骤摘要】
本专利技术涉及计算机三维视觉重建领域与计算机图形学绘制领域，特别是涉及一种基于协同光场与占用场的人体重建与渲染方法及装置。
技术介绍
1、人体三维重建以及为人体创建自由视角视频是很多应用中的重要组成部分，例如：虚拟现实与增强现实，远程教育，虚拟会议等。为了给用户提供沉浸式体验，这些应用需要能够通过消费级捕捉设备尽可能接近实时地去捕捉高质量人体模型，并进行自由视角渲染。最近，基于神经隐式场的表达被广泛应用于人体表现捕捉系统中。其中，像素对齐的隐函数(pifu)可以高效重建动态人体三维模型的网格与纹理，表面模型通过训练后的隐式占用场中提取得到，纹理部分则通过训练的网络预测模型表面点rgb值获取。基于神经网络的光场(nerf)则是一种的基于坐标的隐式网络模型，以编码体密度与颜色场。由于nerf能够在密集点采样下渲染照片真实感的图像，该表达收到广泛欢迎。然而，对于三维人体重建领域，这两种表达都存在一定的问题。首先，基于表面纹理着色(pifu)的结果常模糊，且不能产生视角相关的渲染效果，无法处理半透明的头发等材质。其次，神经光场(nerf)渲染速度常无法胜任实时场景，且泛化能力较差。最新的可泛化的nerf也不能有效地从稀疏视图中重建训练集中没见过目标物体。对于新目标物体而言，通常在线优化之后才能取得较高的渲染质量。由此，提出一种可从用户级设备稀疏视图输入中进行高质量人体自由视角渲染的方法仍然是一个挑战。
技术实现思路
1、针对现有技术的不足，本专利技术提出了一种协同光场与占用场的人体重建与渲
2、考虑到基于深度数据的pifu与nerf两种表达在协同工作时，nerf可以利用全局光场信息生成高质量的纹理结果，其几何的歧义性或噪声可以通过pifu的占用场来进一步减少(由于引入了几何约束)，这有助于提高表面重建的质量。另外，协同pifu与nerf时，由于表面点对光线颜色贡献权重最高，渲染的质量对于深度的精度要求较高，当pifu的输入仅依赖于输入rgb图像特征时，从稀疏视角下重建的几何质量不能保证。当引入了精确深度信息之后，pifu构建的几何表面场可以被约束，以使得光场模型图像特征更好地与表面模型对齐，从而有利于nerf的学习。
3、基于如上观察，本专利技术方法首先引入了一个新颖的深度图像去噪模型，该模型参考了unet的架构，输出优化的深度图像以减少深度噪声并填充原始深度图像的缺洞等。然后，引入了一个新颖的网络模型sronet，通过结合占用场与光场来建模人体。具体来说，sronet基于像素对齐的去噪深度图特征预测人体占用场来重建人体，基于几何特征与像素对齐的rgb特征预测光场以渲染视角相关的人体纹理。训练过程中，几何与颜色监督信号协同工作以增强sronet重建与渲染过程中捕获高质量细节的能力。除此之外，本专利技术通过去噪后的深度图构建了一个新颖的两层树结构以进行有效的几何存储，快速光线-体素求交以及三维点采样。另外，本专利技术构建了一个基于神经网络融合的光线上采样的方法，在较小的计算开销下可以进行新视角1k分辨率的渲染。
4、为了实现上述内容，本专利技术的技术方案如下：一种协同光场与占用场的人体重建与渲染方法，该方法包括以下步骤：
5、s1：构建基于卷积神经网络结构的深度图像去噪模型fd，所述模型的输入包括人体rgb图像i和原始深度图像d，输出为去噪后的深度图像drf；通过深度、法向、三维一致性损失函数对模型进行训练，模型训练完成后用于深度去噪任务；
6、s2：基于去噪后的多目深度图像以及每个视角的相机参数，融合出全局人体点云，从点云构建两层树的数据结构，并将树的父子节点存储为全局列表；在推理过程中引入体素后处理操作来为树结构去噪，仅保留人体表面附近的体素；
7、s3：构建用于人体网格重建以及新视角图像渲染的协同网络模型sronet，所述网络模型包含两个子网络模型，分别为占用场网络occnet与光场网络colornet；对于给定输入：多目rgbd图像以及三维空间中的采样点x、观察视角方向d，其中n为视角数量，子网络模型分别实现如下任务：
8、给定输入的多目深度图像以及采样点x，occnet基于像素对齐的隐函数(pifu)为点x预测一个体素占用量ox∈[0，1]，表示该点位于人体网格模型内部的概率；
9、给定输入的多目rgb图像{ii}i＝1，...n，colornet基于pifu为点x在观察视角方向d预测rgb三通道的颜色向量cx；
10、基于点x预测的占用量ox，利用等值立方体搜索算法marching cubes从估计的占用场计算出人体网格模型，以进行三维人体重建；利用多目人体数据集，结合几何-颜色协同损失函数与深度误差损失函数训练sronet，模型训练完成之后用于占用场与光场的预测；
11、s4：为新视角图像中每个像素点根据相应的相机参数计算光线，并且根据体素遍历(voxel traversal)算法执行光线体素求交过程，以确定树数据结构中与光线相交的体素；记录所有相交体素远近交点的深度值，并且在体素内部根据体素大小设计采样权重沿光线采点，根据s3计算采样点的占用值以及颜色；利用体渲染公式，根据占用值计算颜色融合权重，以融合光线上每个采样点的颜色，计算光线最终颜色；
12、s5：上采样每根光线，以提高渲染图像分辨率与渲染图像质量；构造特征融合网络，所述网络的输入为每根子光线共享的信息，包括原始颜色、深度、光线特征，以及相邻两个视角的输入rgb图像；输出为每根子光线的最终颜色；通过逐光线颜色误差，结构相似性，以及特征损失函数训练特征融合网络，训练完成后用于光线上采样操作，以获得目标分辨率渲染图像。
13、进一步地，所述深度去噪的过程具体设计如下：
14、(1)利用backgroundmatting-v2算法提取原始输入图像中人像所在区域，作为人体区域掩码图像ψ，并同时获得人像区域的rgbd图像i，d；将输入rgbd图像归一化到[-1，1]区间，同时记录深度最值；合并归一化的rgb与深度图像作为深度图像去噪模型fd的输入；
15、(2)基于unet结构构造模型fd，使用两个独立的特征提取网络hrnetv2-w18-small-v2来分别编码rgb与深度图像，使用空洞空间卷积池化金字塔模块aspp与残差注意力模块rescbam来融合rgb与深度特征，上采样融合后的特征，并反馈回特征提取网络；
16、(3)模型fd输出[-1，1]区间图像，利用(1)中深度最值将输出图像反归一化到原始值域中，使用ψ后处理图像，仅保留人像区域的深度值，记为drf；
17、(4)用于模型fd训练的损失函数如下：
18、深度一致性损失ld：用于惩罚视角i下真实深度图像与预测的深度图像逐像素的偏差，定义为：
19、
20、法向一致性损失ln：用于惩罚通过深度图像与计算的法向之间的偏差，定义为本文档来自技高网...
【技术保护点】
1.一种协同光场与占用场的人体重建与渲染方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种协同光场与占用场的人体重建与渲染方法，其特征在于，所述深度去噪的过程具体设计如下：
3.根据权利要求1所述的一种协同光场与占用场的人体重建与渲染方法，其特征在于，所述两层树的数据结构具体设计如下：
4.根据权利要求1所述的一种协同光场与占用场的人体重建与渲染方法，其特征在于，所述SRONet的具体设计如下：
5.根据权利要求1所述的一种协同光场与占用场的人体重建与渲染方法，其特征在于，S4中光线-体素求交与采点的具体设计如下：
6.根据权利要求1所述的一种协同光场与占用场的人体重建与渲染方法，其特征在于，S4所述的体渲染以及S3所述SRONet用于训练模型的损失函数具体设计如下：
7.根据权利要求1所述的一种协同光场与占用场的人体重建与渲染方法，其特征在于，S5中光线上采样具体设计如下：
8.根据权利要求1所述的一种协同光场与占用场的人体重建与渲染方法，其特征在于，用于并行加速渲染流程的具体设计如
9.一种协同光场与占用场的人体重建与渲染装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，其特征在于，所述处理器执行所述可执行代码时，用于实现如权利要求1-8中任一项所述的协同光场与占用场的人体重建与渲染方法。
10.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时，实现如权利要求1-8中任一项所述的协同光场与占用场的人体重建与渲染法。
...【技术特征摘要】
1.一种协同光场与占用场的人体重建与渲染方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种协同光场与占用场的人体重建与渲染方法，其特征在于，所述深度去噪的过程具体设计如下：
3.根据权利要求1所述的一种协同光场与占用场的人体重建与渲染方法，其特征在于，所述两层树的数据结构具体设计如下：
4.根据权利要求1所述的一种协同光场与占用场的人体重建与渲染方法，其特征在于，所述sronet的具体设计如下：
5.根据权利要求1所述的一种协同光场与占用场的人体重建与渲染方法，其特征在于，s4中光线-体素求交与采点的具体设计如下：
6.根据权利要求1所述的一种协同光场与占用场的人体重建与渲染方法，其特征在于，s4所述的体渲染以及s3所述s...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。