一种基于神经网络的平面材质数据库的采集方法及系统技术方案

本发明专利技术公开了一种基于神经网络的平面材质数据库的采集方法和系统，该方法包括训练阶段、采集阶段和重建阶段，本发明专利技术设计了一个神经网络，包含优化光照图案部分，门网络部分，专家网络部分和非线性映射网络部分；通过在光照图案照射下拍摄的目标材质照片中的信息，门网络可以自适应地选择最佳的专家网络预测材质空间独立的反射属性的隐向量表达，隐向量通过在一组其他光照图案下拍摄的照片的约束下被进一步优化，最后将隐向量通过非线性映射网络恢复为高维Lumitexel向量，拟合到BRDF模型中，其参数被存储为纹理图。本方法可以鲁棒地、高质量地和高效率地采集近平面的各向异性的SVBRDFs。SVBRDFs。SVBRDFs。

【技术实现步骤摘要】
一种基于神经网络的平面材质数据库的采集方法及系统


[0001]本专利技术涉及一种基于神经网络的平面材质数据库的采集方法和系统，属于计算机图形学和计算机视觉领域。

技术介绍

[0002]高质量的材质外观表现了物体与光之间复杂的物理相互作用，通常用一个六维的随空间变化的双向反射分布函数(SVBRDF)来表达，它是计算机图形学和视觉的核心问题之一，在文化遗产、电子商务、计算机游戏和电影制作等领域有着重要的应用。在计算机图形学中，高质量的数字化材质外观可以逼真地渲染物体随位置、光照、视角变化而变化的复杂物理外观。另一方面，在计算机视觉领域，材质外观可以帮助机器更好地从图像中理解真实世界。
[0003]在过去的几十年里，由于学术界和工业界对准确的、多样化的数字外观的需求不断增长，人们在建立高价值的材质反射数据库方面做出了巨大的努力。一些开创性的工作由此诞生，包括实际采集BRDFs/SVBRDFs和合成SVBRDFs。然而，现在公开可用的采集的材质反射数据的数量仍然有限，在这个数据驱动的时代，这阻碍了相关研究的发展。例如，Wojciech Matusik,Hanspeter Pfister,Matt Brand,and Leonard McMillan.2003.A Data
‑
driven Reflectance Model.ACM Trans.Graph.22,3(July 2003),759
–
769.中公开了100个测量的各向同性BRDFs数据，在其发表20年后的今天，仍在许多研究中被使用。
[0004]这里的主要原因是用现有技术采集大规模数据集的技术困难，尽管采集质量很高，但对单个SVBRDF的六维物理空间进行密集的采样是非常耗时的，因此不能扩展到建立一个大型的数据库。基于强先验的方法以重建质量换取采集效率，当先验不成立时，结果的质量不能得到保证。对于具有高质量和高效率的照明多路复用技术来说，即使是最先进的工作，重建拉丝的金属和抛光的木材等一些具有挑战性的材质外观时，质量也不尽人意。

技术实现思路

[0005]本专利技术的目的在于针对现有技术的不足，提供一种大规模地采集近平面高维材质的方法。本方法可以鲁棒地、高质量地和高效率地采集近平面的各向异性的SVBRDFs。
[0006]本专利技术设计了一个神经网络，包含优化光照图案部分，门网络部分，专家网络部分和非线性映射网络部分。通过在光照图案照射下拍摄的目标材质照片中的信息，门网络可以自适应地选择最佳的专家网络预测材质空间独立的反射属性的隐向量表达，隐向量通过在一组其他光照图案下拍摄的照片的约束下被进一步优化，最后将隐向量通过非线性映射网络恢复为高维Lumitexel向量，拟合到BRDF模型中，其参数被存储为纹理图。
[0007]本方法可以采用单一视角或者多视角拍摄目标材质；针对多视角的照片对齐方法不限于某一特定方法，其他可以将两个摄像机在两个视角下拍摄的照片进行像素匹配的方法也适用；本方法中门网络输出概率的方法不限于某一特定方法，其他可以输出一组和为1的概率的方法也适用，如Softmax函数；本方法中用于优化隐向量的照片的光照条件不限于
某组特定光照图案，如本方法采用的线性光源图案，其他可以用采集设备照射的光照图案也适用，如点光源图案、面光源图案等；神经网络不限于全连接网络；物体材质属性的表达不限于Lumitexel向量，拟合到的BRDF模型不限于GGX BRDF模型，拟合方法不限于本方法中使用的可微分神经拟合，其他拟合方法也适用，如传统数值方法L
‑
BFGS
‑
B。
[0008]根据本说明书的第一方面，提供一种基于神经网络的平面材质数据库的采集方法，该方法包括训练阶段、采集阶段和重建阶段；
[0009]所述训练阶段包括以下步骤：
[0010](1)获取采集设备的参数，生成模拟摄像机的采集结果，作为训练数据；
[0011](2)使用生成的训练数据，对神经网络进行训练，所述神经网络的特征如下：
[0012]神经网络的输入为所有观察方向下的Lumitexel向量；
[0013]神经网络的第一部分为线性全连接层，用于模拟实际采集时所用的光照图案，将Lumitexel向量变换为对应摄像机的采集结果；
[0014]神经网络的第二部分包括一个门网络和多个专家网络，门网络以所有摄像机的采集结果作为输入，输出一组专家网络被选择的概率，每个专家网络都以所有摄像机的采集结果作为输入，预测出材质在隐式空间的隐向量表示；
[0015]神经网络的第三部分为非线性映射网络，用于根据隐向量恢复出高维材质信息；
[0016]所述采集阶段包括以下步骤：
[0017](1)神经网络光照图案采集：采集设备按照一组光照图案依次对目标近平面样本进行照射，所有摄像机分别获得一组照片；
[0018](2)材质优化光照图案采集：采集设备按照一组预设的线性光照图案依次对目标近平面样本进行照射，获得主要摄像机拍摄的一组照片；
[0019]所述重建阶段包括以下步骤：
[0020](1)材质预测：根据采集阶段(1)中采集到的照片，将所有摄像机采集到的样本在不同光照图案照射下的结果作为神经网络的门网络的输入，门网络输出一组专家网络被选择的概率，概率最大的专家网络以所有摄像机采集结果作为输入，预测得到高维材质信息的隐向量；
[0021](2)材质调优：根据采集阶段(2)中采集到的照片，将预测的隐向量作为初值，通过非线性映射网络恢复为Lumitexel向量，根据Lumitexel与光源发光强度的线性关系，用向量乘法模拟采集过程，将主要摄像机采集到的样本在不同线性光照图案照射下的结果作为目标，对隐向量进行调优；
[0022](3)材质拟合：优化后的隐向量经过非线性映射网络恢复出高维材质信息Lumitexel；对于每个近平面样本，训练一个可微分渲染神经网络，获得样本的GGX BRDF模型参数和局部坐标系作为近平面样本的材质采集结果。
[0023]进一步地，所述采集设备安装至少一个正对目标近平面材质的摄像机，当为多个摄像机时，设定正对目标近平面材质的摄像机为主要摄像机，其余摄像机为次要摄像机。
[0024]进一步地，所述Lumitexel的每个值描述了采样点对来自每个光源的入射光沿着某个观察方向的反射光强，Lumitexel与光源发光强度成线性关系，用线性全连接层模拟。
[0025]进一步地，所述神经网络的门网络由若干子门网络构成，子门网络的个数与门网络输出概率的方法相关，对于以二进制编码形式编码专家网络索引的方式，门网络由log2n
个一位子门网络构成，n为专家网络的个数，一个子门网络以所有摄像机的采集结果作为输入，输出g(b)，表示专家网络索引的二进制的第b位为1的概率，索引为a的专家网络被选择的概率形式化表达如下：
[0026][0027]其中，a
b
表示a的第b位。
...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的平面材质数据库的采集方法，其特征在于，包括训练阶段、采集阶段和重建阶段；所述训练阶段包括以下步骤：(1)获取采集设备的参数，生成模拟摄像机的采集结果，作为训练数据；(2)使用生成的训练数据，对神经网络进行训练，所述神经网络的特征如下：神经网络的输入为所有观察方向下的Lumitexel向量；神经网络的第一部分为线性全连接层，用于模拟实际采集时所用的光照图案，将Lumitexel向量变换为对应摄像机的采集结果；神经网络的第二部分包括一个门网络和多个专家网络，门网络以所有摄像机的采集结果作为输入，输出一组专家网络被选择的概率，每个专家网络都以所有摄像机的采集结果作为输入，预测出材质在隐式空间的隐向量表示；神经网络的第三部分为非线性映射网络，用于根据隐向量恢复出高维材质信息；所述采集阶段包括以下步骤：(1)神经网络光照图案采集：采集设备按照一组光照图案依次对目标近平面样本进行照射，所有摄像机分别获得一组照片；(2)材质优化光照图案采集：采集设备按照一组预设的线性光照图案依次对目标近平面样本进行照射，获得主要摄像机拍摄的一组照片；所述重建阶段包括以下步骤：(1)材质预测：根据采集阶段(1)中采集到的照片，将所有摄像机采集到的样本在不同光照图案照射下的结果作为神经网络的门网络的输入，门网络输出一组专家网络被选择的概率，概率最大的专家网络以所有摄像机采集结果作为输入，预测得到高维材质信息的隐向量；(2)材质调优：根据采集阶段(2)中采集到的照片，将预测的隐向量作为初值，通过非线性映射网络恢复为Lumitexel向量，根据Lumitexel与光源发光强度的线性关系，用向量乘法模拟采集过程，将主要摄像机采集到的样本在不同线性光照图案照射下的结果作为目标，对隐向量进行调优；(3)材质拟合：优化后的隐向量经过非线性映射网络恢复出高维材质信息Lumitexel；对于每个近平面样本，训练一个可微分渲染神经网络，获得样本的GGX BRDF模型参数和局部坐标系作为近平面样本的材质采集结果。2.根据权利要求1所述的基于神经网络的平面材质数据库的采集方法，其特征在于，所述采集设备安装至少一个正对目标近平面材质的摄像机，当为多个摄像机时，设定正对目标近平面材质的摄像机为主要摄像机，其余摄像机为次要摄像机。3.根据权利要求1所述的基于神经网络的平面材质数据库的采集方法，其特征在于，所述Lumitexel的每个值描述了采样点对来自每个光源的入射光沿着某个观察方向的反射光强，Lumitexel与光源发光强度成线性关系，用线性全连接层模拟。4.根据权利要求1所述的基于神经网络的平面材质数据库的采集方法，其特征在于，所述神经网络的门网络由若干子门网络构成，子门网络的个数与门网络输出概率的方法相关，对于以二进制编码形式编码专家网络索引的方式，门网络由log2n个一位子门网络构成，n为专家网络的个数，一个子门网络以所有摄像机的采集结果作为输入，输出g(b)，表示
专家网络索引的二进制的第b位为1的概率，索引为a的专家网络被选择的概率形式化表达如下：其中，a
...

【专利技术属性】
技术研发人员：吴鸿智，周昆，马晓鹤，
申请(专利权)人：杭州相芯科技有限公司，
类型：发明
国别省市：