【技术实现步骤摘要】
本申请涉及图像处理，尤其涉及一种渲染方法及装置。
技术介绍
1、数字化成为社会发展趋势，人们对数字化内容的需求越来越丰富，对3d数字化内容渲染质量以及3d内容的编辑如材质属性的要求不断提高。当输入是经过设计师精心设计的表面几何、材料属性和场景光照时，图形渲染管线才能够渲染出高质量的图像。为了更好地表达几何和纹理细节，这些经过设计的数据往往是大尺寸高分辨率的3d模型和高分辨率高质量的纹理，但是这些数据不利于传输，同时也对渲染的硬件设备(比如，gpu)提出了巨大的挑战。因此，如何以更紧凑、更小的尺寸表达相同的场景，同时尽可能不损失细节信息，是计算机图形学界研究的一个问题。
2、针对具有高分辨率几何和纹理的渲染，目前采用的流程是先对几何模型进行一定程度的简化，如减少几何的面片数，但是由于简化，会造成高频几何信息的丢失，随着面片数的减少，模型表面变得越来越光滑，导致更多细节信息的丢失。但是为了弥补丢失的部分信息，需要设计师迭代地去编辑法线贴图，从而使得简化后的模型加上法线贴图的烘焙让最后渲染的图像近似原有高分辨率模型渲染的效果。但是这种迭代地编辑是非常耗时且十分依赖设计师的经验。
技术实现思路
1、本申请实施例提供一种渲染方法及装置，用以在减少场景表达信息的资源占用率，提高传输效率的同时，提高渲染质量。
2、第一方面，本申请实施例提供一种渲染方法，该方法可以应用于终端设备。渲染方法包括：向服务器发送模型渲染请求，所述模型渲染请求用于指示待渲染的源模型，所述源模型为三
3、本实施例中该模型通常是指三维模型(即3d模型)。该3d模型通常指产品计算机辅助设计(computer aided design，cad)或计算机辅助制造(computer aidedmanufacturing，am)模型。该3d模型是物体的多边形表示，通常用计算机或者其它视频设备进行显示。显示的物体可以是现实世界的实体，也可以是虚构的物体。任何物理自然界存在的东西都可以用3d模型表示。在一些可能实现方式中，该源模型可以是第三方软件生成的工业模型，也可以是将该工业模型进行渲染得到的渲染模型或者进行ar处理后的ar模型，只有该源模型具有一个模型的完整结构即可，具体此处不做限定。
4、代理模型+神经纹理数据+网络参数的总数据量小于源模型的数据量。本申请实施例中，终端设备在需要渲染模型时，直接从服务器获取代理模型以及神经纹理数据。一方面，可以减少场景表达信息的资源占用率，以及提高传输效率。另一方面，服务器预先训练好的源模型对应的神经渲染器，终端设备仅需从服务器端获取网络参数，进一步可以提高传输效率，并且使用服务器训练好的神经渲染器来基于代理模型以及神经纹理数据执行渲染，防止高频纹理的丢失，提高渲染质量。又一方面，目前要达到高质量的渲染图像，需要美工人员采用传统的方式反复迭代编辑制作，比较耗时耗力。本申请无需人工的参与也能获得高质量的渲染图像，可以节省人工成本和时间成本。
5、在一种可能的设计中，所述方法还包括：显示所述渲染图像。
6、在一种可能的设计中，所述神经纹理数据是在训练所述神经渲染器的过程中，针对初始化的神经纹理数据迭代调整得到的。
7、在训练源模型对应的神经渲染器的过程中，调整神经纹理数据，不断优化神经纹理数据，以进一步提高渲染质量。
8、在一种可能的设计中，所述神经纹理数据采用多级渐远纹理mipmap表达。神经纹理数据采用多分辨率的形式，可以进一步减少纹理数据所占用的资源，提高传输速率。
9、在一种可能的设计中，所述代理模型为如下任一项：所述源模型的简化模型、所述源模型的包围盒、所述源模型的体素或者所述源模型的有符号距离场sdf；所述简化模型至少包括所述源模型的外观数据。
10、在一种可能的设计中，基于所述神经纹理数据和所述代理模型通过所述网络参数的神经渲染器执行渲染操作得到渲染后的三维模型，包括：从所述代理模型中获取几何数据和材质数据，所述材质数据包括如下至少一项：返照率、粗糙度、金属度、透明度、法线贴图，所述代理模型中每个着色点对应的光线方向；根据所述几何数据、所述材质数据以及所述神经纹理数据，以通过所述网络参数的神经渲染器执行渲染操作得到渲染后的三维模型。
11、上述设计中，从代理模型中获取几何数据和材质数据。神经渲染器支持基于所述几何数据、所述材质数据以及所述神经纹理数据执行渲染操作，防止材质数据的丢失，提高渲染质量。并且不需要人工在模型的基础上编辑材质，减低人工资源的浪费，并提高的渲染速率。
12、在一种可能的设计中，所述神经渲染器采用神经网络模型，所述神经网络模型包括形状网络模型以及外观网络模型；所述形状网络模型，用于针对所述几何数据进行特征提取得到所述源模型的几何特征向量；所述外观网络模型，用于基于所述几何特征向量、所述神经纹理数据以及所述材质数据执行渲染操作得到所述渲染图像。
13、在一种可能的设计中，所述方法还包括：响应于第一操作，触发向所述服务器发送所述模型渲染请求。
14、例如，在3d模型渲染应用场景下，该第一操作可以是用户点选用户界面中的模型渲染控件。
15、在一种可能的设计中，所述方法还包括：响应于用户的第二操作，获取用户输入的材质参数，所述用户输入的材质参数包括如下至少一项：用户输入的返照率、粗糙度、金属度、透明度；将所述用户输入的材质参数更新到所述材质数据中；
16、根据所述几何数据、所述材质数据以及所述神经纹理数据，以通过所述网络参数的神经渲染器执行渲染操作得到渲染后的三维模型，包括：根据所述几何数据、更新后的所述材质数据以及所述神经纹理数据，以通过所述网络参数的神经渲染器执行渲染操作得到渲染后的三维模型。
17、上述设计中，支持用户修改原有的源模型的材质参数，使得渲染的3d适用到不同的场景中，无需制作针对不同场景下应用的不同材质的模型，提高资源利用率，减少资源的浪费。
18、第二方面，本申请实施例提供一种渲染方法，该方法可以应用于服务器。渲染方法包括：接收终端设备的模型渲染请求，所述模型渲染请求用于指示待渲染的源模型；获取代理模型、所述源模型对应的神经渲染器的网络参数以及神经纹理数据，所述代理模型用于记录所述源模型中的低频信息，所述神经纹理数据用于记录所述源模型的高频信息；所述代理模型的数据量小于所述源模型的数据量；向所述终端设备发送代理模型、所述源模型对应的神经渲染器的网络参数以及神经纹理数据；其中，所述神经渲染器用于根据所述代理模型以及所述神经纹理数据执行渲染操作得本文档来自技高网...
【技术保护点】
1.一种渲染方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述神经纹理数据是在训练所述神经渲染器的过程中，针对初始化的神经纹理迭代调整得到的。
3.如权利要求2所述的方法，其特征在于，所述神经纹理数据采用多级渐远纹理mipmap表达。
4.如权利要求1至3任一项所述的方法，其特征在于，所述代理模型为如下任一项：所述源模型的简化模型、所述源模型的包围盒、所述源模型的体素或者所述源模型的有符号距离场SDF；所述简化模型至少包括所述源模型的外观数据。
5.如权利要求1至4任一项所述的方法，其特征在于，基于所述神经纹理数据和所述代理模型通过所述网络参数的神经渲染器执行渲染操作得到渲染后的三维模型，包括：
6.如权利要求5所述的方法，其特征在于，所述神经渲染器采用神经网络模型，所述神经网络模型包括形状网络模型以及外观网络模型；
7.如权利要求5或6所述的方法，其特征在于，所述方法还包括：
8.如权利要求5至7任一项所述的方法，其特征在于，所述方法还包括：
9.一种渲染方法，其
10.如权利要求9所述的方法，其特征在于，所述代理模型为如下任一项：所述源模型的简化模型、所述源模型的包围盒、所述源模型的体素或者所述源模型的有符号距离场SDF；所述简化模型至少包括所述源模型的外观数据。
11.如权利要求9或10所述的方法，其特征在于，所述神经渲染器采用神经网络模型，所述神经网络模型包括形状网络模型以及外观网络模型；
12.如权利要求9至11任一项所述的方法，其特征在于，所述神经渲染器通过训练样本集训练得到的，所述神经纹理数据是在训练所述神经渲染器的过程中，针对初始化的神经纹理迭代调整得到的；
13.如权利要求12所述的方法，其特征在于，所述方法还包括通过如下方式训练所述神经渲染器：
14.如权利要求9至13任一项所述的方法，其特征在于，所述神经纹理数据采用多级渐远纹理mipmap表达。
15.一种模型训练方法，其特征在于，包括：
16.如权利要求15所述的方法，其特征在于，所述神经渲染器采用神经网络模型，所述神经网络模型包括形状网络模型以及外观网络模型；
17.一种渲染装置，其特征在于，包括：
18.如权利要求17所述的装置，其特征在于，所述神经纹理数据是在训练所述神经渲染器的过程中，针对初始化的神经纹理迭代调整得到的。
19.如权利要求18所述的装置，其特征在于，所述神经纹理数据采用多级渐远纹理mipmap表达。
20.如权利要求17至19任一项所述的装置，其特征在于，所述代理模型为如下任一项：所述源模型的简化模型、所述源模型的包围盒、所述源模型的体素或者所述源模型的有符号距离场SDF；所述简化模型至少包括所述源模型的外观数据。
21.如权利要求17至20任一项所述的装置，其特征在于，所述处理模块，具体用于：
22.如权利要求21所述的装置，其特征在于，所述神经渲染器包括形状网络模型以及外观网络模型；
23.如权利要求21或22所述的装置，其特征在于，所述处理模块，还用于：
24.如权利要求21至23任一项所述的装置，其特征在于，所述处理模块，还用于：
25.一种渲染装置，其特征在于，包括：
26.如权利要求25所述的装置，其特征在于，所述代理模型为如下任一项：所述源模型的简化模型、所述源模型的包围盒、所述源模型的体素或者所述源模型的有符号距离场SDF；所述简化模型至少包括所述源模型的外观数据。
27.如权利要求25或26所述的装置，其特征在于，所述神经渲染器包括形状网络模型以及外观网络模型；
28.如权利要求25至27任一项所述的装置，其特征在于，所述神经渲染器通过训练样本集训练得到的，所述神经纹理数据是在训练所述神经渲染器的过程中，针对初始化的神经纹理迭代调整得到的；
29.如权利要求28所述的装置，其特征在于，还包括：训练模块，用于通过如下方式训练所述神经渲染器：
30.如权利要求25至29任一项所述的装置，其特征在于，所述神经纹理数据采用多级渐远纹理mipmap表达。
31.一种模型训练装置，其特征在于，包括：
32.如权利要求31所述的装置，其特征在于，所述神经渲染器采用神经网络模型，所述神经网络模型包括形状网络模型以及外观网络模型；
33.一种终端设备，其特征在于，包括至少一个处理器以及存储器，所述处理器用于与所...
【技术特征摘要】
1.一种渲染方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述神经纹理数据是在训练所述神经渲染器的过程中，针对初始化的神经纹理迭代调整得到的。
3.如权利要求2所述的方法，其特征在于，所述神经纹理数据采用多级渐远纹理mipmap表达。
4.如权利要求1至3任一项所述的方法，其特征在于，所述代理模型为如下任一项：所述源模型的简化模型、所述源模型的包围盒、所述源模型的体素或者所述源模型的有符号距离场sdf；所述简化模型至少包括所述源模型的外观数据。
5.如权利要求1至4任一项所述的方法，其特征在于，基于所述神经纹理数据和所述代理模型通过所述网络参数的神经渲染器执行渲染操作得到渲染后的三维模型，包括：
6.如权利要求5所述的方法，其特征在于，所述神经渲染器采用神经网络模型，所述神经网络模型包括形状网络模型以及外观网络模型；
7.如权利要求5或6所述的方法，其特征在于，所述方法还包括：
8.如权利要求5至7任一项所述的方法，其特征在于，所述方法还包括：
9.一种渲染方法，其特征在于，包括：
10.如权利要求9所述的方法，其特征在于，所述代理模型为如下任一项：所述源模型的简化模型、所述源模型的包围盒、所述源模型的体素或者所述源模型的有符号距离场sdf；所述简化模型至少包括所述源模型的外观数据。
11.如权利要求9或10所述的方法，其特征在于，所述神经渲染器采用神经网络模型，所述神经网络模型包括形状网络模型以及外观网络模型；
12.如权利要求9至11任一项所述的方法，其特征在于，所述神经渲染器通过训练样本集训练得到的，所述神经纹理数据是在训练所述神经渲染器的过程中，针对初始化的神经纹理迭代调整得到的；
13.如权利要求12所述的方法，其特征在于，所述方法还包括通过如下方式训练所述神经渲染器：
14.如权利要求9至13任一项所述的方法，其特征在于，所述神经纹理数据采用多级渐远纹理mipmap表达。
15.一种模型训练方法，其特征在于，包括：
16.如权利要求15所述的方法，其特征在于，所述神经渲染器采用神经网络模型，所述神经网络模型包括形状网络模型以及外观网络模型；
17.一种渲染装置，其特征在于，包括：
18.如权利要求17所述的装置，其特征在于，所述神经纹理数据是在训练所述神经渲染器的过程中，针对初始化的神经纹理迭代调整得到的。
19.如权利要求18所述的装置，其特征在于，所述神经纹理数据采用多级渐远纹理mipmap表达。
20.如权利要求17至19任一项所述的装置，其特征在于，所述代理模型为如下任一项：所述源模型的简化模型...
【专利技术属性】
技术研发人员：邵帅，廖晶堂，宗洪明，纪道明，顾澄宇，金欣，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。