一种图像渲染模型的训练方法以及渲染方法技术

本申请实施例提供一种图像渲染模型的训练方法以及渲染方法，在该图像渲染模型的训练方法中，根据渲染图像以及渲染分割图像，与初始图像以及初始分割图像之间的差异，对所述待训练渲染模型进行训练；其中，所述对所述待训练渲染模型进行训练，包括：对所述待训练渲染模型的渲染参数进行调整。该方法通过对待训练渲染模型的渲染参数进行调整，使得调整后的渲染模型获得的渲染图像以及渲染分割图像，与初始图像以及初始分割图像之间的差异得到降低，提升了渲染图像中的对象还原度。提升了渲染图像中的对象还原度。提升了渲染图像中的对象还原度。

【技术实现步骤摘要】
一种图像渲染模型的训练方法以及渲染方法


[0001]本申请涉及计算机
，具体涉及一种图像渲染模型的训练方法、装置、电子设备及计算机存储介质，本申请还涉及一种渲染方法、装置、电子设备及计算机存储介质。

技术介绍

[0002]三维重建是与渲染相反的过程，渲染是给定物体或场景的三维信息，模拟相机拍摄二维图像。而三维重建是对三维物体建立适合计算机表示和处理的数学模型，具体是根据单视图或者多视图的图像重建三维信息，换言之，输入二维图像，推理三维结构。例如，线上服务平台显示的对象的三维建模信息，是根据实际对象的二维图像重建三维信息获得的对象三维几何图。对对象进行三维重建的过程包括物体分割、相机位姿估计、网格重建和纹理恢复等环节。
[0003]实际三维建模过程中获得的渲染图像中的对象还原度偏低，因此，如何提升三维建模获得的渲染图像中的对象还原度是需要解决的问题。

技术实现思路

[0004]本申请实施例提供一种图像渲染模型的训练方法，以提升图像渲染模型获得的渲染图像中的对象还原度。本申请实施例同时涉及一种图像渲染模型的训练装置、电子设备及计算机存储介质。本申请实施例同时涉及一种渲染方法、装置及电子设备。
[0005]本申请实施例提供一种图像渲染模型的训练方法，包括：获得目标对象的初始图像和初始分割图像；利用待训练渲染模型对所述初始图像和所述初始分割图像进行渲染，获得所述初始图像的渲染图像和渲染分割图像；基于所述渲染图像以及所述渲染分割图像，与所述初始图像以及所述初始分割图像之间的差异，对所述待训练渲染模型进行训练；其中，所述对所述待训练渲染模型进行训练，包括：对所述待训练渲染模型的渲染参数进行调整。
[0006]可选的，所述对所述待训练渲染模型的渲染参数进行调整，包括：对所述待训练渲染模型的纹理参数进行调整。
[0007]可选的，还包括：将调整后的纹理参数更新至所述待训练渲染模型，获得第一渲染模型，继续执行所述利用待训练渲染模型对所述初始图像和所述初始分割图像进行渲染，获得所述初始图像的渲染图像和渲染分割图像的步骤。
[0008]可选的，所述对所述待训练渲染模型的渲染参数进行调整，包括：对所述待训练渲染模型的纹理参数和位姿参数进行联合调整。
[0009]可选的，还包括：将调整后的纹理参数和位姿参数更新至所述待训练渲染模型，获得第二渲染模型，继续执行所述利用待训练渲染模型对所述初始图像和所述初始分割图像进行渲染，获得所述初始图像的渲染图像和渲染分割图像的步骤。
[0010]可选的，所述对所述待训练渲染模型的渲染参数进行调整，包括：对所述待训练渲染模型的纹理参数、位姿参数和网格参数进行联合调整。
[0011]可选的，还包括：将调整后的纹理参数、位姿参数和网格参数更新至所述待训练渲染模型，获得第三渲染模型，继续执行所述利用待训练渲染模型对所述初始图像和所述初始分割图像进行渲染，获得所述初始图像的渲染图像和渲染分割图像的步骤。
[0012]可选的，所述对所述待训练渲染模型的渲染参数进行调整，包括：对所述待训练渲染模型的纹理参数和光照参数进行联合调整。
[0013]可选的，还包括：将调整后的纹理参数和光照参数更新至所述待训练渲染模型，获得第四渲染模型，继续执行所述利用待训练渲染模型对所述初始图像和所述初始分割图像进行渲染，获得所述初始图像的渲染图像和渲染分割图像的步骤。
[0014]可选的，还包括：获得所述渲染图像以及所述渲染分割图像，与所述初始图像以及所述初始分割图像之间的纹理数据差异；所述基于所述渲染图像以及所述渲染分割图像，与所述初始图像以及所述初始分割图像之间的差异，对所述待训练渲染模型进行训练，包括：基于所述纹理数据差异，确定所述待训练渲染模型的损失值；基于所述待训练渲染模型的损失值，对所述待训练渲染模型的纹理参数进行调整。
[0015]可选的，还包括：获得所述渲染图像以及所述渲染分割图像，与所述初始图像以及所述初始分割图像之间的纹理数据差异和位姿数据差异；所述基于所述渲染图像以及所述渲染分割图像，与所述初始图像以及所述初始分割图像之间的差异，对所述待训练渲染模型进行训练，包括：基于所述纹理数据差异和所述位姿数据差异，确定所述待训练渲染模型的损失值；基于所述待训练渲染模型的损失值，对所述待训练渲染模型的纹理参数和位姿参数进行联合调整。
[0016]可选的，还包括：获得所述渲染图像以及所述渲染分割图像，与所述初始图像以及所述初始分割图像之间的纹理数据差异和位姿数据差异、以及所述渲染图像和所述初始图像之间的网格数据差异；所述基于所述渲染图像以及所述渲染分割图像，与所述初始图像以及所述初始分割图像之间的差异，对所述待训练渲染模型进行训练，包括：基于所述纹理数据差异、位姿数据差异、以及网格数据差异，确定所述待训练渲染模型的损失值；基于所述待训练渲染模型的损失值，对所述待训练渲染模型的纹理参数、位姿参数和网格参数进行联合调整。
[0017]可选的，还包括：获得所述渲染图像以及所述渲染分割图像，与所述初始图像以及所述初始分割图像之间的纹理数据差异、以及所述渲染图像与所述初始图像之间的光照数据差异；所述基于所述渲染图像以及所述渲染分割图像，与所述初始图像以及所述初始分割图像之间的差异，对所述待训练渲染模型进行训练，包括：基于所述纹理数据差异和所述光照数据差异，确定所述待训练渲染模型的损失值；基于所述待训练渲染模型的损失值，对所述待训练渲染模型的纹理参数和光照参数进行联合调整。
[0018]可选的，所述确定所述待训练渲染模型的损失值，包括：确定用于表征所述待训练渲染模型的渲染结果与所述目标对象之间针对对象几何体差异度的第一损失值。
[0019]可选的，所述基于所述纹理数据差异和所述光照数据差异，确定所述待训练渲染模型的损失值，包括：基于所述纹理数据差异，确定用于表征所述待训练渲染模型的渲染结果与所述目标对象之间针对对象几何体差异度的第一损失值；基于所述光照数据差异，确定用于表征所述待训练渲染模型的渲染结果与所述目标对象之间针对光照数据差异度的第二损失值。
[0020]可选的，还包括：获取所述目标对象的网格数据；所述目标对象的网格数据通过如下方式获取：获取所述目标对象的多视角初始图像，以及所述多视角初始图像分别对应的图像位姿数据；根据所述多视角初始图像、所述图像位姿数据以及所述初始分割图像，构建所述目标对象的网格数据。
[0021]可选的，还包括：获取所述待训练渲染模型获得的渲染结果的光照数据；所述获取所述待训练渲染模型获得的渲染结果的光照数据，包括：初始化设置目标对象的可微纹理数据，可微位姿数据，可微网格数据；将所述目标对象的可微纹理数据，可微位姿数据，可微网格数据，输入光照模型中，获得所述渲染结果的光照数据。
[0022]本申请实施例还提供一种渲染方法，包括：将目标对象的多视角初始图像提供给目标渲染模型，获得所述目标对象的初始分割图像，纹理数据，所述多视角初始图像分别对应的位姿数据以及所述目标对象的光照数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像渲染模型的训练方法，其特征在于，包括：获得目标对象的初始图像和初始分割图像；利用待训练渲染模型对所述初始图像和所述初始分割图像进行渲染，获得所述初始图像的渲染图像和渲染分割图像；基于所述渲染图像以及所述渲染分割图像，与所述初始图像以及所述初始分割图像之间的差异，对所述待训练渲染模型进行训练；其中，所述对所述待训练渲染模型进行训练，包括：对所述待训练渲染模型的渲染参数进行调整。2.根据权利要求1所述的方法，其特征在于，所述对所述待训练渲染模型的渲染参数进行调整，包括：对所述待训练渲染模型的纹理参数进行调整。3.根据权利要求2所述的方法，其特征在于，还包括：将调整后的纹理参数更新至所述待训练渲染模型，获得第一渲染模型，继续执行所述利用待训练渲染模型对所述初始图像和所述初始分割图像进行渲染，获得所述初始图像的渲染图像和渲染分割图像的步骤。4.根据权利要求1所述的方法，其特征在于，所述对所述待训练渲染模型的渲染参数进行调整，包括：对所述待训练渲染模型的纹理参数和位姿参数进行联合调整。5.根据权利要求4所述的方法，其特征在于，还包括：将调整后的纹理参数和位姿参数更新至所述待训练渲染模型，获得第二渲染模型，继续执行所述利用待训练渲染模型对所述初始图像和所述初始分割图像进行渲染，获得所述初始图像的渲染图像和渲染分割图像的步骤。6.根据权利要求1所述的方法，其特征在于，所述对所述待训练渲染模型的渲染参数进行调整，包括：对所述待训练渲染模型的纹理参数、位姿参数和网格参数进行联合调整。7.根据权利要求6所述的方法，其特征在于，还包括：将调整后的纹理参数、位姿参数和网格参数更新至所述待训练渲染模型，获得第三渲染模型，继续执行所述利用待训练渲染模型对所述初始图像和所述初始分割图像进行渲染，获得所述初始图像的渲染图像和渲染分割图像的步骤。8.根据权利要求1所述的方法，其特征在于，所述对所述待训练渲染模型的渲染参数进行调整，包括：对所述待训练渲染模型的纹理参数和光照参数进行联合调整。9.根据权利要求8所述的方法，其特征在于，还包括：将调整后的纹理参数和光照参数更新至所述待训练渲染模型，获得第四渲染模型，继续执行所述利用待训练渲染模型对所述初始图像和所述初始分割图像进行渲染，获得所述初始图像的渲染图像和渲染分割图像的步骤。10.根据权利要求2所述的方法，其特征在于，还包括：获得所述渲染图像以及所述渲染分割图像，与所述初始图像以及所述初始分割图像之间的纹理数据差异；所述基于所述渲染图像以及所述渲染分割图像，与所述初始图像以及所述初始分割图像之间的差异，对所述待训练渲染模型进行训练，包括：基于所述纹理数据差异，确定所述待训练渲染模型的损失值；基于所述待训练渲染模型的损失值，对所述待训练渲染模型的纹理参数进行调整。11.根据权利要求4所述的方法，其特征在于，还包括：获得所述渲染图像以及所述渲染
分割图像，与所述初始图像以及所述初始分割图像之间的纹理数据差异和位姿数据差异；所述基于所述渲染图像以及所述渲染分割图像，与所述初始图像以及所述初始分割图像之间的差异，对所述待训练渲染模型进行训练，包括：基于所述纹理数据差异和所述位姿数据差异，确定所述待训练渲染模型的损失值；基于所述待训练渲染模型的损失值，对所述待训练渲染模型的纹理参数和位姿参数进行联合调整。12.根据权利要求6所述的方法，其特征在于，还包括：获得所述渲染图像以及所述渲染分割图像，与所述初始图像以及所述初始分割图...

【专利技术属性】
技术研发人员：王哲，盘博文，吕江靖，贾荣飞，吕承飞，
申请(专利权)人：淘宝中国软件有限公司，
类型：发明
国别省市：