图像处理的方法、装置、电子设备和存储介质制造方法及图纸

本公开提供了一种图像处理的方法、装置、电子设备和存储介质，涉及增强/虚拟现实、图像处理领域，尤其涉及三维人脸重建中的图像处理的方法、装置、电子设备和存储介质。具体实现方案为：获取二维人脸图像的第一纹理系数；基于第一纹理系数和二维人脸图像的第一纹理基底，生成二维人脸图像的第一纹理图像；基于第一纹理图像确定第一纹理系数满足第一目标条件，则基于第一纹理图像对第一纹理基底进行更新，得到第二纹理基底；响应于第二纹理基底收敛，则基于第二纹理基底对二维人脸图像进行三维重建，得到三维人脸图像。得到三维人脸图像。得到三维人脸图像。

【技术实现步骤摘要】
图像处理的方法、装置、电子设备和存储介质


[0001]本公开涉及增强/虚拟现实、图像处理领域，尤其涉及三维人脸重建中的图像处理的方法、装置、电子设备和存储介质。

技术介绍

[0002]目前，人脸重建中对于纹理图像的生成，依赖于纹理基底的颜色涵盖能力以及纹理系数的预测精度，而用于进行三维人脸重建的纹理基底，其开源方法都是手动绘制的。

技术实现思路

[0003]本公开提供了一种用于图像处理的方法、装置、电子设备和存储介质。
[0004]根据本公开的一方面，提供了一种图像处理方法，包括：获取二维人脸图像的第一纹理系数；基于第一纹理系数和二维人脸图像的第一纹理基底，生成二维人脸图像的第一纹理图像；基于第一纹理图像确定第一纹理系数满足第一目标条件，则基于第一纹理图像对第一纹理基底进行更新，得到第二纹理基底；响应于第二纹理基底收敛，则基于第二纹理基底对二维人脸图像进行三维重建，得到三维人脸图像。
[0005]根据本公开的另一方面，提供了一种图像处理装置，包括：获取单元，用于获取二维人脸图像的第一纹理系数；生成单元，用于基于第一纹理系数和二维人脸图像的第一纹理基底，生成二维人脸图像的第一纹理图像；更新单元，用于基于第一纹理图像确定第一纹理系数满足第一目标条件，则基于第一纹理图像对第一纹理基底进行更新，得到第二纹理基底；重建单元，用于响应于第二纹理基底收敛，则基于第二纹理基底对二维人脸图像进行三维重建，得到三维人脸图像。
[0006]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行权利要求1
‑
8中任一项所述的方法。
[0007]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行根据权利要求1
‑
8中任一项所述的方法。
[0008]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据权利要求1
‑
8中任一项所述的方法。
[0009]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0010]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0011]图1是根据本公开实施例的一种图像处理方法的示意图；
[0012]图2是根据本公开实施例的一种渲染图生成流程的示意图；
[0013]图3是基于图2所示的一种计算损失度的方法的示意图；
[0014]图4是用来实现本公开实施例的图像处理装置的结构图；
[0015]图5是根据本公开实施例一种电子设备的示意性框图。
具体实施方式
[0016]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0017]下面对本公开实施例的图像处理方法进行介绍。
[0018]传统计算机图形学中纹理基底使用固定的一组正交纹理图像，再通过拟合的方式计算出纹理系数。这种方式有局限性，固定的纹理基底决定了这个三维人脸重建模型最终表征颜色的范围，比如使用欧洲人脸基底，无论如何训练纹理系数都无法表征亚洲人脸。而纹理基底如果使用训练方式生成，同时训练纹理基底和纹理系数会导致训练不收敛不稳定。
[0019]图1是根据本公开实施例的一种图像处理方法的流程图。如图1所示，该方法可以包括以下步骤：
[0020]步骤S101，获取二维人脸图像的第一纹理系数。
[0021]在本公开上述步骤S101提供的技术方案中，在获取二维人脸图像的第一纹理系数之前，需要收集一张二维人脸图像。
[0022]在该实施例中，第一纹理系数可以是通过将收集到的二维人脸图像输入至目标网络模型中进行处理得到。
[0023]可选地，第一纹理系数可以通过将二维人脸图像输入至目标网络模型中进行预测得到，如将二维人脸图像输入至卷积神经网络(Convolutional Neural Networks，简称为CNN)中，进行预测得到第一纹理系数，卷积神经网络的输入层可以处理多维数据，卷积神经网络在计算机视觉领域中应用较广，因此在介绍其结构时预先假设了三维输入数据，即平面上的二位像素点和颜色通道(RGB通道)，由于使用梯度下降算法进行学习，卷积神经网络的输入特征需要进行标准化处理。
[0024]步骤S102，基于第一纹理系数和二维人脸图像的第一纹理基底，生成二维人脸图像的第一纹理图像。
[0025]在本公开上述步骤S102提供的技术方案中，在获取二维人脸图像的第一纹理系数之后，可以基于第一纹理系数和二维人脸图像的第一纹理基底，生成二维人脸图像的第一纹理图像。
[0026]在该实施例中，第一纹理基底是收集到的二维人脸图像的纹理基底的值，第一纹理系数与第一纹理基底进行线性求和的计算，进而生成二维人脸图像的第一纹理图像。
[0027]步骤S103，基于第一纹理图像确定第一纹理系数满足第一目标条件，则基于第一纹理图像对第一纹理基底进行更新，得到第二纹理基底。
[0028]在本公开上述步骤S103提供的技术方案中，基于第一纹理系数和二维人脸图像的第一纹理基底，生成二维人脸图像的第一纹理图像之后，可以基于第一纹理图像判断第一
纹理系数是否满足第一目标条件，如果基于第一纹理图像判断出第一纹理系数满足第一目标条件，则基于第一纹理图像对第一纹理基底进行更新，得到第二纹理基底。
[0029]在该实施例中，第一目标条件可以用于判断第一纹理图像与二维人脸图像对应的目标真值图之间的差异是否在能接受的范围内，当生成的第一纹理图像符合第一目标条件时，则基于第一纹理图像对第一纹理基底进行更新，得到第二纹理基底。
[0030]可选地，第一目标条件可以是第一纹理图像的损失度降低到RGB平均单通道损失值在一定阈值范围内，则可以确定纹理系数训练稳定了，比如，第一目标条件可以是第一纹理图像的损失度降低到RGB平均单通道损失值10以内。
[0031]步骤S104，响应于第二纹理基底收敛，则基于第二纹理基底对二维人脸图像进行三维重建，得到三维人脸图像。
[0032]在本公开上述步骤S104提供的技术方案中，在基于第一纹理图像对第一纹理基底进行更新，得到第二纹理基底之后，可以通过判断第二纹理基底是否收敛，来决定是否基于第二纹理基底对二维人脸图像进行三维重建，以得到三维人脸图像。如果响应于第二纹理基底收敛，则可以基于第二纹理基底对二维人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，包括：获取二维人脸图像的第一纹理系数；基于所述第一纹理系数和所述二维人脸图像的第一纹理基底，生成所述二维人脸图像的第一纹理图像；基于所述第一纹理图像确定所述第一纹理系数满足第一目标条件，则基于所述第一纹理图像对所述第一纹理基底进行更新，得到第二纹理基底；响应于所述第二纹理基底收敛，则基于所述第二纹理基底对所述二维人脸图像进行三维重建，得到三维人脸图像。2.根据权利要求1所述的方法，还包括：响应于所述第二纹理基底未收敛，则基于所述第一纹理系数和所述第二纹理基底，生所述二维人脸图像的第二纹理图像；基于所述第二纹理图像确定所述第二纹理基底满足第二目标条件，则对所述第一纹理系数进行更新，得到第二纹理系数；将所述第二纹理系数确定为所述第一纹理系数，将所述第二纹理基底确定为所述第一纹理基底，并执行基于所述第一纹理系数和所述二维人脸图像的第一纹理基底，生成所述二维人脸图像的第一纹理图像的步骤，直至确定所述第二纹理基底收敛。3.根据权利要求2所述的方法，其中，基于所述第二纹理图像确定所述第二纹理基底满足第二目标条件包括：对所述第二纹理图像进行渲染处理，得到第一渲染图像；获取所述第一渲染图像和所述二维人脸图像对应的目标真值图之间的第一损失度；确定所述第一损失度在目标阈值范围内，则确定所述第二纹理基底满足所述第二目标条件。4.根据权利要求2所述的方法，其中，获取二维人脸图像的第一纹理系数包括：将所述二维人脸图像输入至目标网络模型中进行处理，得到所述第一纹理系数，其中，所述目标网络模型用于预测输入图像的纹理系数；对所述第一纹理系数进行更新，得到第二纹理系数包括：对所述目标网络模型的参数的权重进行更新，并基于更新后的所述目标网络模型将所述第一纹理系数调整为所述第二纹理系数。5.根据权利要求1所述的方法，其中，基于所述第一纹理图像确定所述第一纹理系数满足第一目标条件，包括：对所述第一纹理图像进行渲染处理，得到第二渲染图像；获取所述第二渲染图像和所述二维人脸图像对应的目标真值图之间的第二损失度；确定所述第...

【专利技术属性】
技术研发人员：王迪，赵晨，李杰，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：