【技术实现步骤摘要】
本专利技术涉及计算机视觉处理领域，特别是涉及一种基于单图像的三维人脸重建及编辑方法。
技术介绍
1、数字人是人类的一种虚拟化身，可以作为人类的一种身份特征表现也能作为用户间交互的一种媒介。在娱乐、教育等领域，对数字人的需求呈现出巨大的增长。数字人在直播、游戏等娱乐领域，以及新闻传播等媒体领域的应用正成为一种流行的趋势。数字人的创建、编辑、应用涉及了三维建模、图形学、计算机视觉等技术。实现三维人脸重建的一般有以下几种方法，一种是使用结构光等三维扫描设备对头部进而实现重建，但这种方法经济成本高；二是请专业设计师通过三维建模软件进行三维人脸的建模，但这种同样成本高普适性低。三是是基于3dmm(3d morphable face model，3dmm)的人脸参数化模型参数拟合方式，但这种方法难以渲染逼真图像。四是基于神经辐射场三维重建技术对多视图人脸进行重建，这种方法虽然能渲染逼真图像但需要密集的多视角图像并且难以编辑。因此一种普适性强，成本低且基于单目或稀疏视图能实现逼真三维人脸重建和定制化编辑的技术方法成为了引人注目的创新点。
2、从单个视图到三维人脸的三维重建是计算机视觉中一个难题，因为从单个二维信息到三维信息的恢复本身是一个病态问题。因此往往需要引入合适的先验信息以合理地补充未知的信息。近年来生成对抗网络gan(generative adversarial networks，gan)的应用使计算机视觉领域的图像生成取得巨大的进步，二维图片的生成实现了高分辨率、高质量、与高逼真度的效果。鉴于三维人脸高分辨率图像的渲染往
3、但目前的这种基于生成对抗网络逆转算法的三维人脸重建并不能获得完美的效果，主要存在以下几点的缺点，首先逆转的优化目标仅仅停留在图像级别的损失上，容易导致过优化过程的拟合，造成生成效果下降，并且导致潜码的可编辑性较低。其次逆转需要调整整个模型的参数，为此每重建一个人脸都需要保存整个生成对抗网络生成器模型的参数，导致了巨大内存开销。最后，重建的人脸缺乏个性化定制的编辑操作，并且由于生成对抗网络潜码空间的耦合性，现有的三维人脸编辑方法，对某个人脸特征编辑的同时往往会影响其它无关特征的变化。
4、需要说明的是，在上述
技术介绍
部分公开的信息仅用于对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
1、本专利技术的主要目的在于克服上述
技术介绍
的缺陷，提供一种基于单图像的三维人脸重建及编辑方法，提供更高效灵活且高质量的三维人脸重建编辑，以解决当前人脸重建技术成本高普适性低，缺乏定制化编辑的缺陷。为实现上述目的，本专利技术采用以下技术方案：
2、一种基于单图像的三维人脸重建及编辑方法，包括：
3、对单目人脸图像，利用预训练的三维感知的人脸生成对抗eg3d网络进行特征提取，eg3d网络通过具有多个卷积模块的生成器生成三个正交的平面特征，并结合相机参数，通过神经体渲染器对生成的三平面特征进行三维渲染，生成初步的三维人脸表示；
4、通过逆转模块，将输入的单目人脸图像映射到潜码空间得到潜码，利用得到的潜码，通过eg3d网络的前向过程生成三维人脸图像，并计算生成的三维人脸图像与原始单目人脸图像之间的差异，其中通过损失计算以进行潜码优化；
5、基于初步的三维人脸表示和潜码，利用深度估计技术从原始单目人脸图像生成深度信息，并利用深度信息将单目人脸图像投影到不同的相机视角下，生成伪多视图图像；
6、基于初步的三维人脸表示和潜码，使用语义分割网络提取人脸的语义特征，使用表情特征提取网络获取表情特征，并将提取的语义特征和表情特征与伪多视图图像的特征融合生成综合的特征表示；
7、根据编辑需求，通过潜码优化网络使用损失函数对潜码进行优化调整和正则化；
8、基于综合的特征表示以及优化调整和正则化的潜码，进行三维人脸模型的编辑操作；
9、基于经过编辑的特征表示和优化后的潜码，由所述生成器生成最终编辑后的人脸图像。
10、一种计算机程序产品，包括计算机程序，所述计算机程序由处理器执行时实现所述的基于单图像的三维人脸重建及编辑方法。
11、本专利技术具有如下有益效果：
12、本专利技术提供一种基于单图像的三维人脸重建及编辑方法，能够提供更高效灵活且高质量的三维人脸重建编辑，有效克服了当前人脸重建技术成本高普适性低，缺乏定制化编辑的缺陷。
13、本专利技术的主要技术优点在于提供了一种成本效益高、普适性强的基于单图像的三维人脸重建及编辑方法，有效克服了现有技术中的多项局限。与传统的方法相比，本专利技术采用预训练的eg3d网络和先进的gan逆转算法，实现了从单目人脸图像到三维人脸模型的高效率、高逼真度重建。本专利技术通过深度估计技术生成伪多视图图像，丰富了人脸模型的视角信息，并通过语义分割与表情特征提取网络增强了模型对语义和表情特征的捕捉能力。此外，通过创新的潜码优化和正则化策略，本专利技术不仅提升了编辑过程中的稳定性和可控性，还实现了特征间的高度解耦，允许对特定人脸特征进行精确编辑而不会影响到其他无关特征，从而增强了个性化定制的灵活性。此外，本专利技术进一步通过局部参数优化策略显著降低了存储消耗，同时提高了编辑过程中特征解耦的效率，保持了人脸重建的精度和可编辑性，解决了传统方法中内存开销大和缺乏个性化编辑能力的问题。
14、本专利技术实施例中的其他有益效果将在下文中进一步述及。
本文档来自技高网...【技术保护点】
1.一种基于单图像的三维人脸重建及编辑方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于单图像的三维人脸重建及编辑方法，其特征在于，步骤S2中，EG3D网络还通过超分辨率模块优化生成图像的细节。
3.如权利要求1或2所述的基于单图像的三维人脸重建及编辑方法，其特征在于，步骤S2中，用于损失计算的损失函数包括像素级损失和感知损失，以计算生成图像与监督图像之间的差异；还引入潜码正则化损失，计算优化潜码与潜码空间中平均潜码的二范数距离，限制潜码的变动范围，避免过拟合。
4.如权利要求1至3任一项所述的基于单图像的三维人脸重建及编辑方法，其特征在于，步骤S2中，通过局部参数优化策略实施局部参数优化，将网络参数优化设定于StyleGAN2主干中更靠近输出端的两个合成模块。
5.如权利要求1至4任一项所述的基于单图像的三维人脸重建及编辑方法，其特征在于，步骤S3具体包括：
6.如权利要求1至5任一项所述的基于单图像的三维人脸重建及编辑方法，其特征在于，步骤S5包括：使用L1、L2损失和感知损失在内的损失函数评估特征差异，并
7.如权利要求1至6任一项所述的基于单图像的三维人脸重建及编辑方法，其特征在于，步骤S6包括：使用预训练的语义分割网络对人脸图像进行分析，识别并分割出不同的语义区域；利用表情特征提取网络识别人脸的表情特征，并将其转换为可编辑的参数；根据语义分割和表情特征提取的结果，生成对应的编辑掩码；将生成的掩码应用于优化后的潜码，基于编辑掩码对特定语义区域进行编辑，并根据提取的表情参数和生成的掩码，调整人脸图像的表情特征；将语义编辑和表情编辑的结果融合。
8.如权利要求1至7任一项所述的基于单图像的三维人脸重建及编辑方法，其特征在于，还包括以下步骤：
9.如权利要求8所述的基于单图像的三维人脸重建及编辑方法，其特征在于，步骤S9包括：对不同编辑状态下的潜码通过线性插值进行平滑插值操作；使用插值得到的中间潜码，生成人脸表情或特征的过渡动画；将生成的最终人脸图像输出，作为三维人脸重建和编辑过程的成果；如果生成了过渡动画，将动画序列输出，展示人脸表情的变化过程。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序由处理器执行时实现如权利要求1-9任一项所述的基于单图像的三维人脸重建及编辑方法。
...【技术特征摘要】
1.一种基于单图像的三维人脸重建及编辑方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于单图像的三维人脸重建及编辑方法，其特征在于，步骤s2中，eg3d网络还通过超分辨率模块优化生成图像的细节。
3.如权利要求1或2所述的基于单图像的三维人脸重建及编辑方法，其特征在于，步骤s2中，用于损失计算的损失函数包括像素级损失和感知损失，以计算生成图像与监督图像之间的差异；还引入潜码正则化损失，计算优化潜码与潜码空间中平均潜码的二范数距离，限制潜码的变动范围，避免过拟合。
4.如权利要求1至3任一项所述的基于单图像的三维人脸重建及编辑方法，其特征在于，步骤s2中，通过局部参数优化策略实施局部参数优化，将网络参数优化设定于stylegan2主干中更靠近输出端的两个合成模块。
5.如权利要求1至4任一项所述的基于单图像的三维人脸重建及编辑方法，其特征在于，步骤s3具体包括：
6.如权利要求1至5任一项所述的基于单图像的三维人脸重建及编辑方法，其特征在于，步骤s5包括：使用l1、l2损失和感知损失在内的损失函数评估特征差异，并使用潜码和三平面特征正则化损失、身份一致性和非变化区域损失，以增强编辑特征与无关特征间的解耦性；通过潜码正则化损失函数限制潜码的变化，保持编辑过程中的稳定性；执行优...
【专利技术属性】
技术研发人员：王好谦，张东彬，王韦涛，秦明汉，李洋，
申请(专利权)人：深圳市未来媒体技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。