人脸图像处理方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种人脸图像处理方法、装置、电子设备及存储介质，涉及图像处理、增强现实、计算机视觉、深度学习等技术领域。方法包括：获取待处理人脸图像的三维人脸模型，三维人脸模型包括多个网格节点；确定三维人脸模型的待变换区域；获取标准三维人脸模型和标准风格化人脸模型之间的刚性变换关系；基于刚性变换关系对待变换区域进行处理，得到待处理人脸图像对应的风格化人脸模型。本公开技术方案，基于标准三维人脸模型和标准风格化人脸模型之间的刚性变换关系，对待处理人脸图像的待变换区域进行处理，这样得到的风格化人脸模型，在保持风格化人脸模型总体风格的前提下，极大地提升了风格化人脸模型与待处理人脸图像的相似度。相似度。相似度。

【技术实现步骤摘要】
人脸图像处理方法、装置、电子设备及存储介质


[0001]本公开涉及计算机
，尤其涉及图像处理、增强现实、计算机视觉、深度学习等领域。

技术介绍

[0002]随着人们生活内容逐渐数字化虚拟化，以及数字世界和数字孪生等概念的深入人心，虚拟现实和增强现实的应用需求必将出现井喷。虚拟形象作为数字世界中人的重要代理形式，其个性化生产目前还主要依赖于设计师定制，成本较高。一般来讲，生产一个低品质的代理模型需要数万的成本，如果定制高精度模型的话，比如，针对某个具体人物制作相似度较高的数字主持人等，成本一般都在100万左右。
[0003]为了降低成本，现有技术中的个性化虚拟形象解决方案，一般包括人脸重建和重建结果风格化两个过程。虽然人脸重建过程可以还原出照片人脸的形状，但后续的风格化模型生成过程由于需要展现诸如大眼睛、小鼻子等的风格特征，天然地就会弱化原始图像的人脸特征。因此，需要一种能够保持原始人脸特征的风格化模型生成方法。

技术实现思路

[0004]本公开提供了一种人脸图像处理方法、装置、电子设备及存储介质。
[0005]根据本公开的一方面，提供了一种人脸图像处理方法，包括：
[0006]获取待处理人脸图像的三维人脸模型，三维人脸模型包括多个网格节点；
[0007]确定三维人脸模型的待变换区域；
[0008]获取标准三维人脸模型和标准风格化人脸模型之间的刚性变换关系；
[0009]基于刚性变换关系对待变换区域进行处理，得到待处理人脸图像对应的风格化人脸模型。<br/>[0010]根据本公开的另一方面，提供了一种人脸图像处理装置，包括：
[0011]模型获取模块，用于获取待处理人脸图像的三维人脸模型，三维人脸模型包括多个网格节点；
[0012]区域确定模块，用于确定三维人脸模型的待变换区域；
[0013]关系获取模块，用于获取标准三维人脸模型和标准风格化人脸模型之间的刚性变换关系；
[0014]模型生成模块，用于基于刚性变换关系对待变换区域进行处理，得到待处理人脸图像对应的风格化人脸模型。
[0015]根据本公开的另一方面，提供了一种电子设备，包括：
[0016]至少一个处理器；以及
[0017]与该至少一个处理器通信连接的存储器；其中，
[0018]该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的方法。
[0019]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。
[0020]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开任一实施例中的方法。
[0021]本公开技术方案提供的人脸图像处理方法、装置、电子设备及存储介质，基于标准三维人脸模型和标准风格化人脸模型之间的刚性变换关系，对待处理人脸图像的待变换区域进行处理，这样得到的风格化人脸模型，在保持风格化人脸模型总体风格的前提下，极大地提升了风格化人脸模型与待处理人脸图像的相似度。同时，基于待处理人脸图像的三维人脸模型，即可自动完成风格化人脸模型的生成，从而降低了多风格虚拟形象的素材适配成本。
[0022]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0023]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0024]图1为本公开一实施例中人脸图像处理方法的示意图；
[0025]图2为本公开一实施例中确定三维人脸模型的待变换区域的示意图；
[0026]图3为本公开一实施例中人脸图像处理方法的示意图；
[0027]图4为本公开一实施例中人脸图像处理方法的示意图；
[0028]图5为本公开一实施例中人脸图像处理方法的示意图；
[0029]图6为本公开一实施例中人脸图像处理方法的示意图；
[0030]图7为本公开一实施例中人脸图像处理装置的示意图；
[0031]图8为本公开一实施例中关系获取模块的示意图；
[0032]图9是用来实现本公开实施例的人脸图像处理方法的电子设备的框图。
具体实施方式
[0033]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0034]本公开技术方案，为了让生成的个性化虚拟形象既有原始照片中的人脸特征，又能够具备虚拟形象统一的风格化特征，同时也为了降低新风格虚拟形象对虚拟形象自动建模系统的接入成本，提供了一种能够保持原始人脸特征的生成风格化模型的解决方案。
[0035]需要说明的是，本公开技术方案的各实施例中涉及的人脸图像处理方法的执行主体服务器可以通过各种公开、合法合规的方式获取人脸图像，例如可以是从公开数据集处获取的，或者是经过了用户的授权从用户处获取的。
[0036]本公开技术方案的各实施例中涉及的三维人脸模型、标准三维人脸模型和标准风格化人脸模型包含了人脸图像指示的用户的人脸信息，但三维人脸模型、标准三维人脸模型和标准风格化人脸模型的构建是在经用户授权后执行的，其构建过程符合相关法律法
规。
[0037]本公开的执行主体可以是任一电子设备，例如，服务器、终端设备。以下将详细介绍本公开实施例中的人脸图像处理方法。
[0038]图1为本公开一实施例中人脸图像处理方法的示意图。如图1所示，人脸图像处理方法可以包括：
[0039]步骤S101，获取待处理人脸图像的三维人脸模型，三维人脸模型包括多个网格节点；
[0040]本实施例以服务器为执行主体。服务器获取到二维的待处理人脸图像后，提取待处理人脸图像的特征，根据提取到的特征，以及二维图像到三维模型的对应关系，对二维人脸图像进行重建，得到三维人脸模型，三维人脸模型包括多个网格节点，每个网格节点的位置可以通过一个三维坐标来表示。
[0041]服务器获取二维的待处理人脸图像的具体方式可以包括但不限于在预设图像数据库中获取，也可以接收用户终端发送的人脸图像，还可以通过其他方式获取人脸图像，本申请对此不做限定。
[0042]步骤S102，确定三维人脸模型的待变换区域；
[0043]其中，待变换区域可以是三维人脸模型中能够反映出人脸特征的区域，可以是一个区域，也可以是两个或者两个以上区域，可以根据具体需要来配置待变换区域的具体位置和数量。
[0044]步骤S103，获取标准三维人脸模型和标准风格化人脸模型之间的刚性变换关系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸图像处理方法，所述方法包括：获取待处理人脸图像的三维人脸模型，所述三维人脸模型包括多个网格节点；确定所述三维人脸模型的待变换区域；获取标准三维人脸模型和标准风格化人脸模型之间的刚性变换关系；基于所述刚性变换关系对所述待变换区域进行处理，得到所述待处理人脸图像对应的风格化人脸模型。2.根据权利要求1所述的方法，其中，所述获取标准三维人脸模型和标准风格化人脸模型之间的刚性变换关系，包括：按照相同方式分别将所述标准三维人脸模型和所述标准风格化人脸模型划分为多个区域，每个区域包括多个网格节点；分别将所述标准三维人脸模型的每个区域作为当前区域，确定所述当前区域的网格节点到所述标准风格化人脸模型的对应区域的网格节点的刚性变换，得到所述当前区域对应的刚性变换矩阵。3.根据权利要求2所述的方法，其中，所述按照相同方式分别将所述标准三维人脸模型和所述标准风格化人脸模型划分为多个区域，包括：分别基于所述标准三维人脸模型和所述标准风格化人脸模型中的五官的位置，将所述标准三维人脸模型和所述标准风格化人脸模型划分为多个区域。4.根据权利要求1所述的方法，其中，所述确定所述三维人脸模型的待变换区域，包括：基于所述三维人脸模型中的五官的位置，确定所述三维人脸模型的待变换区域。5.根据权利要求3或4所述的方法，其中，所述五官的位置包括以下至少一种：左眉毛、右眉毛、左眼睛、右眼睛、鼻子、嘴巴、脸颊和头盖各自对应的位置。6.根据权利要求1所述的方法，其中，所述基于所述刚性变换关系对所述待变换区域进行处理，得到所述待处理人脸图像对应的风格化人脸模型，包括：基于所述刚性变换关系对所述待变换区域进行变换；确定所述变换后的三维人脸模型中的所述待变换区域和非待变换区域的交界区域，对所述交界区域进行平滑处理，得到所述待处理人脸图像对应的风格化人脸模型。7.根据权利要求6所述的方法，其中，所述对所述交界区域进行平滑处理，得到所述待处理人脸图像对应的风格化人脸模型，包括：利用拉普拉斯光顺算法对所述交界区域进行平滑处理，得到所述待处理人脸图像对应的风格化人脸模型。8.一种人脸图像处理装置，所述装置包括：模型获取模块，用于获取待处理人脸图像的三维人脸模型，所述三维人脸模型包括多个网格节点；区域确定模块，用于确定所述三维人脸模型的待变换区域；关系获取模块，用于获取标准三维人脸模型和标准风格化人脸模型之间的刚性变换关系；模型生成模块，用于基于所...

【专利技术属性】
技术研发人员：陈睿智，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：