人脸模型重建方法、装置、终端设备和存储介质制造方法及图纸

本申请涉及一种人脸模型重建方法、装置、终端设备和存储介质。所述方法包括：从视频序列的多帧采集图像中获取人脸数据，分别将每帧采集图像中的人脸数据与标准姿态模型进行配准，相对于利用不同帧之间的采集图像进行迭代配准，减少了迭代计算部分的计算数据量，也无需要求每次配准均要成功，从而提高了模型重建的鲁棒性。人脸数据与标准姿态模型进行配准后，得到人脸数据对应的人脸姿态；基于人脸姿态在多帧采集图像中确定关键帧图像；基于关键帧图像中的人脸数据重建生成人脸模型。帧图像中的人脸数据重建生成人脸模型。帧图像中的人脸数据重建生成人脸模型。

【技术实现步骤摘要】
人脸模型重建方法、装置、终端设备和存储介质


[0001]本申请涉及计算机视觉
，尤其涉及一种人脸模型重建方法、装置、终端设备和存储介质。

技术介绍

[0002]随着动画基于获取到的人脸图像构建三维人脸模型在很多领域被广泛的应用，例如动画、游戏制作等等。对于人脸模型重建的需求也越来越多，但目前已有的基于RGDB相机的三维人脸重建，需要多个采集设备从不同的角度采集不同姿态的人脸数据，需要的硬件设备较多。
[0003]虽然也有通过单个采集设备采集不同姿态的人脸数据的实现方法，但该实现方法中人脸姿态估计的配准方式是迭代地将当前帧深度点云与前一帧深度点云进行配准融合，该配准方式的计算量较大，且需要保证每次配准均成功，对于人脸模型重建的鲁棒性较差。

技术实现思路

[0004]为了解决上述技术问题，本申请提供了一种人脸模型重建方法、装置、终端设备和存储介质。
[0005]第一方面，本申请提供了一种人脸模型重建方法，包括：
[0006]从视频序列的多帧采集图像中获取人脸数据；
[0007]将所述人脸数据与标准姿态模型进行配准，估计所述人脸数据对应的人脸姿态；
[0008]基于所述人脸姿态在所述多帧采集图像中确定关键帧图像，其中，所述关键帧图像对应的人脸姿态均不相同；
[0009]基于所述关键帧图像中的所述人脸数据，生成人脸模型。
[0010]第二方面，本申请提供了一种人脸模型重建装置，包括：
[0011]获取模块，用于获取视频序列中多帧采集图像中的人脸数据；
[0012]配准模块，用于将所述人脸数据与标准姿态模型进行配准，估计所述人脸数据对应的人脸姿态，其中，所述关键帧图像对应的人脸姿态均不相同；
[0013]确定模块，用于基于所述人脸姿态在所述多帧采集图像中确定关键帧图像；
[0014]生成模块，用于基于所述关键帧图像中的所述人脸数据，生成人脸模型。
[0015]第三方面，本申请提供了一种终端设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0016]从视频序列的多帧采集图像中获取人脸数据；
[0017]将所述人脸数据与标准姿态模型进行配准，估计所述人脸数据对应的人脸姿态；
[0018]基于所述人脸姿态在所述多帧采集图像中确定关键帧图像；
[0019]基于所述关键帧图像中的所述人脸数据，生成人脸模型。
[0020]第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0021]从视频序列的多帧采集图像中获取人脸数据；
[0022]将所述人脸数据与标准姿态模型进行配准，估计所述人脸数据对应的人脸姿态；
[0023]基于所述人脸姿态在所述多帧采集图像中确定关键帧图像；
[0024]基于所述关键帧图像中的所述人脸数据，生成人脸模型。
[0025]基于上述人脸模型重建方法，从视频序列的多帧采集图像中获取人脸数据，分别将每帧采集图像中的人脸数据与标准姿态模型进行配准，相对于利用不同帧之间的采集图像进行迭代配准，减少了迭代计算部分的计算数据量，也无需要求每次配准均要成功，从而提高了模型重建的鲁棒性。人脸数据与标准姿态模型进行配准后，得到人脸数据对应的人脸姿态；基于人脸姿态在多帧采集图像中确定关键帧图像；基于关键帧图像中的人脸数据重建生成人脸模型。
附图说明
[0026]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。
[0027]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0028]图1为一个实施例中人脸模型重建方法的应用环境图；
[0029]图2为一个实施例中人脸模型重建方法的流程示意图；
[0030]图3为一个实施例中模型坐标系示意图；
[0031]图4为一个实施例中人脸模型重建装置的程序模块示意图；
[0032]图5为一个实施例中终端设备的结构图。
具体实施方式
[0033]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0034]图1为一个实施例中人脸模型重建方法的应用环境图。参照图1，该人脸模型重建方法应用于人脸模型重建系统。该人脸模型重建系统包括采集设备110和处理器120。采集设备110和处理器120可集成于同一设备，采集设备110和处理器120可以分别独立设置，亦或者处理器120集成于采集设备110之内，采集设备110和处理器120可通过有线方式或无线方式连接。采集设备110具体可以是3D相机或3D传感器等任意能够采集深度图和彩色图的设备，具体可以为RGBD设备。处理器120可以用独立的处理器120或者是多个处理器120组成的处理器120集群来实现。
[0035]在一个实施例中，图2为一个实施例中一种人脸模型重建方法的流程示意图，参照图2，提供了一种人脸模型重建方法。本实施例主要以该方法应用于上述图1中的采集设备110来举例说明，该人脸模型重建方法具体包括如下步骤：
[0036]步骤S210，从视频序列的多帧采集图像中获取人脸数据。
[0037]在本实施例中，视频序列用于指示一个采集设备110连续扫描获取到的扫描数据，视频序列包括多帧连续的采集图像，对采集图像进行特征提取，并将提取出的人脸特征与预设人脸特征进行匹配计算，在匹配度达到特征阈值时，判定采集图像中存在人脸，将与人脸特征相关的数据作为人脸数据。无需利用多个采集设备110采集不同姿态的人脸数据，减少了使用的硬件设备，从而降低了人脸模型重建的建模成本。
[0038]步骤S220，将人脸数据与标准姿态模型进行配准，估计人脸数据对应的人脸姿态。
[0039]在本实施例中，标准姿态模型用于指示根据多个面部正朝向采集设备110的人脸图像进行深度训练后得到的模型，以标准姿态模型作为参照，基于人脸数据与标准姿态模型之间的配准结果，来确定人脸数据相对于标准姿态模型的人脸姿态，人脸姿态用于指示人脸的五官相对于采集设备110的偏转角度以及人脸的五官状态，偏转角度用于指示人脸是侧脸、仰头或低头等头部偏转状态，五官状态用于指示眼睛睁闭、嘴巴开合等。
[0040]从视频序列的多帧采集图像中获取人脸数据，分别将每帧采集图像中的人脸数据与标准姿态模型进行配准，相对于利用不同帧之间的采本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸模型重建方法，其特征在于，所述方法包括：从视频序列的多帧采集图像中获取人脸数据；将所述人脸数据与标准姿态模型进行配准，估计所述人脸数据对应的人脸姿态；基于所述人脸姿态在所述多帧采集图像中确定关键帧图像，其中，所述关键帧图像对应的人脸姿态均不相同；基于所述关键帧图像中的所述人脸数据，生成人脸模型。2.根据权利要求1所述的方法，其特征在于，所述从视频序列的多帧采集图像中获取人脸数据，包括：基于所述视频序列获取像素对齐的彩色图和深度图；其中，所述采集图像包括所述彩色图和所述深度图；在所述彩色图中检测到人脸时，确定所述人脸在所述彩色图中的位置信息；在所述彩色图中确定与人脸特征相关的所述关键点坐标；将所述关键点坐标和所述深度图中的深度点云作为所述采集图像中的所述人脸数据。3.根据权利要求2所述的方法，其特征在于，所述在所述彩色图中确定与人脸特征相关的所述关键点坐标之后，所述方法还包括：基于所述位置信息和所述深度图的深度信息，确定所述人脸与采集设备之间的距离；在所述距离的数值位于预设距离范围内时，执行所述将所述关键点坐标和所述深度图中的深度点云作为单帧采集图像中的所述人脸数据的步骤。4.根据权利要求3所述的方法，其特征在于，所述将所述人脸数据与标准姿态模型进行配准，估计所述人脸数据对应的人脸姿态，包括：基于所述关键点坐标，确定所述深度点云相对于所述标准姿态模型的旋转矩阵；将所述旋转矩阵转换为模型坐标系下的旋转角度；其中，所述旋转角度用于指示所述人脸姿态。5.根据权利要求4所述的方法，其特征在于，所述基于所述人脸姿态在所述多帧采集图像中确定关键帧图像，包括：基于所述旋转角度中的侧脸角度，确定所述采集图像的采集状态；其中，所述采集状态包括已采集和未采集；在所述采集状态为未采集时，将所述采集图像作为所述关键帧图像。6.根据权利要求5所述的方法，其特征在于，所述基于所述旋转角度中的侧脸角度，确定所述采集图像的采集状态之前，所述方法还包括：确定所述采集图像在所述视频序列中的帧位置；在所述采集图像的帧位置为首帧时，确定所述人脸姿态相对于所述采集设备的朝向状态；其中，所述朝向状态包括正向面对和非正向面对；在所述朝向状态为所述正向面对时，生成指示信息；其中，所述指示信息用于指示所述人脸数据对应的采集对象调整头部姿...

【专利技术属性】
技术研发人员：郭达锋，王琳，
申请(专利权)人：奥比中光科技集团股份有限公司，
类型：发明
国别省市：