实时人脸图像驱动方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例涉及图像处理领域，公开了一种实时人脸图像驱动方法、装置、电子设备及存储介质，方法包括：对当前采集到的视频帧进行人脸检测；在当前检测的视频帧中，确定出目标人脸所在区域的人脸检测框；对确定出的所述人脸检测框进行平滑处理；对经平滑处理后的所述人脸检测框的所在区域进行人脸特征的提取，并基于提取的所述人脸特征进行2D人脸图像的驱动，实现使用者的面部不必始终保持在既定的采集窗口内，也能实现稳定有效的驱动效果。也能实现稳定有效的驱动效果。也能实现稳定有效的驱动效果。

【技术实现步骤摘要】
实时人脸图像驱动方法、装置、电子设备及存储介质


[0001]本专利技术涉及图像处理领域，尤其涉及一种实时人脸图像驱动方法、装置、电子设备及存储介质。

技术介绍

[0002]基于2D图像的实时人脸驱动技术在当前的生产生活中有很多典型的应用场景与应用潜力。人脸驱动技术可以适用于娱乐、美妆、短视频等类别的应用程序，增加应用程序的趣味性与可玩性；可嵌入视频会议系统用于超低带宽的视频会议带宽压缩；也可用于银行的远程虚拟客服系统，提供统一、高质量的客服形象。人脸驱动技术可以分为3D人脸驱动与2D图像人脸驱动两种。其中3D人脸驱动方法通常采集使用者的头部和面部的3D信息，对目标形象进行3D建模，解耦头部姿态参数与人脸表情参数并映射到目标形象上。相较而言，基于图像的2D人脸驱动技术的应用场景更加广泛，通常使用2D视频采集设备采集使用者的面部表情及姿态特征，通过对抗生成网络生成所要驱动的目标形象。
[0003]虽然基于图像的2D人脸驱动方案的成本更低，应用场景更加丰富，但是生成效果鲁棒性较差，应用场景限制多。主要是由于目前的2D人脸驱动算法的限制，通常将视频采集设备固定，并要求使用者的面部区域要始终保持在在既定的采集窗口内，若接近采集窗口边缘或者超出采集窗口，会导致无法实现稳定有效的实时驱动效果。这无疑会增加长时间使用下的不适感和劳累感，同时限制了应用场景。此外，采用固定采集窗口的方式，由于使用者难免会有轻微的抖动或者偏移，经过生成网络的放大效应，会导致实时生成图像的抖动甚至是跳变，严重影响观感。

技术实现思路

>[0004]本专利技术的目的在于解决上述问题，提供一种实时人脸图像驱动方法、装置、电子设备及存储介质，实现使用者的面部不必始终保持在既定的采集窗口内，也能实现生稳定有效的驱动效果，从而可以放宽对使用者人脸位置的约束条件，实现高鲁棒性的大范围人脸驱动。
[0005]为解决上述问题，本申请的实施例提供了一种实时人脸图像驱动方法，包括：对当前采集到的视频帧进行人脸检测；在当前检测的视频帧中，确定出目标人脸所在区域的人脸检测框；对确定出的人脸检测框进行平滑处理；对经平滑处理后的人脸检测框的所在区域进行人脸特征的提取，并基于提取的人脸特征进行2D人脸图像的驱动。
[0006]为解决上述问题，本申请的实施例提供了一种实时人脸图像驱动装置，包括：人脸检测模块，用于对当前采集到的视频帧进行人脸检测；人脸检测框获取模块，用于在当前检测的视频帧中，确定出目标人脸所在区域的人脸检测框；平滑模块，用于对确定出的人脸检测框进行平滑处理；驱动模块，用于对经平滑处理后的人脸检测框的所在区域进行人脸特征的提取，并基于提取的人脸特征进行2D人脸图像的驱动。
[0007]为解决上述问题，本申请的实施例还提供了一种电子设备，包括：至少一个处理
器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述实时人脸图像驱动方法。
[0008]为解决上述问题，本申请的实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述实时人脸图像驱动方法。
[0009]在本申请实施例中，通过对视频帧进行逐帧的人脸检测，确定每一帧的人脸所在区域的人脸检测框，并对人脸检测框进行平滑处理，对平滑处理后的人脸检测框的所在区域进行人脸特征提取，最后根据上述人脸特征对目标图像进行驱动，使得使用者的面部区域无需始终保持在既定的采集窗口内，扩展了使用者面部特征采集区域范围，即可以允许用户在采集设备可视区域内较灵活的选择位置，而不必局限在某一固定区域，从而放宽了对使用者人脸位置的约束条件，实现高鲁棒性的大范围人脸驱动，提升了用户体验，降低了用户长时间使用的疲劳。而且通过对人脸检测框的平滑处理，保证了人脸驱动生成效果不会因此出现抖动和跳变的情况，连续帧的观感上更具延续性和真实感。
附图说明
[0010]图1是本申请的一实施例提供的人脸图像驱动方法流程；
[0011]图2a是相关技术中的人脸图像驱动方法的人脸采集方案示意图；
[0012]图2b是本申请的一实施例提供的人脸图像驱动方法的人脸采集方案示意图；
[0013]图3是本申请的一实施例提供的人脸图像驱动方法中的平滑防抖算法流程图；
[0014]图4是本申请的一实施例提供的实现人脸图像驱动方法的模块示意图；
[0015]图5是本申请的一实施例提供的人脸图像驱动方法应用于银行远程数字虚拟客服实时服务系统的流程图；
[0016]图6是本申请的一实施例提供的人脸图像驱动方法应用于移动APP视频通话隐私加密功能的流程图；
[0017]图7是本申请的一实施例提供的人脸图像驱动装置的结构示意图；
[0018]图8是本申请的一实施例提供的电子设备的结构示意图。
具体实施方式
[0019]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
[0020]本申请的一实施例涉及一种实时人脸图像驱动方法，包括：对当前采集到的视频帧进行人脸检测；在当前检测的视频帧中，确定出目标人脸所在区域的人脸检测框；对确定出的人脸检测框进行平滑处理；对经平滑处理后的人脸检测框的所在区域进行人脸特征的提取，并基于提取的人脸特征进行2D人脸图像的驱动。实现使用者的面部不必始终保持在既定的采集窗口内，也能实现生稳定有效的驱动效果，从而可以放宽对使用者人脸位置的约束条件，实现高鲁棒性的大范围人脸驱动。
[0021]下面对本实施例中的实时人脸图像驱动方法的实现细节进行具体的说明，以下内
容仅为方便理解本方案的实现细节，并非实施本方案的必须。具体流程如图1所示，至少包括但不限于如下步骤：
[0022]在步骤101中，对当前采集到的视频帧进行人脸检测。
[0023]在一个例子中，终端在对采集到的视频帧进行人脸检测之前，终端还可以对当前采集到的视频帧进行去噪处理，消除视频中的噪声。
[0024]在一个例子中，终端对每一视频帧进行平滑处理，即终端在人脸检测算法的第一层位置增加平滑层(如高斯滤波)；然后终端通过人脸检测算法对经平滑处理后的视频帧进行人脸识别。
[0025]上述通过在人脸检测算法第一层位置增加平滑层，有利于降低外界光照等因素在时序上的变化造成的干扰，减少对人脸检测框位置回归的影响，使得到的人脸检测框的位置更加准确。
[0026]在步骤102中，在当前检测的视频帧中，确定出目标人脸所在区域的人脸检测框。
[0027]在一个例子中，在确定出目标人脸所在区域的人脸检测框之前，在终端检测到人脸检测框的数量大于1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时人脸图像驱动方法，其特征在于，包括：对当前采集到的视频帧进行人脸检测；在当前检测的视频帧中，确定出目标人脸所在区域的人脸检测框；对确定出的所述人脸检测框进行平滑处理；对经平滑处理后的所述人脸检测框的所在区域进行人脸特征的提取，并基于提取的所述人脸特征进行2D人脸图像的驱动。2.根据权利要求1所述的实时人脸图像驱动方法，其特征在于，在所述确定出目标人脸所在区域的人脸检测框之前，还包括：在检测到的所述人脸检测框数量大于1的情况下，根据所述人脸检测框的大小，保留最大的N个所述人脸检测框，其中，N为大于0的自然数；将所述N个人脸检测框内的人脸与使用者的预设人脸进行比较，保留相似度最高的所述人脸检测框。3.根据权利要求1所述的实时人脸图像驱动方法，其特征在于，所述对确定出的所述人脸检测框进行平滑处理，包括：获取相邻两帧的所述人脸检测框的交并比IOU值；在所述IOU值大于预设值的情况下，保持所述人脸检测框的坐标不变；在所述IOU值小于或等于所述预设值的情况下，根据所述IOU值和预设的固定常量，更新所述人脸检测框的坐标。4.根据权利要求3所述的实时人脸图像驱动方法，其特征在于，所述预设的固定常量包括：N个常量，不同常量分别与不同的IOU值区间范围相对应：所述根据所述IOU值和预设的固定常量，更新所述人脸检测框的坐标，包括：根据所述IOU值所属的区间范围获取对应的固定常量；其中，所述固定常量与IOU值区间范围的对应关系预先设定；将所述固定常量与相邻两帧的所述人脸检测框的坐标差相乘得到偏移量，再将所述偏移量与所述人脸检测框的原坐标值相加得到更新后的所述人脸检测框的坐标。5.根据权利要求1所述的实时人脸图像驱动方法，其特征在于，在所述对经平滑处理后的所述人脸检测框的所在区域进行人脸特征的提取之前，还包...

【专利技术属性】
技术研发人员：张子文，贾霞，申光，侯春华，刘明，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：