本发明专利技术公开了一种人脸表情捕捉方法、装置、存储介质及终端，方法包括：获取待识别人脸图像并提取待识别人脸图像的目标隐式编码；将待识别人脸图像与目标隐式编码输入预先训练的人脸表情捕捉模型中，输出待识别人脸图像对应的人脸表情信息；其中，人脸表情信息是根据人脸表情特征生成的，人脸表情特征是将提取的多种特征进行融合后生成的。由于本申请通过提取多种特征融合成新特征进行模型训练，可以有效提升模型对人脸表情信息的捕捉精度。效提升模型对人脸表情信息的捕捉精度。效提升模型对人脸表情信息的捕捉精度。
【技术实现步骤摘要】
一种人脸表情捕捉方法、装置、存储介质及终端
[0001]本专利技术涉及机器视觉
，特别涉及一种人脸表情捕捉方法、装置、存储介质及终端。
技术介绍
[0002]表情是情绪和情感的外部表现，按基本情绪模型可将表情分为六类：生气、厌恶、恐惧、高兴、悲伤、惊讶。人脸表情识别一直以来都具非常重要的研究意义，在人机交互、公共安全、智能影视等多个领域有着巨大的市场价值。随着机器学习的不断发展，研发人员渴望提升人脸表情信息的捕捉精度。
[0003]在现有技术方案中，有利用人脸2d/3d关键点做驱动的，但因为人脸在整个图像中的占比较小,且因为运动模糊,遮挡等问题很常见,导致关键点检测的准确度和稳定度有限。有对人脸进行建模然后通过深度学习回归表情参数的，但因为建模精度不够，表情特征空间覆盖有限，导致存在着表情不准确，表情程度不够的问题，同时在各种自然场景下的稳定性，从而降低了人脸表情信息的捕捉精度。
技术实现思路
[0004]本申请实施例提供了一种人脸表情捕捉方法、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
[0005]第一方面，本申请实施例提供了一种人脸表情捕捉方法，方法包括：
[0006]获取待识别人脸图像并提取待识别人脸图像的目标隐式编码；
[0007]将待识别人脸图像与目标隐式编码输入预先训练的人脸表情捕捉模型中，输出待识别人脸图像对应的人脸表情信息；其中，
[0008]人脸表情信息是根据人脸表情特征生成的，人脸表情特征是将提取的多种特征进行融合后生成的。
[0009]可选的，获取待识别人脸图像并提取待识别人脸图像的目标隐式编码，包括：
[0010]获取待识别人脸图像；
[0011]采用元学习器在预先生成的随机隐式编码矩阵中提取待识别人脸图像的目标隐式编码。
[0012]可选的，按照以下步骤得到预先生成的随机隐式编码矩阵，包括：
[0013]采集人脸表情数据；
[0014]计算人脸表情数据的先验分布；
[0015]根据先验分布构建随机隐式编码矩阵。
[0016]可选的，预先训练的人脸表情捕捉模型包括通用特征提取模块、身份ID提取模块、表情提取模块、表情优化模块、头部姿态提取模块以及融合模块；
[0017]将待识别人脸图像与目标隐式编码输入预先训练的人脸表情捕捉模型中，输出待识别人脸图像对应的人脸表情信息，包括：
[0018]将待识别人脸图像输入通用特征提取模块中，输出待识别人脸图像的特征空间；
[0019]采用目标隐式编码以及身份ID提取模块从特征空间中提取待识别人脸图像对应的身份ID特征；
[0020]采用表情提取模块以及表情优化模块从特征空间中提取待识别人脸图像对应的最终表情特征；
[0021]采用头部姿态提取模块从特征空间中提取待识别人脸图像对应的头部姿态特征；
[0022]将身份ID特征、最终表情特征以及头部姿态特征输入融合模块中进行特征融合，输出待识别人脸图像对应的人脸表情特征；
[0023]根据人脸表情特征恢复待识别人脸图像对应的人脸表情信息。
[0024]可选的，采用表情提取模块以及表情优化模块从特征空间中提取待识别人脸图像对应的最终表情特征，包括：
[0025]采用表情提取模块从特征空间中提取待识别人脸图像对应的不同人脸区域的区域特征；
[0026]获取与待识别人脸图像所关联的多张不同光照条件下的自然表情图像；
[0027]采用表情优化模块提取多张不同光照条件下的自然表情图像的自然表情特征；
[0028]根据不同人脸区域的区域特征与提取的自然表情特征确定待识别人脸图像对应的最终表情特征。
[0029]可选的，根据不同人脸区域的区域特征与提取的自然表情特征确定待识别人脸图像对应的最终表情特征，包括：
[0030]将不同人脸区域的区域特征与提取的自然表情特征进行特征融合，得到第一特征；
[0031]对多张不同光照条件下的自然表情图像进行表情编码操作，得到第二特征；
[0032]将第一特征与第二特征进行差值计算，得到待识别人脸图像对应的最终表情特征。
[0033]可选的，按照以下步骤生成预先训练的人脸表情捕捉模型，包括：
[0034]采集并标注多个人脸表情数据，得到标注后的人脸表情数据；
[0035]对标注后的人脸表情数据进行数据增强，得到增强数据；
[0036]创建人脸表情捕捉模型；
[0037]获取增强数据中每个数据的隐式编码；
[0038]将增强数据中每个数据以及与其对应的隐式编码依次输入人脸表情捕捉模型中进行模型训练，输出模型损失值；
[0039]当模型损失值到达最小时，生成预先训练的人脸表情捕捉模型。
[0040]第二方面，本申请实施例提供了一种人脸表情捕捉装置，装置包括：
[0041]隐式编码获取模块，用于获取待识别人脸图像并提取待识别人脸图像的目标隐式编码；
[0042]人脸表情信息输出模块，用于将待识别人脸图像与目标隐式编码输入预先训练的人脸表情捕捉模型中，输出待识别人脸图像对应的人脸表情信息；其中，
[0043]人脸表情信息是根据人脸表情特征生成的，人脸表情特征是将提取的多种特征进行融合后生成的。
[0044]第三方面，本申请实施例提供一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行上述的方法步骤。
[0045]第四方面，本申请实施例提供一种终端，可包括：处理器和存储器；其中，存储器存储有计算机程序，计算机程序适于由处理器加载并执行上述的方法步骤。
[0046]本申请实施例提供的技术方案可以包括以下有益效果：
[0047]在本申请实施例中，人脸表情捕捉装置首先获取待识别人脸图像并提取待识别人脸图像的目标隐式编码，然后将待识别人脸图像与目标隐式编码输入预先训练的人脸表情捕捉模型中，输出待识别人脸图像对应的人脸表情信息；其中，人脸表情信息是根据人脸表情特征生成的，人脸表情特征是将提取的多种特征进行融合后生成的。由于本申请通过提取多种特征融合成新特征进行模型训练，可以有效提升模型对人脸表情信息的捕捉精度。
[0048]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。
附图说明
[0049]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。
[0050]图1是本申请实施例提供的一种人脸表情捕捉方法的流程示意图；
[0051]图2是本申请实施例提供的一种人脸表情捕捉过程的过程示意框图；
[0052]图3是本申请实施例本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种人脸表情捕捉方法，其特征在于，所述方法包括：获取待识别人脸图像并提取待识别人脸图像的目标隐式编码；将所述待识别人脸图像与所述目标隐式编码输入预先训练的人脸表情捕捉模型中，输出所述待识别人脸图像对应的人脸表情信息；其中，所述人脸表情信息是根据人脸表情特征生成的，所述人脸表情特征是将提取的多种特征进行融合后生成的。2.根据权利要求1所述的方法，其特征在于，所述获取待识别人脸图像并提取待识别人脸图像的目标隐式编码，包括：获取待识别人脸图像；采用元学习器在预先生成的随机隐式编码矩阵中提取待识别人脸图像的目标隐式编码。3.根据权利要求2所述的方法，其特征在于，按照以下步骤得到预先生成的随机隐式编码矩阵，包括：采集人脸表情数据；计算所述人脸表情数据的先验分布；根据所述先验分布构建随机隐式编码矩阵。4.根据权利要求1所述的方法，其特征在于，所述预先训练的人脸表情捕捉模型包括通用特征提取模块、身份ID提取模块、表情提取模块、表情优化模块、头部姿态提取模块以及融合模块；所述将所述待识别人脸图像与所述目标隐式编码输入预先训练的人脸表情捕捉模型中，输出所述待识别人脸图像对应的人脸表情信息，包括：将所述待识别人脸图像输入所述通用特征提取模块中，输出待识别人脸图像的特征空间；采用所述目标隐式编码以及所述身份ID提取模块从所述特征空间中提取所述待识别人脸图像对应的身份ID特征；采用所述表情提取模块以及所述表情优化模块从所述特征空间中提取所述待识别人脸图像对应的最终表情特征；采用所述头部姿态提取模块从所述特征空间中提取所述待识别人脸图像对应的头部姿态特征；将所述身份ID特征、最终表情特征以及所述头部姿态特征输入所述融合模块中进行特征融合，输出所述待识别人脸图像对应的人脸表情特征；根据所述人脸表情特征恢复所述待识别人脸图像对应的人脸表情信息。5.根据权利要求4所述的方法，其特征在于，所述采用所述表情提取模块以及所述表情优化模块从所述特征空间中提取所述待识别人脸图像对应的最终表情特征，包括：采用所述表情提取模块从特征空间中提取所述待识别人脸图像对应的不同人脸区域的区...
【专利技术属性】
技术研发人员：赵天奇，段盼，巴君，渠源，
申请(专利权)人：北京聚力维度科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。