本申请公开了一种脸部异常表情识别方法、装置、电子设备及存储介质，可以应用于云技术、人工智能、智慧交通、车联网等各种场景，该方法包括：获取待识别的脸部图像，对所述脸部图像进行特征提取；根据提取的脸部特征进行全局表情异常识别处理，得到全局表情异常识别结果；所述全局表情异常识别结果指示表情是否异常；根据所述脸部特征进行至少一个关键脸部区域的状态识别处理，得到所述至少一个关键脸部区域的状态识别结果；根据所述全局表情异常识别结果和所述至少一个关键脸部区域的状态识别结果，确定脸部异常表情识别结果。本申请能够准确的进行异常表情脸部的判定，有利于提高封面图的质量。面图的质量。面图的质量。
【技术实现步骤摘要】
一种脸部异常表情识别方法、装置、电子设备及存储介质
[0001]本申请涉及计算机
，特别涉及一种脸部异常表情识别方法、装置、电子设备及存储介质。
技术介绍
[0002]相关技术中，在封面图生产业务中常需要借助于图像中的脸部表情来选取符合要求的封面图。
[0003]然而，相关技术仅可以进行诸如“高兴、伤心、愤怒、恶心、中立”等脸部表情的识别，无法准确的判定该脸部表情是否为异常表情，从而降低了封面图的质量。
技术实现思路
[0004]为了解决现有技术的问题，本申请实施例提供了一种脸部异常表情识别方法、装置、电子设备及存储介质。所述技术方案如下：
[0005]一方面，提供了一种脸部异常表情识别方法，所述方法包括：
[0006]获取待识别的脸部图像，对所述脸部图像进行特征提取；
[0007]根据提取的脸部特征进行全局表情异常识别处理，得到全局表情异常识别结果；所述全局表情异常识别结果指示表情是否异常；
[0008]根据所述脸部特征进行至少一个关键脸部区域的状态识别处理，得到所述至少一个关键脸部区域的状态识别结果；
[0009]根据所述全局表情异常识别结果和所述至少一个关键脸部区域的状态识别结果，确定脸部异常表情识别结果。
[0010]另一方面，提供了一种脸部异常表情识别装置，包括：
[0011]特征提取模块，用于获取待识别的脸部图像，对所述脸部图像进行特征提取；
[0012]全局表情识别模块，用于根据提取的脸部特征进行全局表情异常识别处理，得到全局表情异常识别结果；所述全局表情异常识别结果指示表情是否异常；
[0013]关键脸部区域状态识别模块，用于根据所述脸部特征进行至少一个关键脸部区域的状态识别处理，得到所述至少一个关键脸部区域的状态识别结果；
[0014]结果确定模块，用于根据所述全局表情异常识别结果和所述至少一个关键脸部区域的状态识别结果，确定脸部异常表情识别结果。
[0015]在一个示例性的实施方式中，所述全局表情识别模块包括：
[0016]全局特征确定模块，用于对所述脸部特征进行全局池化，得到全局特征；
[0017]全局表情识别子模块，用于根据所述全局特征进行全局表情异常识别，得到全局表情异常识别结果。
[0018]在一个示例性的实施方式中，所述关键脸部区域状态识别模块包括：
[0019]关键脸部区域特征确定模块，用于从所述脸部特征中，确定每个所述关键脸部区域对应的关键脸部区域特征；
[0020]局部特征确定模块，用于对每个所述关键脸部区域对应的关键脸部区域特征进行池化，得到每个所述关键脸部区域对应的局部特征；
[0021]关键脸部区域状态识别子模块，用于根据每个所述关键脸部区域对应的局部特征进行所述关键脸部区域的状态识别，得到每个所述关键脸部区域的状态识别结果。
[0022]在一个示例性的实施方式中，所述装置还包括：
[0023]样本图像获取模块，用于获取样本脸部图像以及所述样本脸部图像对应的标签信息；所述标签信息表征全局表情分类信息以及所述至少一个关键脸部区域的状态信息；
[0024]模型构建模块，用于构建初始异常表情识别模型；所述初始异常表情识别模型包括初始特征提取网络、初始全局表情异常识别网络和至少一个初始关键脸部区域状态识别网络；
[0025]样本脸部特征提取模块，用于将所述样本脸部图像输入到所述初始异常表情识别模型，通过所述初始特征提取网络对所述样本脸部图像进行特征提取得到样本脸部特征；
[0026]样本结果确定模块，用于将所述样本脸部特征分别输入到所述初始全局表情异常识别网络和所述至少一个初始关键脸部区域状态识别网络，得到输出的样本全局表情异常识别结果和所述至少一个关键脸部区域的样本状态识别结果；
[0027]训练模块，用于根据所述样本脸部图像对应的标签信息、所述样本全局表情异常识别结果和所述至少一个关键脸部区域的样本状态识别结果训练所述初始异常表情识别模型，得到用于所述脸部异常表情识别的异常表情识别模型。
[0028]在一个示例性的实施方式中，所述训练模块，包括：
[0029]第一损失确定模块，用于根据所述标签信息中的全局表情分类信息和所述样本全局表情异常识别结果，确定第一损失；
[0030]第二损失确定模块，用于根据所述标签信息中每个关键脸部区域对应的状态信息和每个所述关键脸部区域对应的样本状态识别结果，确定每个所述关键脸部区域对应的第二损失；
[0031]总损失确定模块，用于根据所述第一损失和每个所述关键脸部区域对应的第二损失确定总损失；
[0032]参数调整模块，用于根据所述总损失调整所述初始异常表情识别模型的模型参数，直至满足预设训练结束条件结束训练。
[0033]在一个示例性的实施方式中，所述结果确定模块，包括：
[0034]预设策略组合信息获取模块，用于获取表征脸部表情异常的预设策略组合信息；所述预设策略组合信息包括预设全局表情类别和所述至少一个关键脸部区域的预设状态；
[0035]表情异常确定模块，用于在所述全局表情异常识别结果与所述预设全局表情类别相匹配，且所述至少一个关键脸部区域的状态识别结果与所述至少一个关键脸部区域的预设状态相匹配时，确定所述脸部异常表情识别结果为表情异常。
[0036]在一个示例性的实施方式中，所述特征提取模块，包括：
[0037]原始图像获取模块，用于获取原始图像，基于所述原始图像中的脸部区域得到原始脸部图像；
[0038]质量参数确定模块，用于确定所述原始脸部图像的质量参数；所述质量参数包括分辨率、清晰度和脸部角度中的一个或者多个的组合；
[0039]对齐处理模块，用于在所述原始脸部图像的质量参数满足预设质量条件的情况下，对所述原始脸部图像进行对齐处理，得到待识别的脸部图像。
[0040]另一方面，提供了一种电子设备，包括处理器和存储器，所述存储器中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程序由所述处理器加载并执行以实现上述的脸部异常表情识别方法。
[0041]另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程序由处理器加载并执行以实现上述的脸部异常表情识别方法。
[0042]另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述的脸部异常表情识别方法。
[0043]本申请实施例通过对待识别的脸部图像进行特征提取，并对提取的脸部特征分别进行粗粒度的全局表情异常识别处理和细粒度的至少一个关键脸部区域的状态识别处理，以得到全局表情异常识别结果和至少一个关键脸部区域的状态识别结果，进而根据该全局表情异常识别结果和至少一个关键脸部区域的状态识别结果确定脸部异常表情识别结果，从而能够准确的进行异常表情脸部的判定，有利本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种脸部异常表情识别方法，其特征在于，所述方法包括：获取待识别的脸部图像，对所述脸部图像进行特征提取；根据提取的脸部特征进行全局表情异常识别处理，得到全局表情异常识别结果；所述全局表情异常识别结果指示表情是否异常；根据所述脸部特征进行至少一个关键脸部区域的状态识别处理，得到所述至少一个关键脸部区域的状态识别结果；根据所述全局表情异常识别结果和所述至少一个关键脸部区域的状态识别结果，确定脸部异常表情识别结果。2.根据权利要求1所述的脸部异常表情识别方法，其特征在于，所述根据提取的脸部特征进行全局表情异常识别处理，得到全局表情异常识别结果包括：对所述脸部特征进行全局池化，得到全局特征；根据所述全局特征进行全局表情异常识别，得到所述全局表情异常识别结果。3.根据权利要求1所述的脸部异常表情识别方法，其特征在于，所述根据所述脸部特征进行至少一个关键脸部区域的状态识别处理，得到所述至少一个关键脸部区域的状态识别结果包括：从所述脸部特征中，确定每个所述关键脸部区域对应的关键脸部区域特征；对每个所述关键脸部区域对应的关键脸部区域特征进行池化，得到每个所述关键脸部区域对应的局部特征；根据每个所述关键脸部区域对应的局部特征进行所述关键脸部区域的状态识别，得到每个所述关键脸部区域的状态识别结果。4.根据权利要求1～3中任一项所述的脸部异常表情识别方法，其特征在于，所述方法还包括：获取样本脸部图像以及所述样本脸部图像对应的标签信息；所述标签信息表征全局表情分类信息以及所述至少一个关键脸部区域的状态信息；构建初始异常表情识别模型；所述初始异常表情识别模型包括初始特征提取网络、初始全局表情异常识别网络和至少一个初始关键脸部区域状态识别网络；将所述样本脸部图像输入到所述初始异常表情识别模型，通过所述初始特征提取网络对所述样本脸部图像进行特征提取得到样本脸部特征；将所述样本脸部特征分别输入到所述初始全局表情异常识别网络和所述至少一个初始关键脸部区域状态识别网络，得到输出的样本全局表情异常识别结果和所述至少一个关键脸部区域的样本状态识别结果；根据所述样本脸部图像对应的标签信息、所述样本全局表情异常识别结果和所述至少一个关键脸部区域的样本状态识别结果训练所述初始异常表情识别模型，得到用于所述脸部异常表情识别的异常表情识别模型。5.根据权利要求4所述的脸部异常表情识别方法，其特征在于，所述根据所述样本脸部图像对应的标签信息、所述样本全局表情异常识别结果和所述至少一个关键脸部区域的样本状态识别结果训练所述初始异常表情识别...
【专利技术属性】
技术研发人员：罗文寒，陈伟聪，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。