一种多角度人脸表情识别的方法及装置、设备及存储介质制造方法及图纸

本申请涉及一种多角度人脸表情识别的方法及装置、设备及存储介质，方法包括：构建神经网络模型以及人脸表情图像训练库；根据所述可变换卷积模块以及所述多角度人脸表情图像训练数据，获取多角度人脸表情图像训练数据的输出特征图；根据所述注意力模块以及所述多角度人脸表情图像训练数据的输出特征图，对所述神经网络模型进行若干次训练，获得若干个训练后的神经网络模型；根据预设的准确率计算算法，从所述若干个训练后的神经网络模型中获得准确率最高的神经网络模型，作为最佳神经网络模型；获得用户的识别指令，所述识别指令包括预识别的人脸表情图像，根据所述预识别的人脸表情图像以及所述最佳神经网络模型，获得人脸表情识别结果。情识别结果。情识别结果。

【技术实现步骤摘要】
一种多角度人脸表情识别的方法及装置、设备及存储介质


[0001]本专利技术涉及图像处理领域，特别涉及一种多角度人脸表情识别的方法及装置、设备及存储介质。

技术介绍

[0002]人脸作为人体重要组成部分之一，其表现的特征在交流过程中蕴含着大量的信息。其中人脸表情是人表达自身情绪的重要方法之一，心理学家Mehrabiadu指出人脸表情在人们交流的过程中传达了55％的有用信息，而语言传达的有用信息仅占7％。通过人脸表情识别技术，能够进一步提升人机交互水平，在教育，心理诊断，公共安全等领域具有广泛应用前景。
[0003]当前自然环境下采集的人脸，会有侧脸，光照，遮挡等影响表情识别的不利因素，使得一张图片中用于表情识别的有效人脸范围各不相同。针对这一问题，目前的技术方案是先对人脸图片进行人脸检测、人脸矫正后，再利用卷积神经网络进行情感分类，但是该类方法需要对图像进行一系列预处理，操作较为繁琐。

技术实现思路

[0004]基于此，本专利技术提供一种多角度人脸表情识别的方法及装置、设备及存储介质，通过在神经网络模型中引入可变换卷积模型以及注意力模型，能够对人脸图像的侧脸进行表情识别，实现了多角度的人脸表情识别，通过对神经网络模型进行若干次训练，提高了多角度的人脸表情识别的准确率，同时能够减少预处理操作，提高了人脸表情识别的效率。该技术方法如下：
[0005]第一方面，本申请实施例提供了一种多角度人脸表情识别的方法，包括以下步骤：
[0006]构建神经网络模型以及人脸表情图像训练库，其中，所述神经网络模型包括可变换卷积模块以及注意力模块；所述人脸表情图像训练库包括多角度人脸表情图像训练数据；
[0007]根据所述可变换卷积模块以及所述多角度人脸表情图像训练数据，获取多角度人脸表情图像训练数据的输出特征图；
[0008]根据所述注意力模块以及所述多角度人脸表情图像训练数据的输出特征图，对所述神经网络模型进行若干次训练，获得若干个训练后的神经网络模型；
[0009]根据预设的准确率计算算法，从所述若干个训练后的神经网络模型中获得准确率最高的神经网络模型，作为最佳神经网络模型；
[0010]获得用户的识别指令，所述识别指令包括预识别的人脸表情图像，根据所述预识别的人脸表情图像以及所述最佳神经网络模型，获得人脸表情识别结果。
[0011]第二方面，本申请实施例提供了一种多角度人脸表情识别的装置，包括：
[0012]构建单元，用于构建神经网络模型以及人脸表情图像训练库，其中，所述神经网络模型包括可变换卷积模块以及注意力模块；所述人脸表情图像训练库包括多角度人脸表情
图像训练数据；
[0013]特征提取单元，用于根据所述可变换卷积模块以及所述多角度人脸表情图像训练数据，获取多角度人脸表情图像训练数据的输出特征图；
[0014]训练单元，用于根据所述注意力模块以及所述多角度人脸表情图像训练数据的输出特征图，对所述神经网络模型进行若干次训练，获得若干个训练后的神经网络模型；
[0015]计算单元，用于根据预设的准确率计算算法，从所述若干个训练后的神经网络模型中获得准确率最高的神经网络模型，作为最佳神经网络模型；
[0016]识别单元，用于获得用户的识别指令，所述识别指令包括预识别的人脸表情图像，根据所述预识别的人脸表情图像以及所述最佳神经网络模型，获得人脸表情识别结果。
[0017]第三方面，本申请实施例提供了一种设备，包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述计算机程序被所述处理器执行时实现如第一方面所述的多角度人脸表情识别的方法的步骤。
[0018]第四方面，本申请实施例提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的多角度人脸表情识别的方法的步骤。
[0019]在本申请的实施例中，通过在神经网络模型中引入可变换卷积模型以及注意力模型，能够对人脸图像的侧脸进行表情识别，实现了多角度的人脸表情识别，通过对神经网络模型进行若干次训练，提高了多角度的人脸表情识别的准确率，同时能够减少预处理操作，提高了人脸表情识别的效率。
[0020]为了更好地理解和实施，下面结合附图详细说明本专利技术。
附图说明
[0021]图1为本申请一个实施例提供的多角度人脸表情识别的方法的流程示意图；
[0022]图2为本申请一个实施例提供的多角度人脸表情识别的方法的ResNet18神经网络结构的部分结构图；
[0023]图3为本申请一个实施例提供的多角度人脸表情识别的方法的注意力模块模块的结构示意图；
[0024]图4为本申请一个实施例提供的多角度人脸表情识别的方法中S1的流程示意图；
[0025]图5为本申请一个实施例提供的多角度人脸表情识别的方法中S2的流程示意图；
[0026]图6为本申请一个实施例提供的多角度人脸表情识别的方法中S3的流程示意图；
[0027]图7为本申请一个实施例提供的多角度人脸表情识别的方法中S301的流程示意图；
[0028]图8为本申请一个实施例提供的多角度人脸表情识别的方法中S4的流程示意图；
[0029]图9为本申请一个实施例提供的多角度人脸表情识别装置的结构示意图；
[0030]图10为本申请一个实施例提供的设备的结构示意图。
具体实施方式
[0031]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例
中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0032]在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0033]应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”/“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0034]请参阅图1，图1为本申请一个实施例提供的多角度人脸表情识别的方法的流程示意图，所述方法包括如下步骤：
[0035]S1：构建神经网络模型以及人脸表情图像训练库，其中，所述神经网络模型包括可变换卷积模块以及注意力模块；所述人脸表情图像训练库包括多角度人脸表情图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多角度人脸表情识别的方法，其特征在于，包括步骤：构建神经网络模型以及人脸表情图像训练库，其中，所述神经网络模型包括可变换卷积模块以及注意力模块；所述人脸表情图像训练库包括多角度人脸表情图像训练数据；根据所述可变换卷积模块以及所述多角度人脸表情图像训练数据，获取多角度人脸表情图像训练数据的输出特征图；根据所述注意力模块以及所述多角度人脸表情图像训练数据的输出特征图，对所述神经网络模型进行若干次训练，获得若干个训练后的神经网络模型；根据预设的准确率计算算法，从所述若干个训练后的神经网络模型中获得准确率最高的神经网络模型，作为最佳神经网络模型；获得用户的识别指令，所述识别指令包括预识别的人脸表情图像，根据所述预识别的人脸表情图像以及所述最佳神经网络模型，获得人脸表情识别结果。2.根据权利要求1所述的多角度人脸表情识别的方法，其特征在于，所述构建神经网络模型以及人脸表情图像训练库，其中，所述神经网络模型包括可变换卷积模块以及注意力模块；所述人脸表情图像训练库包括多角度人脸表情图像训练数据，包括步骤：对所述多角度人脸表情图像训练数据进行预处理；其中，所述预处理步骤包括格式标准化步骤、角度旋转步骤、水平翻转步骤以及亮度改变步骤的一种或多种。3.根据权利要求2所述的多角度人脸表情识别的方法，其特征在于，所述根据所述可变换卷积模块以及所述多角度人脸表情图像训练数据，获取多角度人脸表情图像训练数据的输出特征图，包括步骤：根据所述可变换卷积模块以及所述多角度人脸表情图像训练数据，获得所述多角度人脸表情图像训练数据的每个像素的偏移量；根据所述每个像素的偏移量以及预设的特征提取算法，获取多角度人脸表情图像训练数据的特征，从而获取多角度人脸表情图像训练数据的输出特征图，其中，所述特征提取算法为：其中，y1(p
c
)为对应p
c
像素点下的可变形卷积输出，w(p
n
)为对应像素点的卷积模板值，Δp
n
为偏移坐标量。4.根据权利要求3所述的多角度人脸表情识别的方法，其特征在于，所述根据所述注意力模块以及所述多角度人脸表情图像训练数据的输出特征图，对所述神经网络模型进行若干次训练，获得若干个训练后的神经网络模型，包括步骤：根据所述注意力模块以及所述多角度人脸表情图像训练数据的输出特征图，获得所述多角度人脸表情图像训练数据的输出值；根据所述输出值以及预设的学习率衰减策略，对所述神经网络模型进行若干次训练，获得若干个训练后的神经网络模型。5.根据权利要求1至4任一项所述的多角度人脸表情识别的方法，其特征在于，所述注意力模块包括平均化层、卷积层以及训练层。6.根据权利要求5所述的多角度人脸表情识别的方法，其特征在于，所述根据所述注意
力模块以及所述多角度人脸表情图像训练数据的输出特征图，获得所述多角度人脸表情图像训练数据的输出值，包括步骤：根据所述注意力模块的平均化层、所述多角度人脸表情图像训练数据的输出特征图以及预设的权重计算算法，获得所述多角度人脸表情图像训练数据的输出特征图的水平方向上的第一权重值以及垂直方向上的第一权重值，其中，所述权重计算算法为：重值以及垂直方向上的第一权重值，其中，所述权重计算算法为：其中，h为所述输出特征图...

【专利技术属性】
技术研发人员：谢燊，黎铭，唐小煜，
申请(专利权)人：华南师范大学，
类型：发明
国别省市：