【技术实现步骤摘要】
本申请涉及计算机视觉，具体而言，涉及一种面部表情识别方法及装置、计算机设备和可读存储介质。
技术介绍
1、随着科学技术的不断发展，计算机视觉技术在视频监控、医疗保健、社会安防等领域的应用越发广泛，通常被应用于实现人脸识别、行人识别、车辆识别、物体识别等计算机视觉识别功能，其中因面部表情属于人类表达情绪状态和意图的最有力、最自然和最普遍的重要途径之一，故而面部表情识别(facial expression recognition，fer)便是当今计算机视觉技术的一种重要研究方向。
2、目前，业界主流通常通过手工制作或深度网络方法直接利用面部图像对图像和情感之间的相关性进行建模，来确保最终得到的模型能够实现面部表情识别功能，而为了提升模型计算效率，通常会利用局部二值模式(local binary pattern，lbp)、局部邻域编码模式(lnep)和方向梯度直方图(histogram of oriented gradient,hog)等手工制作手段提取面部图像中的高效手工特征，或者利用mobilenet、shufflenet等轻量级模型进行建模。在此过程中，值得注意的是，因特征学习中手工制作特征和轻量级网络的能力有限，直接采用上述方案获取到的模型往往会在面部表情识别操作的准确性层面和鲁棒性层面表现出较差的性能。因此，如何在面部表情识别过程中同时兼顾模型计算效率和模型识别性能，便是当今计算机视觉技术的一项亟需解决的重要问题。
技术实现思路
1、有鉴于此，本申请的目的在于提供一
2、为了实现上述目的，本申请实施例采用的技术方案如下：
3、第一方面，本申请提供一种面部表情识别方法，应用于计算机设备，其中所述计算机设备加载有目标gabor残差网络视觉模型，所述目标gabor残差网络视觉模型包括gabor滤波卷积层、通道转换增强层和表情预测层，所述方法包括：
4、获取待识别人脸图像，并调用所述gabor滤波卷积层对所述待识别人脸图像进行面部特征提取，得到对应的面部特征图集，其中所述面部特征图集包括所述待识别人脸图像在不同gabor方向通道上的初始面部特征图；
5、调用所述通道转换增强层对所述面部特征图集进行相邻通道特征交换聚合处理，得到对应的面部关键特征图集，其中所述面部关键特征图集包括所述待识别人脸图像在不同gabor方向通道上的面部关键特征图；
6、调用所述表情预测层对所述面部关键特征图集进行面部情绪分类预测，得到所述待识别人脸图像的面部情绪识别结果。
7、在可选的实施方式中，所述gabor滤波卷积层采用具有多个gabor方向通道的gabor卷积核实现，其中所述gabor卷积核由自学习卷积核与具有多个gabor滤波方向的gabor滤波器合并得到，则所述调用所述gabor滤波卷积层对所述待识别人脸图像进行面部特征提取，得到对应的面部特征图集的步骤，包括：
8、根据所述gabor滤波卷积层的gabor方向通道总数目，对所述待识别人脸图像进行图像复制操作，得到图像内容相同的多张目标人脸图像，其中所述多张目标人脸图像的图像总数目与所述gabor方向通道总数目保持一致；
9、调用所述gabor滤波卷积层包括的gabor卷积核在不同gabor方向通道各自对应的gabor滤波方向上与所述多张目标人脸图像进行图像卷积运算，得到所述面部特征图集。
10、在可选的实施方式中，所述通道转换增强层包括依次串联的第一gabor残差模块、通道转换模块、通道增强模块和第二gabor残差模块，其中所述第一gabor残差模块和所述第二gabor残差模块均由两个gabor卷积核残差连接得到，则所述调用所述通道转换增强层对所述面部特征图集进行相邻通道特征交换聚合处理，得到对应的面部关键特征图集的步骤，包括：
11、将所述面部特征图集输入到所述第一gabor残差模块进行深度残差运算，得到所述第一gabor残差模块输出的输出特征图集；
12、调用所述通道转换模块对所述输出特征图集进行相邻通道特征信息交换处理，得到所述通道转换模块输出的交换特征图集；
13、调用所述通道增强模块对所述交换特征图集进行相邻通道特征互补聚合处理，得到所述通道增强模块输出的聚合特征图集；
14、将所述聚合特征图集输入到所述第二gabor残差模块进行深度残差运算，得到由所述第二gabor残差模块输出的所述面部关键特征图集。
15、在可选的实施方式中，所述通道转换模块包括通道左移块、通道右移块和非通道移动块，则所述调用所述通道转换模块对所述输出特征图集进行相邻通道特征信息交换处理，得到所述通道转换模块输出的交换特征图集的步骤，包括：
16、对所述输出特征图集在空间维度层面进行特征图划分，得到与所述通道左移块、所述通道右移块和所述非通道移动块分别匹配的初始特征图子集；
17、调用所述通道左移块、所述通道右移块和所述非通道移动块分别基于自身的卷积核权重通过深度卷积运算对匹配的初始特征图子集进行通道特征移动，得到所述通道左移块、所述通道右移块和所述非通道移动块各自输出的中间特征图子集；
18、在空间维度层面对多个所述中间特征图子集进行特征图拼接，得到所述交换特征图集。
19、在可选的实施方式中，所述通道增强模块包括特征增强块和非特征增强块，则调用所述通道增强模块对所述交换特征图集进行相邻通道特征互补聚合处理，得到所述通道增强模块输出的聚合特征图集的步骤，包括：
20、对所述交换特征图集在空间维度层面进行特征图划分，得到与所述特征增强块和所述非特征增强块分别匹配的初始特征图子集；
21、调用所述特征增强块和所述非特征增强块分别基于自身的卷积核权重通过深度卷积运算对匹配的初始特征图子集进行通道特征增强，得到所述特征增强块和所述非特征增强块各自输出的中间特征图子集；
22、在空间维度层面对多个所述中间特征图子集进行特征图拼接，得到所述聚合特征图集。
23、在可选的实施方式中，所述目标gabor残差网络视觉模型还包括第一gabor残差中间层，所述第一gabor残差中间层架设在所述gabor滤波卷积层与所述通道转换增强层之间，所述gabor滤波卷积层输出的面部特征图集经所本文档来自技高网...
【技术保护点】
1.一种面部表情识别方法，其特征在于，应用于计算机设备，其中所述计算机设备加载有目标Gabor残差网络视觉模型，所述目标Gabor残差网络视觉模型包括Gabor滤波卷积层、通道转换增强层和表情预测层，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述Gabor滤波卷积层采用具有多个Gabor方向通道的Gabor卷积核实现，其中所述Gabor卷积核由自学习卷积核与具有多个Gabor滤波方向的Gabor滤波器合并得到，则所述调用所述Gabor滤波卷积层对所述待识别人脸图像进行面部特征提取，得到对应的面部特征图集的步骤，包括：
3.根据权利要求1所述的方法，其特征在于，所述通道转换增强层包括依次串联的第一Gabor残差模块、通道转换模块、通道增强模块和第二Gabor残差模块，其中所述第一Gabor残差模块和所述第二Gabor残差模块均由两个Gabor卷积核残差连接得到，则所述调用所述通道转换增强层对所述面部特征图集进行相邻通道特征交换聚合处理，得到对应的面部关键特征图集的步骤，包括：
4.根据权利要求3所述的方法，其特征在于，所述通道转换
5.根据权利要求3所述的方法，其特征在于，所述通道增强模块包括特征增强块和非特征增强块，则调用所述通道增强模块对所述交换特征图集进行相邻通道特征互补聚合处理，得到所述通道增强模块输出的聚合特征图集的步骤，包括：
6.根据权利要求1-5中任意一项所述的方法，其特征在于，所述目标Gabor残差网络视觉模型还包括第一Gabor残差中间层，所述第一Gabor残差中间层架设在所述Gabor滤波卷积层与所述通道转换增强层之间，所述Gabor滤波卷积层输出的面部特征图集经所述第一Gabor残差中间层处理后输入到所述通道转换增强层进行相邻通道特征交换聚合处理；
7.根据权利要求6所述的方法，其特征在于，所述目标Gabor残差网络视觉模型还包括第二Gabor残差中间层，所述第二Gabor残差中间层架设在所述通道转换增强层与所述表情预测层之间，所述通道转换增强层输出的面部关键特征图集经所述第二Gabor残差中间层处理后输入到所述表情预测层进行面部情绪分类预测；
8.一种面部表情识别装置，其特征在于，应用于计算机设备，其中所述计算机设备加载有目标Gabor残差网络视觉模型，所述目标Gabor残差网络视觉模型包括Gabor滤波卷积层、通道转换增强层和表情预测层，所述装置包括：
9.一种计算机设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序，以驱动所述存储器存储的目标Gabor残差网络视觉模型实现权利要求1-7中任意一项所述的面部表情识别方法，其中所述目标Gabor残差网络视觉模型包括Gabor滤波卷积层、通道转换增强层和表情预测层。
10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被计算机设备执行时，驱动目标Gabor残差网络视觉模型实现权利要求1-7中任意一项所述的面部表情识别方法，其中所述目标Gabor残差网络视觉模型包括Gabor滤波卷积层、通道转换增强层和表情预测层。
...【技术特征摘要】
1.一种面部表情识别方法，其特征在于，应用于计算机设备，其中所述计算机设备加载有目标gabor残差网络视觉模型，所述目标gabor残差网络视觉模型包括gabor滤波卷积层、通道转换增强层和表情预测层，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述gabor滤波卷积层采用具有多个gabor方向通道的gabor卷积核实现，其中所述gabor卷积核由自学习卷积核与具有多个gabor滤波方向的gabor滤波器合并得到，则所述调用所述gabor滤波卷积层对所述待识别人脸图像进行面部特征提取，得到对应的面部特征图集的步骤，包括：
3.根据权利要求1所述的方法，其特征在于，所述通道转换增强层包括依次串联的第一gabor残差模块、通道转换模块、通道增强模块和第二gabor残差模块，其中所述第一gabor残差模块和所述第二gabor残差模块均由两个gabor卷积核残差连接得到，则所述调用所述通道转换增强层对所述面部特征图集进行相邻通道特征交换聚合处理，得到对应的面部关键特征图集的步骤，包括：
4.根据权利要求3所述的方法，其特征在于，所述通道转换模块包括通道左移块、通道右移块和非通道移动块，则所述调用所述通道转换模块对所述输出特征图集进行相邻通道特征信息交换处理，得到所述通道转换模块输出的交换特征图集的步骤，包括：
5.根据权利要求3所述的方法，其特征在于，所述通道增强模块包括特征增强块和非特征增强块，则调用所述通道增强模块对所述交换特征图集进行相邻通道特征互补聚合处理，得到所述通道增强模块输出的聚合特征图集的步骤，包括：
6.根据权利要求1-5中任意一项所述的方法，其特征在...
【专利技术属性】
技术研发人员：蒋少平，胡淑萍，曾钰胜，董培，庞建新，
申请(专利权)人：深圳市优必选科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。