一种基于面部动作单元的面部表情识别方法和装置制造方法及图纸

本发明专利技术实施例公开了一种基于面部动作单元的面部表情识别方法和装置，其中，所述方法包括：利用人脸关键点检测技术对采集的含有人脸区域的图片数据进行预处理，将人脸区域细分成若干个面部动作单元触发区；利用预设的三维卷积神经网络识别模型对所述面部动作单元进行识别，获得面部动作单元的特征；将获得的面部全局特征与所述面部动作单元的特征进行特征融合，获得面部表情融合特征；将所述面部表情融合特征输入到预设的高斯过程分类器，利用所述高斯过程分类器对人脸面部表情进行识别，输出面部表情识别结果。采用本发明专利技术所述的方法，能够基于面部动作单元进行表情识别，更有利于微小表情的识别，提升了面部表情识别性能和鲁棒性。

【技术实现步骤摘要】
一种基于面部动作单元的面部表情识别方法和装置
本专利技术实施例涉及计算机视觉领域，具体涉及一种基于面部动作单元的面部表情识别方法和装置。另外，还涉及一种电子设备和存储介质。
技术介绍
近年来，随着经济社会的快速发展，人们对智能化生活的需求日益增高。人工智能技术的不断发展成熟，而高质量的人机交互体验是提升和完善智能化生活品质的必要条件，因此，人机交互过程中对用户的情绪分析是关键的一个环节。由于面部表情在人类的情绪表达中起到了非常重要的作用，通过对面部表情进行分析可以获得丰富的情绪信息。另外，面部表情的获取只需要使用摄像头进行捕捉，获取方式便捷。因此面部表情的分析在当前的智能产品中有着广泛的应用前景。但是，现有的面部表情识别算法只在较为宏观的基本表情的有很好的效果，有的时候微观表情在面部表现并不明显。因为其面部特征相比于宏观表情的面部特征变化比较微小，且表情之间的差异并不明显。因此，仅依靠传统的机器学习方法并不能有效的解决微表情的识别问题。而微表情的分析并不只是人工智能领域专有的课题，解剖学领域在该课题上也有大量的研究成果，面部活动单元就是解剖学领域关于微表情分析这一课题的研究成果，通过面部活动单元进一步了解到面部肌肉运动与面部表情之间关联，能够为微表情的分析提供大量的先验知识，运用到人工智能领域能够有效的辅助面部表情的识别。所以，面部活动单元在面部表情识别研究中的应用受到了广泛关注，同时基于面部活动单元的面部表情识别技术也成为了计算机视觉领域的重要研究课题之一。因此，如何基于面部动作单元准确识别面部表情信息成为当前迫切需要解决的问题。
技术实现思路
为此，本专利技术实施例提供一种基于面部动作单元的面部表情识别方法，以解决现有技术中存在的机器学习方法无法有效的解决微表情的识别问题。为了实现上述目的，本专利技术实施例提供如下技术方案：根据本专利技术实施例提供的一种基于面部动作单元的面部表情识别方法，包括：采集含有人脸区域的图片数据；利用人脸关键点检测技术对含有人脸区域的图片数据进行预处理，将人脸区域细分成若干个面部动作单元触发区；利用预设的三维卷积神经网络识别模型对所述面部动作单元进行识别，获得面部动作单元的特征；将获得的面部全局特征与所述面部动作单元的特征进行特征融合，获得面部表情融合特征；将所述面部表情融合特征输入到预设的高斯过程分类器，利用所述高斯过程分类器对人脸面部表情进行识别，输出面部表情识别结果。进一步的，所述利用人脸关键点检测技术对含有人脸区域的图片数据进行预处理，将人脸区域细分成若干个面部动作单元触发区，具体包括：根据人脸解刨学结构和人脸关键点检测算法检测出人脸区域上预设数量的关键点；根据预设数量的关键点对图片数据进行剪裁，获得目标人脸区域，将所述目标人脸区域缩放到预设像素大小，实现面部图像的归一化；将所述目标人脸区域再细分成三个面部动作单元触发区，所述三个面部动作单元触发区包括眼部动作单元触发区、T区动作单元触发区以及唇部动作单元触发区。进一步的，所述利用预设的三维卷积神经网络识别模型对面部动作单元进行识别，获得面部动作单元的特征，具体包括：选取与表情存在关联关系面部动作单元，并构建所述面部动作单元与所述三个面部动作单元触发区对应关系；利用所述三维卷积神经网络识别模型提取所述面部动作单元在对应面部动作单元触发区的局部特征，获得面部动作单元触发区局部特征；将所述面部动作单元触发区局部特征输入到softmax层中进行面部动作单元的识别，获得所述面部动作单元的特征。进一步的，所述将获得的面部全局特征与所述面部动作单元的特征进行特征融合，获得面部表情融合特征，包括：将所述目标人脸区域切块并输入到预设的三维卷积神经网络识别模型中提取正脸的特征，获得所述面部全局特征；将所述面部动作单元的特征和所述面部全局特征进行特征层面的融合，获得面部表情融合特征。进一步的，所述高斯过程分类器基于面部动作单元和表情之间的关联关系约束。进一步的，所述利用所述高斯过程分类器对人脸面部表情进行识别，输出面部表情识别结果，具体包括：将所述面部表情融合特征输入到所述高斯过程分类器中得到初步的人脸面部表情的识别结果；将所述面部动作单元的特征，利用面部动作单元和表情之间的关联关系对所述初步的人脸面部表情的识别结果进行进一步的约束，输出面部表情识别结果。相应的，本申请实施例还提供一种基于面部动作单元的面部表情识别装置，包括：数据采集单元，用于采集含有人脸区域的图片数据；预处理单元，用于利用人脸关键点检测技术对含有人脸区域的图片数据进行预处理，将人脸区域细分成若干个面部动作单元触发区；面部动作单元识别单元，用于利用预设的三维卷积神经网络识别模型对所述面部动作单元进行识别，获得面部动作单元的特征；特征融合单元，用于将获得的面部全局特征与所述面部动作单元的特征进行特征融合，获得面部表情融合特征；面部表情识别单元，用于将所述面部表情融合特征输入到预设的高斯过程分类器，利用所述高斯过程分类器对人脸面部表情进行识别，输出面部表情识别结果。进一步的，所述预处理单元具体用于：根据人脸解刨学结构和人脸关键点检测算法检测出人脸区域上预设数量的关键点；根据预设数量的关键点对图片数据进行剪裁，获得目标人脸区域，将所述目标人脸区域缩放到预设像素大小，实现面部图像的归一化；将所述目标人脸区域再细分成三个面部动作单元触发区，所述三个面部动作单元触发区包括眼部动作单元触发区、T区动作单元触发区以及唇部动作单元触发区。进一步的，所述面部动作单元识别单元具体用于：选取与表情存在关联关系面部动作单元，并构建所述面部动作单元与所述三个面部动作单元触发区对应关系；利用所述三维卷积神经网络识别模型提取所述面部动作单元在对应面部动作单元触发区的局部特征，获得面部动作单元触发区局部特征；将所述面部动作单元触发区局部特征输入到softmax层中进行面部动作单元的识别，获得所述面部动作单元的特征。进一步的，所述特征融合单元具体用于：将所述目标人脸区域切块并输入到预设的三维卷积神经网络识别模型中提取正脸的特征，获得所述面部全局特征；将所述面部动作单元的特征和所述面部全局特征进行特征层面的融合，获得面部表情融合特征。进一步的，所述高斯过程分类器基于面部动作单元和表情之间的关联关系约束。进一步的，所述面部表情识别单元具体用于：将所述面部表情融合特征输入到所述高斯过程分类器中得到初步的人脸面部表情的识别结果；将所述面部动作单元的特征，利用面部动作单元和表情之间的关联关系对所述初步的人脸面部表情的识别结果进行进一步的约束，输出面部表情识别结果。相应的，本申请还提供一种电子设备，包括：处理器和存储器；其中，所述存储器，用于存储基于面部动作单元的面部表情识别方法的程序，该电子设备通电并通过所述处理器运行该基于面部动作单元的面部表情识别方法的程序后，执行上述任意一项所述的基于面部动作单元的面部表情识别方法。相应的，本申请还提供一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用本文档来自技高网...

【技术保护点】
1.一种基于面部动作单元的面部表情识别方法，其特征在于，包括：/n采集含有人脸区域的图片数据；/n利用人脸关键点检测技术对含有人脸区域的图片数据进行预处理，将人脸区域细分成若干个面部动作单元触发区；/n利用预设的三维卷积神经网络识别模型对所述面部动作单元进行识别，获得面部动作单元的特征；/n将获得的面部全局特征与所述面部动作单元的特征进行特征融合，获得面部表情融合特征；/n将所述面部表情融合特征输入到预设的高斯过程分类器，利用所述高斯过程分类器对人脸面部表情进行识别，输出面部表情识别结果。/n

【技术特征摘要】
1.一种基于面部动作单元的面部表情识别方法，其特征在于，包括：
采集含有人脸区域的图片数据；
利用人脸关键点检测技术对含有人脸区域的图片数据进行预处理，将人脸区域细分成若干个面部动作单元触发区；
利用预设的三维卷积神经网络识别模型对所述面部动作单元进行识别，获得面部动作单元的特征；
将获得的面部全局特征与所述面部动作单元的特征进行特征融合，获得面部表情融合特征；
将所述面部表情融合特征输入到预设的高斯过程分类器，利用所述高斯过程分类器对人脸面部表情进行识别，输出面部表情识别结果。


2.根据权利要求1所述的基于面部动作单元的面部表情识别方法，其特征在于，所述利用人脸关键点检测技术对含有人脸区域的图片数据进行预处理，将人脸区域细分成若干个面部动作单元触发区，具体包括：
根据人脸解刨学结构和人脸关键点检测算法检测出人脸区域上预设数量的关键点；
根据预设数量的关键点对图片数据进行剪裁，获得目标人脸区域，将所述目标人脸区域缩放到预设像素大小，实现面部图像的归一化；
将所述目标人脸区域再细分成三个面部动作单元触发区，所述三个面部动作单元触发区包括眼部动作单元触发区、T区动作单元触发区以及唇部动作单元触发区。


3.根据权利要求2所述的基于面部动作单元的面部表情识别方法，其特征在于，所述利用预设的三维卷积神经网络识别模型对面部动作单元进行识别，获得面部动作单元的特征，具体包括：
选取与表情存在关联关系面部动作单元，并构建所述面部动作单元与所述三个面部动作单元触发区对应关系；
利用所述三维卷积神经网络识别模型提取所述面部动作单元在对应面部动作单元触发区的局部特征，获得面部动作单元触发区局部特征；
将所述面部动作单元触发区局部特征输入到softmax层中进行面部动作单元的识别，获得所述面部动作单元的特征。


4.根据权利要求3所述的基于面部动作单元的面部表情识别方法，其特征在于，所述将获得的面部全局特征与所述面部动作单元的特征进行特征融合，获得面部表情融合特征，包括：
将所述目标人脸区域进行切块并输入到预设的三维卷积神经网络识别模型中提取正脸的特征，获得所述面部全局特征；
将所述面部动作单元的特征和所述面部全局特征进行特征层面的融合，获得面部表情融合特征。


5.根据权利要求4所述的基于面部动作单元的面部表情识别...

【专利技术属性】
技术研发人员：姚辉，芦燕云，陈晓华，孙广宇，李欣，才智，章莉，
申请(专利权)人：北京市西城区培智中心学校，成都众云微科技有限公司，
类型：发明
国别省市：北京;11