一种基于视频图像序列的人脸表情识别方法技术

本发明专利技术公开了一种基于视频图像序列的人脸表情识别方法，涉及人脸识别领域，包括如下步骤：（1）身份验证：从视频中捕捉图像，获得该视频中的用户信息，然后通过与人脸训练样本的比对，进行身份验证，确定用户表情库；（2）表情识别：对视频进行纹理特征提取，获得用户表情程度最大化时的关键帧，将关键帧图像与步骤（1）确定的用户表情库中的表情训练样本进行比对，达到表情识别的目的，最终输出表情识别的统计结果。本发明专利技术提供通过纹理特征分析视频中获取的关键帧，并建立用户表情库对用户表情进行表情识别，能有效抑制干扰、降低计算复杂度和提高识别率。

【技术实现步骤摘要】
一种基于视频图像序列的人脸表情识别方法
本专利技术涉及人脸识别领域，尤其涉及一种基于视频图像序列的人脸表情识别方法。
技术介绍
在众多的生物特征中，人脸无疑是最具表现力的一部分。在人与人的当面交流中，人脸作为信息传递最直接的媒介，扮演着极为重要的角色，我们通过分析可以感知人脸情绪。为了使计算机具备相同的能力，人脸视觉感知成为人机交互、安全认证等计算机科学领域的重要研究课题。其中，人脸表情识别是一个涉及到模式识别、图像处理、人工智能等多学科的综合课题。所谓人脸表情识别是让计算机对人脸的表情信息进行特征提取分析，结合人类所具有的表情信息方面的先验知识使它进行自我思考、推理以及判断，进而去理解人脸表情蕴含的信息，实现人机之间智能化的交互。它在许多领域都有着潜在的应用价值，包括机器人技术、图像理解、视频检索、合成脸部动画、心理学研究、虚拟现实技术等。对人脸表情识别的研究主要包括三个部分：人脸检测、表情特征提取以及表情分类。目前在这三个方面计算机视觉研究者们进行了很多研究，但这三个方面仍有问题未得到很好的解决，包括人脸误检、表情识别的鲁棒等。
技术实现思路
专利技术目的：为了克服现有技术中存在的不足，本专利技术提供一种基于视频图像序列的人脸表情识别方法，通过纹理特征分析视频中获取的关键帧，能有效抑制干扰、降低计算复杂度和提高识别率。为实现上述目的，本专利技术采取如下技术方案：一种基于视频图像序列的人脸表情识别方法，包括如下步骤：（1）身份验证：从视频中捕捉图像，获得该视频中的用户信息，然后通过与人脸训练样本的比对，进行身份验证，确定用户表情库；（2）表情识别：对视频进行纹理特征提取，获得用户表情程度最大化时的关键帧，将关键帧图像与步骤（1）确定的用户表情库中的表情训练样本进行比对，最终输出表情识别的统计结果。更进一步的，步骤（1）包括如下步骤：（11）视频用户信息提取；（12）身份验证。更进一步的，步骤（2）包括如下步骤：（21）视频关键帧提取；（22）人脸区域的检测；（23）人脸区域的定位；（24）人脸表情特征的提取；（25）表情特征的分类识别；（26）表情识别结果输出。更进一步的，步骤（21）包括如下步骤：（211）采用逆差矩特征参数提取视频所反映的纹理特征，得到视频每帧的纹理特征参数值随着视频帧的变化曲线；（212）对步骤（211）所述变化曲线参数进行最大最小归一化处理；（213）对步骤（211）所述变化曲线进行曲线平滑拟合处理。更进一步的，步骤（22）采用基于肤色模型的人脸区域定位方法，包括如下步骤：（221）将视频图像基于彩色空间的RGB模型转换为YCbCr模型；（222）选取合适阈值将视频图像彩色差值图转换成二值差值图像。更进一步的，步骤（23）结合灰度图像边缘检测方法，采用4连通方法提取连通区域，在区域内寻找面积最大的板块，确认人脸所在位置，完成人脸区域的定位。更进一步的，步骤（24）采用基于平均值的主成分分析表情人脸特征提取方法，具体包括如下步骤：（241）计算用户表情库训练样本特征向量设训练样本的维数为n，共有L类，N1,N2,…,NL分别表示每一类训练样本的数目，N为训练样本总数，第c类训练样本集合表示为其中Nc为第c类训练样本的数目；所有训练样本集合用X＝{X1,X2,…,XL}表示；第c类训练样本的平均脸定义为：对第c类训练样本进行规范化：协方差矩阵定义为：其中，vi表示训练样本的规范化向量，且Q∈Rn×n，从矩阵Q的特征值和特征向量中，取m个最大特征值对应的特征向量，即wi，i＝1,2,…,m，从而构成了特征脸空间W∈Rm×n，即W＝[w1,w2,…,wm]T，其中m＜n；（242）将训练样本投影到特征脸空间为了使测试样本与训练样本具有可比性，必须用同一平均脸对它们进行规范化，为此必须计算所有训练样本的混合平均脸，即：然后，对训练样本进行规范化：其中，对于第c类任一训练样本投影到特征脸空间，即可获得训练样本的投影特征为：（243）关键帧测试样本投影到特征脸空间对任一测试样本xtest∈Rm，首先用混合平均脸对它进行规范化，即然后投影到特征脸空间，得到它的投影特征ytest∈Rm，即更进一步的，步骤（25）采用欧氏距离分类器对步骤（24）提取后的待识别图像进行识别。有益效果：本专利技术提供的基于视频图像序列的人脸表情识别方法，相对于现有技术，具有如下优点：（1）本专利技术提出的PCA类内平均脸法充分考虑了训练样本数及其类别信息，获得了较好的识别结果，为人脸识别提供了一种有效的途径。（2）为了改进现有关键帧提取方法在相邻帧间相似性测度方面的不足，本专利技术提出一种基于纹理特征曲线分析的关键帧选取方法。给出表情纹理特征的提取、相似度计算方法以及利用图像分块计算运动信息的方法，并结合距离累加算法提取视频镜头关键帧，能有效抑制干扰、降低计算复杂度和提高识别率。（3）本专利技术提出一种单帧表情图像中人脸表情特征的快速提取算法，由于基于视频交互的表情识别对实时性、通用性要求高，因此，在获得人脸表情关键帧图像后，研究进行降维处理只提取与人脸表情运动有关的特征参数快速算法，最大限度地屏蔽环境条件和个人特征的差异，有效地降低计算量又能高效地区分与识别典型人脸表情，是基于视频的人脸表情识别的关键所在。（4）本专利技术提出一种基于视频序列的人脸表情关键帧的提取算法，人脸表情在视频序列中是一个动态变化过程，准确的表情判断主要取决于表情姿势最大状态。因此，研究快速准确的视频序列中人脸表情关键帧的提取算法，是正确高效地识别各表情动作单元状态的变化和理解相应表情的重要前提。（5）本专利技术提出一种人脸表情的快速分类算法，提出视频环境下用于识别人脸表情的既具有较快的速度又有较高识别率的新的人脸表情分类算法。附图说明图1为本专利技术提供的一种基于视频图像序列的人脸表情识别方法结构流程图。图2为本专利技术提供的人脸表情识别流程图。图3为逆差矩特征参数随视频帧变化曲线。图4为关键帧提取四种字符串进行曲线平滑拟合曲线图。图5为关键帧提取后关键帧所在位置图。图6为人脸表情区域经典边缘检测流程图。图7为表情特征的分类识别结构图。具体实施方式下面结合附图对本专利技术作更进一步的说明。如图1所示，本专利技术提供的一种基于视频图像序列的人脸表情识别方法，包括：（1）身份验证：从视频中捕捉图像，获得该视频中的用户信息，然后通过与人脸训练样本的比对，进行身份验证，确定用户表情库；（2）表情识别：对视频进行纹理特征提取，获得用户表情程度最大化时的关键帧，将关键帧图像与步骤（1）确定的用户表情库中的表情训练样本进行比对，最终输出表情识别的统计结果。下面结合实例对本专利技术作进一步描述：（一）身份验证视频信息接收后，从视频信息中捕捉图像，并且可以获得该视频信息的用户信息，通过与人脸训练样本的比对，进行身份验证，确定该用户的表情库，待表情识别时提取；（1）视频用户信息提取对视频中截图运用传统PCA算法进行特征提取；（2）身份验证通过计算与训练样本特征的欧氏距离，得出最匹配人脸，获得身份信息。本专利技术表情库采用自建表情库，比如对一个公司来说，可以对所有员工建立人脸表情库，建立员工的人脸表情库一方面可以丰富企业的员工档案，另一方面也是基于自建的人脸表情库进行识别时可提高一定识别率。但如果通过拍照的方式，本文档来自技高网...

【技术保护点】
一种基于视频图像序列的人脸表情识别方法，其特征在于包括如下步骤：（1）身份验证：从视频中捕捉图像，获得该视频中的用户信息，然后通过与人脸训练样本的比对，进行身份验证，确定用户表情库；（2）表情识别：对视频进行纹理特征提取，获得用户表情程度最大化时的关键帧，将关键帧图像与步骤（1）确定的用户表情库中的表情训练样本进行比对，最终输出表情识别的统计结果。

【技术特征摘要】
1.一种基于视频图像序列的人脸表情识别方法，其特征在于包括如下步骤：(1)身份验证：从视频中捕捉图像，获得该视频中的用户信息，然后通过与人脸训练样本的比对，进行身份验证，确定用户表情库；(2)表情识别：对视频进行纹理特征提取，获得用户表情程度最大化时的关键帧，将关键帧图像与步骤(1)确定的用户表情库中的表情训练样本进行比对，最终输出表情识别的统计结果；包括如下步骤：(21)视频关键帧提取：(211)采用逆差矩特征参数提取视频所反映的纹理特征，得到视频每帧的纹理特征参数值随着视频帧的变化曲线；(212)对步骤(211)所述变化曲线参数进行最大最小归一化处理；(213)对步骤(211)所述变化曲线进行曲线平滑拟合处理；(22)人脸区域的检测；(23)人脸区域的定位；(24)人脸表情特征的提取；(25)表情特征的分类识别；(26)表情识别结果输出。2.根据权利要...

【专利技术属性】
技术研发人员：徐平平，谢怡芬，吴秀华，
申请(专利权)人：东南大学，
类型：发明
国别省市：