一种基于滤波器设计的光流向量微表情发生阶段检测方法技术

本发明专利技术公开了一种基于滤波器设计的光流向量微表情发生阶段检测方法，包括如下步骤：(1)光流运动特征中心化和归一化；(2)采用信号衰减法进行定位；(3)微表情自动检测和识别。本发明专利技术的有益效果为：针对性地采用和微表情发生时肌肉运动相关的人脸关键点区域，既能高效地提取有用的运动特征，也能排除掉一些和微表情发生无关的冗余信息；对光流运动特征进行去中心化和归一化，能有效地减弱拍摄对象与镜头远近以及不同人脸形状带来的影响，消除因头部整体运动带来的误差；参照滤波器设计指标的起始帧和终止帧定位，为微表情检测统一了标准，并且能应用于不同的数据库；检测系统可以实际可视化整个检测过程，简单明了易操作。

【技术实现步骤摘要】
一种基于滤波器设计的光流向量微表情发生阶段检测方法
本专利技术涉及微表情检测方法
，尤其是一种基于滤波器设计的光流向量微表情发生阶段检测方法。
技术介绍
微表情可以用在情感分析中，因为其透露了个人的真实情绪。但是不像面部表情，微表情是微弱的、短暂的、不系统的，并且只出现在面部局部区域，所以微表情分析比表情分析更具挑战性。在计算机视觉中，大部分微表情相关工作集中在识别上，比如识别贴上标签的分割好的从起始帧到终止帧的包含微表情的视频段。然而微表情自动识别的前提是机器能够自动定位出微表情的发生阶段，从而进行下一步的识别。在现实生活场景中，由于时间短暂和强度微弱，人们不容易分辨出微表情。人为判别的不准确性和耗时使计算机微表情自动检测成为热门研究方向。这样的检测技术可以应用在监视，人机交互和机器人互动系统中。目前而言，微表情检测研究很少，针对自然诱发的微表情数据检测工作更是少之又少，市场上还没有能够自动检测微表情发生阶段的产品或机器。现有的一些研究中，有人是提取小波特征，然后用GentleSVM去定位刻意做出的微表情；有人开发了一种3D梯度算子和K均值聚类的方法来分类刻意做的微表情的起始帧、峰值帧、终止帧；有人用局部二值模式(LBP)的卡方距离通过设定阈值定位自然诱发的微表情。但大部分工作都是采人工设置阈值的方式定位，针对不同数据库需要调节不同的参数，导致检测不能完全自动化，鲁棒的特征算子和统一的定位方法是目前需要的。
技术实现思路
本专利技术所要解决的技术问题在于，提供一种基于滤波器设计的光流向量微表情发生阶段检测方法，能够解决微表情发生阶段定位模式无法统一的问题。为解决上述技术问题，本专利技术提供一种基于滤波器设计的光流向量微表情发生阶段检测方法，包括如下步骤：(1)光流运动特征中心化和归一化；定位序列中第一帧人脸关键点，视频序列中其他人脸关键点通过光流法更新；在面部关键点周围建立小的感兴趣区域ROIs，这些区域的平均光流作为当前帧的运动特征，每个关键点周围的光流矢量用FACS系统分组，检测活跃的微表情运动单元AU，这是空间合成；由向量按时间逐帧相加得到时间合成；(2)采用信号衰减法进行定位；根据步骤(1)的时空合成光流运动特征的幅值变化，确定对应的微表情峰值帧；(3)微表情自动检测和识别；模拟人脸神态变化场景，根据步骤(2)的结果搭建微表情自动检测识别系统，自动检测包含微表情片段的较长视频中微表情发生的峰值帧、起始帧和终止帧。优选的，步骤(1)中，在光流运动向量时空合成前加入运动向量的去中心化和归一化；去中心化选取面部与微表情发生不相关的某一相对固定点作为参考点坐标，其它点的运行偏移要减去参考点的偏移；归一化选取面部与微表情发生不相关的一段距离，其它点的运行偏移除以此距离值。优选的，步骤(1)中，光流运动特征中心化和归一化具体为：a、初始化组合运动向量作为第一帧的运动向量；b、计算每个关键点向量赋值；c、计算每个AU分组的关键点平均赋值；d、通过加上下一帧的运动向量更新组合运动向量；e、重复步骤b-e直至结束。优选的，步骤(2)中，确定对应的微表情峰值帧中，滤波器通带截止频率在fL和fH之间，截止频率定义在最大幅值衰减3dB处，将终止帧设定为最大幅值向后衰减3dB处，将起始帧设定为低通滤波器阻带截止频率。优选的，步骤(3)中，系统基于微软VisualStudio的MFC开发，在系统界面上可视化显示检测结果。本专利技术的有益效果为：(1)针对性地采用和微表情发生时肌肉运动相关的人脸关键点区域，既能高效地提取有用的运动特征，也能排除掉一些和微表情发生无关的冗余信息；(2)对光流运动特征进行去中心化和归一化，能有效地减弱拍摄对象与镜头远近以及不同人脸形状带来的影响，消除因头部整体运动带来的误差；(3)参照滤波器设计指标的起始帧和终止帧定位，为微表情检测统一了标准，并且能应用于不同的数据库；(4)检测系统可以实际可视化整个检测过程，简单明了易操作。附图说明图1为本专利技术的方法流程示意图。图2为本专利技术的人脸关键点分组示意图。图3为本专利技术的SMIC数据库中一个包含惊讶视频段样本的示意图。图4为本专利技术的去中心化和归一化示意图。图5为本专利技术的理想低通滤波器设计指标示意图。图6为本专利技术的微表情自动检测和识别系统的功能示意图。图7为本专利技术的检测结果显示示意图。图8为本专利技术的SMIC-HS数据库的检测结果示意图。图9为本专利技术的CASMEII数据库的检测结果示意图。具体实施方式如图1所示，一种基于滤波器设计的光流向量微表情发生阶段检测方法，包括如下步骤：(1)光流运动特征中心化和归一化；首先定位序列中第一帧人脸关键点，视频序列中其它人脸关键点通过光流法来更新以达到跟踪目的。在面部关键点周围的建立小的感兴趣区域(ROIs)，这些区域的平均光流作为当前帧的运动特征，ROIs建立的目的就是平衡关键点检测算法的不准确性。每个关键点周围的光流矢量可以用FACS系统分组，这样就可以检测活跃的微表情运动单元(AU)，这些活跃的运动单元和最大的运动幅度具有一致性，这是空间合成，再由向量按时间逐帧相加得到时间合成。本特征在于在上述光流运动向量时空合成前加入运动向量的去中心化和归一化，降低头部移动等影响。(2)采用信号衰减法进行定位；根据上一步经过去中心化和归一化后的时空合成光流运动特征的幅值变化可以确定对应的微表情峰值帧。受信号处理中滤波器设计启发，结合光流法运动向量实测轨迹，滤波器设计中通带在截止频率fL和fH之间，截止频率定义在最大幅值衰减3dB处，将终止帧设定为最大幅值向后衰减3dB处，将起始帧设定为低通滤波器阻带截止频率。(3)微表情自动检测和识别；模拟人脸神态变化场景，根据步骤(2)的结果搭建微表情自动检测识别系统，自动检测包含微表情片段的较长视频中微表情发生的峰值帧、起始帧和终止帧。对提取到的光流运动特征时空合成前加上去中心化和归一化操作，以降低噪声影响。去中心化就是选取面部与微表情发生不相关的某一相对固定不动点作为参考点坐标，其它点的运行偏移要减去参考点的偏移一消除头部整体运动带来的影响；归一化就是选取面部与微表情发生不相关的一段距离，其它点的运行偏移除以此距离值，以达到消除面部与摄像头距离不一产生的关键点运动偏差和人脸大小不一打来的偏差。基于光流向量时空合成的微表情检测方法使用运动特征和方向连续来检测自然诱发的微表情发生阶段，该方法主要包括运动特征提取，时空合成与检测，峰值帧检测，起始帧与终止帧计算等过程：(1)初始化组合运动向量作为第一帧的运动向量，(2)计算每个关键点向量赋值，(3)计算每个AU分组的关键点平均幅值，(4)通过加上下一帧的运动向量更新组合运动向量，(5)回到步骤(2)直至结束。图2显示了使用哪些和微表情相关的人脸关键点，并将这些点进行分组，每个分组的光流运动矢量的平均幅值为基本单元，选取平均幅值最大的分组的运动轨迹作为下一步定位的目标。图3展示了一个微表情实例，包括检测的关键点周围小框区域的选取，人工标记的各个发生阶段。一般微表情发生阶段定位的方法最后采用人工设定阈值去除诸如头部偏移等姿态影响，不能实现完全自动的计算机微表情发生阶段检测；另外上述方法针对不同库人工设定了许多设定，对其它数据库没有推广性和普适性。基本文档来自技高网...

【技术保护点】
一种基于滤波器设计的光流向量微表情发生阶段检测方法，其特征在于，包括如下步骤：(1)光流运动特征中心化和归一化；定位序列中第一帧人脸关键点，视频序列中其他人脸关键点通过光流法更新；在面部关键点周围建立小的感兴趣区域ROIs，这些区域的平均光流作为当前帧的运动特征，每个关键点周围的光流矢量用FACS系统分组，检测活跃的微表情运动单元AU，这是空间合成；由向量按时间逐帧相加得到时间合成；(2)采用信号衰减法进行定位；根据步骤(1)的时空合成光流运动特征的幅值变化，确定对应的微表情峰值帧；(3)微表情自动检测和识别；模拟人脸神态变化场景，根据步骤(2)的结果搭建微表情自动检测识别系统，自动检测包含微表情片段的较长视频中微表情发生的峰值帧、起始帧和终止帧。

【技术特征摘要】
1.一种基于滤波器设计的光流向量微表情发生阶段检测方法，其特征在于，包括如下步骤：(1)光流运动特征中心化和归一化；定位序列中第一帧人脸关键点，视频序列中其他人脸关键点通过光流法更新；在面部关键点周围建立小的感兴趣区域ROIs，这些区域的平均光流作为当前帧的运动特征，每个关键点周围的光流矢量用FACS系统分组，检测活跃的微表情运动单元AU，这是空间合成；由向量按时间逐帧相加得到时间合成；(2)采用信号衰减法进行定位；根据步骤(1)的时空合成光流运动特征的幅值变化，确定对应的微表情峰值帧；(3)微表情自动检测和识别；模拟人脸神态变化场景，根据步骤(2)的结果搭建微表情自动检测识别系统，自动检测包含微表情片段的较长视频中微表情发生的峰值帧、起始帧和终止帧。2.如权利要求1所述的基于滤波器设计的光流向量微表情发生阶段检测方法，其特征在于，步骤(1)中，在光流运动向量时空合成前加入运动向量的去中心化和归一化；去中心化选取面部与微表情发生不相关的某一相对固定点作为参考点坐标...

【专利技术属性】
技术研发人员：郑文明，李超龙，李强，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32