一种融合瞳孔数据和面部表情的实时情绪识别方法及系统技术方案

本发明专利技术属于人工智能和认知科学的交叉领域，涉及一种融合瞳孔数据和面部表情的实时情绪识别方法及系统，在沉浸式VR环境下利用HTC Vive Pro Eye虚拟现实头戴式设备和VR取像组件实时采集被试者瞳孔数据和人脸数据，提取人脸数据中的关键特征点，构造人脸几何结构特征向量，并融合瞳孔直径特征，采用支持向量机SVM分类器进行分类，从而在沉浸式环境中实时识别被试者情绪。本发明专利技术基于沉浸式VR头戴式设备进行实时人脸捕捉，同时融合瞳孔数据进行实时情绪识别，提高了情绪识别的准确率，能够在沉浸式虚拟现实环境中进行实时隐式测量，在情绪研究领域具有广泛的应用前景。究领域具有广泛的应用前景。究领域具有广泛的应用前景。

【技术实现步骤摘要】
一种融合瞳孔数据和面部表情的实时情绪识别方法及系统


[0001]本专利技术属于人工智能和认知科学的交叉领域，涉及一种融合瞳孔数据和面部表情的实时情绪识别方法及系统。

技术介绍

[0002]情绪是人对特定情况或刺激的身体反应，在每个人的生活中都扮演着非常重要的角色。人们在日常工作、人际交往或认知活动中都有情绪。近年来，对情绪自动识别方法的研究有了很大的增长。识别情绪的有效方法的发展不仅可以改善人机交互，还有助于其他领域的发展，如心理学、医学、教育和娱乐等。
[0003]情绪诱发是指利用情绪诱发素材对受试者的情绪进行诱发，通常由视觉刺激（图像、电影）和声音刺激（音乐、声音）诱发情绪。传统的基于照片或视频的情绪识别存在以下几个缺点：（1）难以通过操纵刺激来适应任务难度；（2）大多数刺激只在白色或中性背景下显示孤立的面孔或上半身；（3）二维电脑屏幕或照片沉浸感差。相比之下，日常生活中的情感识别是在复杂的环境中进行的，而且往往是在互动过程中进行的。
[0004]随着虚拟现实技术的快速发展，虚拟现实技术具有沉浸感、真实感、想象性和交互性等特点，利用沉浸式虚拟现实技术制作的情感诱发场景和360
°
视频场景在情绪诱发中具有极大的优势：（1）沉浸式VR能够提供被试者完全沉浸的体验，使被试者有一种身临其境的感觉；（2）沉浸式VR能够避免外界环境的干扰，获得相对客观的情绪反应；（3）360
°
视频数据比图片、平面视频能诱发更强烈的情绪反应，虚拟现实的沉浸感会产生更逼真的认知和情感功能；（4）在沉浸式VR中，单一环境刺激，能够获取多模态的情感。
[0005]在360
°
视频作为情绪刺激材料进行情绪诱发时，需要对360
°
视频对受试者所触发的情绪进行评价进而得到相应的情绪标签。根据二维情绪模型（情绪唤醒度和情绪效价）对被诱发的情绪状态进行总体评价，并标记快乐、悲伤、愤怒、惊讶、厌恶、恐惧和平静七种情绪标签。
[0006]传统虚拟现实头戴式设备由于面部遮挡，不利于识别被试者情绪，而内置眼动仪的虚拟现实头戴式设备能够在沉浸式环境中捕捉眼动数据，利用眼动数据能够辅助情绪识别。其中，瞳孔大小是眼动研究中一个重要的参数指标，在一定程度上能够反映人的心理活动并影响他人的心理与行为。瞳孔不仅受到亮度等物理因素的影响，还受到自身所经历的情绪影响，情绪唤醒会激活自主神经系统，进而引起瞳孔变化。瞳孔指标在控制好无关变量的前提下可以作为探测心理活动的重要指标之一。

技术实现思路

[0007]针对现有技术的不足，本专利技术提供了一种融合瞳孔数据和面部表情的实时情绪识别方法及系统，利用360
°
视频诱发情绪，基于沉浸式虚拟现实头戴式设备进行隐式人脸捕捉和瞳孔数据采集，提出在利用人脸特征进行情绪识别时融入瞳孔直径特征，最后采用支持向量机SVM分类器进行分类，从而识别被试者情绪。
[0008]其具体技术方案如下：一种融合瞳孔数据和面部表情的实时情绪识别方法，包括以下步骤：S1、获取用于诱发情绪的360
°
VR视频数据；S2、基于Unity虚拟现实引擎搭建VR场景视频播放模块，作为情绪刺激材料，诱发被试者的情绪；S3、基于HTC Vive Pro Eye虚拟现实头戴式设备记录情感诱发视频，并采集被试者人脸数据和瞳孔数据；S4、采用5点校准法对被试者进行眼动校准，采集被试者静息态下的人脸数据和瞳孔数据，得到静息态下的标准人脸和瞳孔基线数据；S5、播放360
°
情绪诱发视频，使被试者置身于沉浸的虚拟现实环境中，并同步采集被试者的人脸数据和瞳孔数据；S6、在人脸数据上选取特征点，提取人脸几何特征向量；S7、在瞳孔数据上进行数据预处理，计算瞳孔校正数据，得到瞳孔直径特征；S8、将步骤S6获取的人脸几何特征向量融合步骤S7获取的瞳孔直径特征输入到训练好的SVM情绪识别模型进行实时情绪识别。
[0009]进一步的，所述步骤S1具体为：采用360
°
VR视频在沉浸式环境下唤起被试者情绪，对360
°
视频诱发的被试者情绪进行评价得到相应的情绪标签，诱发七种基本的情绪，包括快乐、悲伤、愤怒、惊讶、厌恶、恐惧和平静。
[0010]进一步的，所述步骤S4的静息态下的标准人脸数据和瞳孔基线数据，是指被试者在接受情感诱发视频之前的平静情绪下的人脸数据和瞳孔基线数据，其中瞳孔基线数据采用情绪诱发刺激前后多次测量的均值。
[0011]进一步的，所述步骤S6具体为：在人脸的眼睛、眉毛、鼻子和嘴巴选择80个特征点（,,,
…
,）以及构造眉心特征点，以鼻尖特征点和眉心特征点为基准，构造其他人脸特征点与基准点之间的特征向量，提取人脸几何特征向量的公式如下：其中，为特征点的坐标。
[0012]进一步的，所述步骤S7的瞳孔数据预处理，包括：异常数据剔除和缺失数据填补，异常数据通过低通滤波器滤波的方法剔除，缺失数据则通过线性插值填补。
[0013]进一步的，所述步骤S7的计算瞳孔校正数据，包括：计算由情绪变化引起的瞳孔校正数据和计算由屏幕亮度、注视位置不同而引起的瞳孔数据变化；所述由情绪变化引起的瞳孔校正数据的计算公式如下：其中，为瞳孔校正数据，为实时的瞳孔直径，为瞳孔基线数据，为由屏幕亮度和注视位置不同引起的瞳孔数据变化。
[0014]进一步的，所述由屏幕亮度、注视位置不同而引起的瞳孔数据变化，具体为：利用多元线性回归模型建立瞳孔直径与屏幕亮度和注视位置之间的关系，对于每个被试者，屏幕亮度和注视位置对瞳孔直径影响的线性模型如下：其中z是被试者两只眼睛的平均瞳孔直径，l是360
°
视频每帧的亮度值，v是起点在屏幕中心终点在注视点位置的向量；亮度值通过计算视频每一帧的HSV颜色空间中的V分量来评估；由屏幕亮度和注视位置不同引起的瞳孔数据变化的计算公式如下：进一步的，所述步骤S8的在训练SVM情绪识别模型时，采用One
‑
versus
‑
One方法，对任意两类情绪训练样本都构造一个子分类器，在测试阶段将每个待测样本分别输入各个子分类器，最后统计子分类器结果，得到情绪识别结果。
[0015]进一步的，所述步骤S8中，在步骤S6获取的人脸几何特征和步骤S7获取的瞳孔直径特征上分别建立SVM模型，然后利用特征权重学习算法学习人脸几何特征和瞳孔直径特征的权重，对每一个待测样本分别利用这两个模型给出属于各个情绪类别的概率，再利用权重系数计算获得待测样本属于各个情绪的概率，根据最小误差原则获得该待测样本的为概率最大的情绪类别；各个情绪类别的概率计算公式如下：计算公式如下：其中，为人脸特征的权重，为根据人脸特征给出的某一情绪类别的概率，为瞳孔直径特征的权重，为根据瞳孔直径特征给出的某一情绪类别的概率，为待测样本的情绪类别。
[0016]一种融合瞳孔数据和面部表情的实时情绪识别系统，包括：VR头戴式显示设备，作为360
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合瞳孔数据和面部表情的实时情绪识别方法，其特征在于，包括以下步骤：S1、获取用于诱发情绪的360
°
VR视频数据；S2、基于虚拟现实引擎搭建VR场景视频播放模块，作为情绪刺激材料，诱发被试者的情绪；S3、基于虚拟现实头戴式设备记录情感诱发视频，并采集被试者人脸数据和瞳孔数据；S4、采用5点校准法对被试者进行眼动校准，采集被试者静息态下的人脸数据和瞳孔数据，得到静息态下的标准人脸和瞳孔基线数据；S5、播放360
°
情绪诱发视频，并同步采集被试者的人脸数据和瞳孔数据；S6、在人脸数据上选取特征点，提取人脸几何特征向量；S7、在瞳孔数据上进行数据预处理，计算瞳孔校正数据，得到瞳孔直径特征；S8、将步骤S6获取的人脸几何特征向量融合步骤S7获取的瞳孔直径特征输入到训练好的SVM情绪识别模型进行实时情绪识别。2.根据权利要求1所述的一种融合瞳孔数据和面部表情的实时情绪识别方法，其特征在于，所述步骤S1具体为：采用360
°
VR视频在沉浸式环境下唤起被试者情绪，对360
°
视频诱发的被试者情绪进行评价得到相应的情绪标签，诱发七种基本的情绪，包括快乐、悲伤、愤怒、惊讶、厌恶、恐惧和平静。3.根据权利要求1所述的一种融合瞳孔数据和面部表情的实时情绪识别方法，其特征在于，所述步骤S4的静息态下的标准人脸数据和瞳孔基线数据，是指被试者在接受情感诱发视频之前的平静情绪下的人脸数据和瞳孔基线数据，其中瞳孔基线数据采用情绪诱发刺激前后多次测量的均值。4.根据权利要求1所述的一种融合瞳孔数据和面部表情的实时情绪识别方法，其特征在于，所述步骤S6具体为：在人脸的眼睛、眉毛、鼻子和嘴巴选择80个特征点（,,,
…
,）以及构造眉心特征点，以鼻尖特征点和眉心特征点为基准，构造其他人脸特征点与基准点之间的特征向量，提取人脸几何特征向量的公式如下：其中，为特征点的坐标。5.根据权利要求1所述的一种融合瞳孔数据和面部表情的实时情绪识别方法，其特征在于，所述步骤S7的瞳孔数据预处理，包括：异常数据剔除和缺失数据填补，异常数据通过低通滤波器滤波的方法剔除，缺失数据则通过线性插值填补。6.根据权利要求1所述的一种融合瞳孔数据和面部表情的实时情绪识别方法，其特征在于，所述步骤S7的计算瞳孔校正数据，包括：计算由情绪变化引起的瞳孔校正数据和计算由屏幕亮度、注视位置不同而引起的瞳孔数据变化；所述由情绪变化引起的瞳孔校正数据的计算公式如下：
其中，为瞳孔校正数据，为实时的瞳孔直径，为瞳孔基线数据，为由屏幕亮度和注视位置不同引起的瞳孔数据变化。7.根据权利要求6所述的一种融合瞳孔数据和面部表情的实时情绪识别...

【专利技术属性】
技术研发人员：李太豪，徐若豪，裴冠雄，刘昱龙，
申请(专利权)人：之江实验室，
类型：发明
国别省市：