本申请公开了一种基于动作单元AU和微表情的问答情绪评估方法及装置，获取待检测用户的问答视频，将问答视频中关于非基础问答的第一图像输入人脸检测模型得到第一人脸图像，将第一人脸图像输入基于AU和微表情的多任务识别模型，输出第一人脸图像的多个第一AU得分和多个第一微表情得分。通过多个AU、多个微表情与多个情绪参数之间的对应关系，加权计算多个第一AU得分和多个第一微表情得分得到多个情绪参数对应的多个目标情绪值。比较多个目标情绪值与多个情绪参数对应的多个基础情绪值得到比较结果。通过比较结果评估待检测用户的问答情绪。通过这种方式设定了问答情绪的分析标准，提高了评估问答情绪的公平性以及可信度。提高了评估问答情绪的公平性以及可信度。提高了评估问答情绪的公平性以及可信度。
【技术实现步骤摘要】
基于动作单元AU和微表情的问答情绪评估方法及装置
[0001]本申请涉及微表情识别
，尤其涉及一种基于动作单元AU和微表情的问答情绪评估方法及装置。
技术介绍
[0002]随着现代社会的发展，人们越来越重视动作单元(Action Unit，AU)和微表情的研究，微表情是由人的情绪反应所直接体现的一种行为动作，人脸表情也可以被看作是由面部表情编码系统定义的不同面部运动单元的组合，面部的动作单元和微表情是能被机器所捕捉并进行分析的，人们也把这项技术应用于各种场景中。
[0003]在问答过程中，采用视频记录待检测用户的问答情况，利用机器分析待检测用户的微表情和面部动作单元来判断待检测用户是否理解问题、回答问题是否积极、是否消极，通过这种方式排除人为因素对待检测用户的干扰，同时也帮助提问者更了解待检测用户对问题的反应。
[0004]然而，利用机器分析的待检测用户的AU和微表情的方法来判断待检测用户的问答情绪缺乏统一的标准，不能给待检测用户提供一个有效的参考，可参考性低，公平性差。
技术实现思路
[0005]有鉴于此，本申请实施例提供了一种基于动作单元AU和微表情的问答情绪评估方法及装置，旨在提高评估问答情绪的公平性。
[0006]第一方面，本申请实施例提供了一种基于动作单元AU和微表情的问答情绪评估方法，所述方法包括：
[0007]获取待检测用户的问答视频；
[0008]通过人脸检测模型对所述问答视频中关于非基础问答的第一图像进行检测，获得第一人脸图像；
[0009]通过基于AU和微表情的多任务识别模型对所述第一人脸图像进行识别，获得所述第一人脸图像的多个第一AU得分和多个第一微表情得分；
[0010]根据多个AU、多个微表情与多个情绪参数之间的对应关系，对所述多个第一AU得分和所述多个第一微表情得分进行加权计算，获得所述多个情绪参数对应的多个目标情绪值；
[0011]对所述多个目标情绪值和所述多个情绪参数对应的多个基础情绪值进行比较，获取比较结果，所述多个基础情绪值是对所述问答视频中关于基础问答的第二图像进行基于所述多个情绪参数的情绪分析获得的；
[0012]根据所述比较结果评估所述待检测用户的问答情绪。
[0013]可选地，所述多个基础情绪值的获取步骤，包括：
[0014]通过所述人脸检测模型对所述问答视频中关于基础问答的第二图像进行检测，获得第二人脸图像；
[0015]通过所述基于AU和微表情的多任务识别模型对所述第二人脸图像进行识别，获得所述第二人脸图像的多个第二AU得分和多个第二微表情得分；
[0016]根据所述对应关系，对所述多个第二AU得分和所述多个第二微表情得分进行加权计算，获得所述多个基础情绪值。
[0017]可选地，所述多个情绪参数包括：积极情绪参数和消极情绪参数。
[0018]可选地，所述通过人脸检测模型对所述问答视频中关于非基础问答的第一图像进行检测，获得第一人脸图像，包括：
[0019]通过所述人脸检测模型对所述第一图像进行检测，获得第一目标人脸框的第一位置信息和所述第一目标人脸框中预设人脸关键点的第二位置信息；
[0020]根据所述第一位置信息和所述第二位置信息，对所述第一图像进行裁剪，获得所述第一人脸图像。
[0021]可选地，所述人脸检测模型的训练步骤，包括：
[0022]根据第一训练图像集合中的第一训练人脸图像和所述第一训练人脸图像的第一人脸框标注数据对第一检测网络进行预训练，获得第一预训练模型；
[0023]根据第二训练图像集合中的第二训练人脸图像以及所述第二训练人脸图像的第二人脸框标注数据和人脸关键点标注数据对所述第一预训练模型进行微调训练，获得所述人脸检测模型。
[0024]可选地，所述根据第二训练图像集合中的第二训练人脸图像、以及所述第二训练人脸图像的第二人脸框标注数据和人脸关键点标注数据对所述第一预训练模型进行微调训练，获得所述人脸检测模型，包括：
[0025]通过所述第一预训练模型对所述第二训练人脸图像进行检测，获得所述第二训练人脸图像的人脸框预测数据和人脸关键点预测数据；
[0026]根据所述第二人脸框标注数据、所述人脸关键点标注数据、所述人脸框预测数据、所述人脸关键点预测数据以及所述第一预设损失函数，微调训练所述第一预训练模型的模型参数；
[0027]将微调训练完成的第一预训练模型确定为所述人脸检测模型。
[0028]可选地，所述基于AU和微表情的多任务识别模型的训练步骤，包括：
[0029]根据第三训练图像集合中的第三训练人脸图像和所述第三训练人脸图像的人脸特征标注数据对多任务识别网络进行预训练，获得第二预训练模型；
[0030]根据第四训练图像集合中的第四训练人脸图像、所述第四训练人脸图像的AU标注数据、第五训练图像集合中的第五训练人脸图像以及所述第五训练人脸图像的微表情标注数据对所述第二预训练模型进行微调训练，获得所述基于AU和微表情的多任务识别模型。
[0031]可选地，所述根据第四训练图像集合中的第四训练人脸图像、所述第四训练人脸图像的AU标注数据、第五训练图像集合中的第五训练人脸图像以及所述第五训练人脸图像的微表情标注数据对所述第二预训练模型进行微调训练，获得所述基于AU和微表情的多任务识别模型，包括：
[0032]通过所述第二预训练模型中的特征提取层分别对所述第四训练人脸图像和所述第五训练人脸图像进行特征提取，获得所述第四训练人脸图像的第一图像特征和所述第五训练人脸图像的第二图像特征；
[0033]通过所述第二预训练模型中的卷积层分别对所述第一图像特征和所述第二图像特征进行卷积处理，获得第一卷积特征和第二卷积特征；
[0034]通过所述第二预训练模型中的AU检测层对所述第一卷积特征进行检测，获得所述第四训练人脸图像的AU预测数据；
[0035]根据所述AU标注数据、AU预测数据以及所述第二预设损失函数，微调训练所述第二预训练模型中所述特征提取层、所述卷积层和所述AU检测层的模型参数；
[0036]通过所述第二预训练模型中的微表情检测层对所述第二卷积特征进行检测，获得所述第五训练人脸图像的微表情预测数据；
[0037]根据所述微表情标注数据、所述微表情预测数据以及所述第三预设损失函数，微调训练所述第二预训练模型中所述特征提取层、所述卷积层和所述微表情检测层的模型参数；
[0038]将微调训练完成的第二预训练模型确定为所述基于AU和微表情的多任务识别模型。
[0039]第二方面，本申请实施例提供了一种基于动作单元AU和微表情的问答情绪评估装置，所述装置包括：
[0040]获取模块，用于获取待检测用户的问答视频；
[0041]第一检测模块，用于通过人脸检测模型对所述问答视频中关于非基础问答的第一图像进行检测，获得第一人脸图像；
[0042]第一识别模块，用于通过基于AU和本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于动作单元AU和微表情的问答情绪评估方法，其特征在于，所述方法包括：获取待检测用户的问答视频；通过人脸检测模型对所述问答视频中关于非基础问答的第一图像进行检测，获得第一人脸图像；通过基于AU和微表情的多任务识别模型对所述第一人脸图像进行识别，获得所述第一人脸图像的多个第一AU得分和多个第一微表情得分；根据多个AU、多个微表情与多个情绪参数之间的对应关系，对所述多个第一AU得分和所述多个第一微表情得分进行加权计算，获得所述多个情绪参数对应的多个目标情绪值；对所述多个目标情绪值和所述多个情绪参数对应的多个基础情绪值进行比较，获取比较结果，所述多个基础情绪值是对所述问答视频中关于基础问答的第二图像进行基于所述多个情绪参数的情绪分析获得的；根据所述比较结果评估所述待检测用户的问答情绪。2.根据权利要求1所述的方法，其特征在于，所述多个基础情绪值的获取步骤，包括：通过所述人脸检测模型对所述问答视频中关于基础问答的第二图像进行检测，获得第二人脸图像；通过所述基于AU和微表情的多任务识别模型对所述第二人脸图像进行识别，获得所述第二人脸图像的多个第二AU得分和多个第二微表情得分；根据所述对应关系，对所述多个第二AU得分和所述多个第二微表情得分进行加权计算，获得所述多个基础情绪值。3.根据权利要求1或2所述的方法，其特征在于，所述多个情绪参数包括：积极情绪参数和消极情绪参数。4.根据权利要求1所述的方法，其特征在于，所述通过人脸检测模型对所述问答视频中关于非基础问答的第一图像进行检测，获得第一人脸图像，包括：通过所述人脸检测模型对所述第一图像进行检测，获得第一目标人脸框的第一位置信息和所述第一目标人脸框中预设人脸关键点的第二位置信息；根据所述第一位置信息和所述第二位置信息，对所述第一图像进行裁剪，获得所述第一人脸图像。5.根据权利要求1或2所述的方法，其特征在于，所述人脸检测模型的训练步骤，包括：根据第一训练图像集合中的第一训练人脸图像和所述第一训练人脸图像的第一人脸框标注数据对第一检测网络进行预训练，获得第一预训练模型；根据第二训练图像集合中的第二训练人脸图像以及所述第二训练人脸图像的第二人脸框标注数据和人脸关键点标注数据对所述第一预训练模型进行微调训练，获得所述人脸检测模型。6.根据权利要求5所述的方法，其特征在于，所述根据第二训练图像集合中的第二训练人脸图像、以及所述第二训练人脸图像的第二人脸框标注数据和人脸关键点标注数据对所述第一预训练模型进行微调训练，获得所述人脸检测模型，包括：通过所述第一预训练模型对所述第二训练人脸图像进行检测，获得所述第二训练人脸图像的人脸框预测数据和人脸关键点预测数据；根据所述第二人脸框标注数据、所述人脸关键点标注数据、所述人脸框预测数据、所述
人脸关键点预测数据以及所述第一预设损失函数，微调训练所述第一预训练模型的模型参数；将微调训练完成的第一预训练模型确定为所述人脸检测模型。7.根据权利要求1或2所述的方法，其特征在于，所述基于AU和微表情的多任务识别模型的训练步骤，包括：根据第三训练图像集合中的第三训练人脸图像和所述第三训练人脸图像的人脸特征标注数据对多任务...
【专利技术属性】
技术研发人员：卜燕，
申请(专利权)人：太保科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。