【技术实现步骤摘要】
本申请涉及自动微表情识别领域，尤其涉及一种跨帧率微表情识别方法领域，特别是涉及一种跨帧率微表情识别方法及装置。
技术介绍
1、面部表情作为人类沟通的重要媒介，在社交互动和情感认知中发挥着重要作用。当人类试图隐藏或抑制其主观感受时，一种特殊类型的面部表情，即微表情，会不自觉地泄露，仅在部分面部肌肉中以微弱的强度出现，并且持续时间非常短，通常不到0.5秒。实际上，微表情是由大脑皮质运动通路控制的自愿表达与由额外皮质运动通路控制的非自愿表达之间冲突产生的重要心理应激反应。因此，微表情可以揭示人们真实的情感，并且微表情识别在诸如测谎、谈判和心理诊断等场景中有广泛应用。
2、近年来，微表情识别受到越来越多来自心理学和人工智能等领域研究者的关注。随着深度学习的兴起，深度神经网络在各种计算机视觉任务中展现出强大的表征能力，从而催生了一系列优秀的基于深度学习的自动微表情识别方法。然而，目前大多数自动微表情识别模型都是利用实验室环境下收集的微表情数据集进行训练的，通常由高速摄像机采集得到，其帧率高达每秒100帧（如smic-hs）、200帧（如casme ii）甚至更多。尽管现有模型在这些高帧率数据集上取得了良好的性能，但是让它们在实际应用中发挥作用仍有待突破。这主要是因为现实生活中大量的面部数据是使用普通摄像机以每秒30帧或60帧的帧率记录的，这些摄像机难以完全捕捉微妙且持续时间短暂的微表情运动。
3、针对低帧率微表情数据的重要时间信息易丢失，难以获取低帧率微表情的预测情感标签向量，给现有模型对显著微表情特征的学习带来了
技术实现思路
1、在本实施例中提供了一种跨帧率微表情识别方法及装置，以解决低帧率微表情数据的重要时间信息易丢失，难以获取低帧率微表情的预测情感标签的问题。
2、第一方面，本专利技术提供了一种跨帧率微表情识别方法，包括：
3、分别获取高帧率微表情数据集和低帧率微表情数据集中的高帧率动态图像和低帧率动态图像；由高帧率微表情数据集，获取抽帧后动态图像；获取高帧率微表情数据集中的起始帧图像；由高帧率动态图像、抽帧后动态图像和起始帧图像训练第一特征提取器；使用第一特征提取器创建第二特征提取器；将低帧率动态图像输入至第二特征提取器，得到低帧率图像特征；对低帧率图像特征进行情感分类，得到低帧率微表情数据集中微表情的预测情感标签向量。
4、在其中的一些实施例中，分别获取高帧率微表情数据集和低帧率微表情数据集中的高帧率动态图像和低帧率动态图像，包括：由高帧率微表情数据集和低帧率微表情数据集，分别获取高帧率数据集和低帧率数据集；由高帧率数据集和低帧率数据集分别获取高帧率动态图像和低帧率动态图像。
5、在其中的一些实施例中，由高帧率微表情数据集和低帧率微表情数据集，分别获取高帧率数据集和低帧率数据集，包括：对高帧率微表情数据集和低帧率微表情数据集中的全部原始图像帧进行统一的人脸检测、对齐和裁剪，获取只包含面部的高帧率数据集和只包含面部的低帧率数据集。
6、在其中的一些实施例中，由高帧率数据集和低帧率数据集分别获取高帧率动态图像和低帧率动态图像，包括：对只包含面部的高帧率数据集和只包含面部的低帧率数据集中的每个样本进行动态图计算，得到高帧率动态图像和低帧率动态图像。
7、在其中的一些实施例中，由高帧率微表情数据集，获取抽帧后动态图像，包括：对高帧率数据集中的每个样本均匀抽帧，得到与低帧率数据集帧率一致的抽帧后数据集，对抽帧后数据集进行动态图计算，得到抽帧后动态图像。
8、在其中的一些实施例中，由高帧率动态图像、抽帧后动态图像和起始帧图像训练第一特征提取器，包括：由高帧率动态图像和抽帧后动态图像，确定总体分类损失和跨帧率相似度损失；由高帧率动态图像、抽帧后动态图像和起始帧图像，确定情感判别性三元组损失；由总体分类损失、跨帧率相似度损失和情感判别性三元组损失，确定最小化总损失。
9、在其中的一些实施例中，由高帧率动态图像和抽帧后动态图像，确定总体分类损失和跨帧率相似度损失，包括：将高帧率动态图像和抽帧后动态图像输入至共享的第一特征提取器，得到高帧率图像特征、抽帧后图像特征；由高帧率图像特征得到高帧率交叉熵损失，由抽帧后图像特征得到抽帧后交叉熵损失；由高帧率交叉熵损失和抽帧后交叉熵损失，确定总体分类损失；由高帧率图像特征和抽帧后图像特征，确定跨帧率相似度损失。
10、在其中的一些实施例中，由高帧率动态图像、抽帧后动态图像和起始帧图像，确定情感判别性三元组损失，包括：将起始帧图像输入第一特征提取器，得到起始帧图像特征；由所述高帧率图像特征、抽帧后图像特征和起始帧图像特征获得情感判别性三元组损失。
11、在其中的一些实施例中，使用第一特征提取器创建第二特征提取器，包括：对第二特征提取器进行初始化，冻结第二特征提取器的浅层权重，微调第二特征提取器的深层权重。
12、与现有技术相比，本专利技术提供的技术方案，通过跨帧率表征对齐学习训练第二特征提取器，并在目标低帧率数据集上进一步微调，可以让模型在高帧率微表情数据上得到充分的跨帧率对齐训练，从而对低帧率数据进行有效的时间运动信息补足。
13、同时，在跨帧率表征对齐阶段，利用现有的高帧率数据集，设计了一种渐进式训练策略并引入多种有效的损失函数，这在对齐高低帧率微表情的表征的同时增强了对显著性情感特征的学习，从而大幅提升了低帧率微表情识别的性能。
14、第二方面，本专利技术提供了一种跨帧率微表情识别装置，包括：
15、数据样本预处理模块，用于对高帧率微表情数据集和低帧率微表情数据集中微表情的全部原始图像帧进行统一的人脸检测、对齐和裁剪，获得对应高帧率数据集和低帧率数据集；其中高帧率数据集经过均匀抽帧后，获得抽帧后数据集；对高帧率数据集、抽帧后数据集和低帧率数据集进行动态图计算，得到对应的高帧率动态图像、抽帧后动态图像和低帧率动态图像。
16、跨帧率表征对齐学习模块，用于获得高帧率微表情数据集中微表情样本的总体分类损失、跨帧率相似度损失和情感判别性三元组损失，继而对第一特征提取器进行训练学习；
17、面向低帧率微表情的微调模块，用于使用跨帧率表征对齐学习模块中训练学习后的第二特征提取器做参数初始化，并冻结浅层权重，以低帧率微表情数据集作为输入数据，对第二特征提取器微调深层权重；将低帧率动态图像输入至学习训练后的第二特征提取器，得到低帧率图像特征；将低帧率图像特征通过学习训练后的情感分类器，得到低帧率微表情数据集中微表情的预测情感标签向量。
18、第三方面，本专利技术提供了一种电子设备，所述电子设备包括存储器以及处理器，所述存储器存储有至少一条计算机可执行指令，所述处理器被配置为运行所述计算机可执行指令，所述计算机可执行指令被所述处理器运行时以实现第一方面所述的跨帧率微表情识别方法。
19、第四方面，本专利技术提供了一种计算机可读存储介质，计算机可读本文档来自技高网...
【技术保护点】
1.跨帧率微表情识别方法，其特征在于，包括：
2.根据权利要求1所述的一种跨帧率微表情识别方法，其特征在于，分别获取高帧率微表情数据集和低帧率微表情数据集中的高帧率动态图像和低帧率动态图像，包括：
3.根据权利要求2所述的一种跨帧率微表情识别方法，其特征在于，由高帧率微表情数据集和低帧率微表情数据集，分别获取高帧率数据集和低帧率数据集，包括：
4.根据权利要求2所述的一种跨帧率微表情识别方法，其特征在于，由高帧率数据集和低帧率数据集分别获取高帧率动态图像和低帧率动态图像，包括：
5.根据权利要求2所述的一种跨帧率微表情识别方法，其特征在于，由高帧率微表情数据集，获取抽帧后动态图像，包括：
6.根据权利要求1所述的一种跨帧率微表情识别方法，其特征在于，由高帧率动态图像、抽帧后动态图像和起始帧图像训练第一特征提取器，包括：
7.根据权利要求6所述的一种跨帧率微表情识别方法，其特征在于，
8.根据权利要求7所述的一种跨帧率微表情识别方法，其特征在于，由高帧率动态图像、抽帧后动态图像和起始帧图像，确定情感
9.根据权利要求1所述的一种跨帧率微表情识别方法，其特征在于，使用第一特征提取器创建第二特征提取器，包括：
10.一种跨帧率微表情识别装置，其特征在于，包括：
...【技术特征摘要】
1.跨帧率微表情识别方法，其特征在于，包括：
2.根据权利要求1所述的一种跨帧率微表情识别方法，其特征在于，分别获取高帧率微表情数据集和低帧率微表情数据集中的高帧率动态图像和低帧率动态图像，包括：
3.根据权利要求2所述的一种跨帧率微表情识别方法，其特征在于，由高帧率微表情数据集和低帧率微表情数据集，分别获取高帧率数据集和低帧率数据集，包括：
4.根据权利要求2所述的一种跨帧率微表情识别方法，其特征在于，由高帧率数据集和低帧率数据集分别获取高帧率动态图像和低帧率动态图像，包括：
5.根据权利要求2所述的一种跨帧率微表情识别方法，其特征在于，由高帧率...
【专利技术属性】
技术研发人员：陈恩红，赵思蕊，毛星茏，徐童，刘世凤，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。