本申请提出一种模型训练方法、表情识别方法、装置以及计算机存储介质，所述模型训练方法包括：获取训练样本，其中，训练样本为表情数据集中同一表情的至少两帧表情图像；获取待训练模型的特征提取层输出的第一帧表情图像的第一图像特征，以及第二帧表情图像的第二图像特征；获取第一图像特征和所述第二图像特征的特征差异值；按照特征差异值确定所述待训练模型的第一损失值；基于第一损失值对所述待训练模型进行训练。通过上述方式，本申请利用特征差异值引导不同状态表情之间的特征转换，增大了不同状态表情的细节识别效果，提高表情识别的模型训练效果。的模型训练效果。的模型训练效果。
【技术实现步骤摘要】
模型训练方法、表情识别方法、装置以及计算机存储介质
[0001]本申请涉及人工智能领域，特别是涉及一种模型训练方法、表情识别方法、装置以及计算机存储介质。
技术介绍
[0002]表情是人类传递和表达感情的一个重要方式，它最为直接的反应人类实时的情绪和心理状况。我们可以通过面部表情向他人传递自己的情绪，也可以通过对方的表情了解他人的真实想法和情感。著名的心理学家提出将人面部表情划分为最基本的六类：愉快、惊奇、悲伤、厌恶、愤怒和惧怕。目前无数研究者致力于表情识别的研究，提出了许多表情识别的方法。虽然说表情识别相关研究合计数愈发成熟，但人脸面部表情识别是一种非常复杂的研究工作。因为人类有不同的状态，不同的年龄，不同脸型的区别，这些因素都会对人脸表情识别正确率提升造成很大的影响。
[0003]虽然人脸表情识别方面出现大量的研究成果，但是在实际场景中表情识别仍然是一个困难的问题。对于同一种情感，不同的人往往会表现出不同强度和视觉感官。而且即使是同一个人与会表现出不同的强度，比如嘴角弧度、面部肌肉运动状态等。在日常生活中不同状态、不同状态的表情的识别难易程度不同。
技术实现思路
[0004]为解决上述技术问题，本申请提出了一种模型训练方法、表情识别方法、装置以及计算机存储介质。
[0005]为解决上述技术问题，本申请提出了一种模型训练方法，包括：
[0006]获取训练样本，其中，所述训练样本为表情数据集中同一表情的至少两帧表情图像；获取待训练模型的特征提取层输出的第一帧表情图像的第一图像特征，以及第二帧表情图像的第二图像特征；获取所述第一图像特征和所述第二图像特征的特征差异值；按照所述特征差异值确定所述待训练模型的第一损失值；基于所述第一损失值对所述待训练模型进行训练。
[0007]其中，所述特征差异值包括中层特征差异值和深层特征差异值；所述获取待训练模型的特征提取层输出的第一帧表情图像的第一图像特征，以及第二帧表情图像的第二图像特征，包括：获取所述待训练模型的中层特征提取层输出的第一帧表情图像的第三图像特征，以及第二帧表情图像的第四图像特征；获取所述待训练模型的深层特征提取层输出的第一帧表情图像的第五图像特征，以及第二帧表情图像的第六图像特征；所述获取所述第一图像特征和所述第二图像特征的特征差异值，包括：获取所述第三图像特征和所述第四图像特征的中层特征差异值；获取所述第五图像特征和所述第六图像特征的深层特征差异值；所述按照所述特征差异值确定所述待训练模型的第一损失值，包括：按照所述中层特征差异值和所述深层特征差异值确定所述待训练模型的第一损失值。
[0008]其中，所述第一损失值包括中层特征损失值和深层特征损失值；所述基于所述第
一损失值对所述待训练模型进行训练，包括：基于所述中层特征损失值和所述深层特征损失值对所述待训练模型进行训练。
[0009]其中，所述至少两帧表情图像包括同一表情的起点表情图像、过渡表情图像以及峰值表情图像，其中，起点表情图像、过渡表情图像以及峰值表情图像按照时间序列排序。
[0010]其中，所述获取训练样本，包括：获取所述表情数据集中的若干表情序列帧；计算所述若干表情序列帧两两之间的相似度；按照所述相似度对所述若干表情序列帧进行聚类划分；将同一聚类中心的预设数量表情序列帧，按照时间序列组成所述训练样本。
[0011]其中，所述模型训练方法还包括：获取所述待训练模型的特征识别层输出的第一帧表情图像的第一网络预测标签，以及第二帧表情图像的第二网络预测标签；获取所述第一网络预测标签、所述第二网络预测标签与表情真实标签的表情识别误差；按照所述表情识别误差确定所述待训练模型的第二损失值；所述基于所述第一损失值对所述待训练模型进行训练包括：基于所述第一损失值和所述第二损失值对所述待训练模型进行训练。
[0012]其中，所述基于所述第一损失值对所述待训练模型进行训练之后，所述模型训练方法还包括：获取测试样本，其中，所述测试样本为所述表情数据集中任意一帧表情图像；将所述表情图像输入所述待训练模型，获取所述待训练模型输出的表情测试标签；按照所述表情测试标签以及表情真实标签确定所述待训练模型的训练情况。
[0013]为解决上述技术问题，本申请提出一种表情识别方法，所述表情识别方法包括：获取视频图像；将所述视频图像输入到预先训练好的表情识别模型中，获取所述表情识别模型输出的表情识别结果；根据所述表情识别结果确定所述视频图像对应的表情类型；其中，所述表情识别模型由上述的模型训练方法训练所得。
[0014]为解决上述技术问题，本申请提出一种表情识别装置，所述表情识别装置包括处理器和存储器，所述存储器中存储有程序数据，所述处理器用于执行所述程序数据以实现上述的模型训练方法，和/或上述表情识别方法。
[0015]为解决上述技术问题，本申请提出一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现上述的模型训练方法，和/或上述的表情识别方法。
[0016]与现有技术相比，本申请的有益效果是：表情识别装置获取训练样本，其中，训练样本为表情数据集中同一表情的至少两帧表情图像；获取待训练模型的特征提取层输出的第一帧表情图像的第一图像特征，以及第二帧表情图像的第二图像特征；获取第一图像特征和所述第二图像特征的特征差异值；按照特征差异值确定所述待训练模型的第一损失值；基于第一损失值对所述待训练模型进行训练。通过上述方式，本申请利用特征差异值引导不同状态表情之间的特征转换，增大了不同状态表情的细节识别效果，提高表情识别的模型训练效果。
附图说明
[0017]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]其中：
[0019]图1是本申请提供的模型训练方法的第一实施例的流程示意图；
[0020]图2是本申请提供的模型训练方法的同一表情强度变化示意图；
[0021]图3是本申请提供的模型训练方法的一具体实施例的训练过程示意图；
[0022]图4是图1所示模型训练方法步骤S11的具体流程示意图；
[0023]图5是本申请提供的模型训练方法的第三实施例的流程示意图；
[0024]图6是本申请提出的模型训练方法的第四实施例的流程示意图；
[0025]图7是本申请提出的表情识别方法的一实施例流程示意图；
[0026]图8是本申请提供的表情识别装置一实施例的结构示意图；
[0027]图9是本申请提供的计算机存储介质一实施例的结构示意图。
具体实施方式
[0028]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种模型训练方法，其特征在于，所述模型训练方法包括：获取训练样本，其中，所述训练样本为表情数据集中同一表情的至少两帧表情图像；获取待训练模型的特征提取层输出的第一帧表情图像的第一图像特征，以及第二帧表情图像的第二图像特征；获取所述第一图像特征和所述第二图像特征的特征差异值；按照所述特征差异值确定所述待训练模型的第一损失值；基于所述第一损失值对所述待训练模型进行训练。2.根据权利要求1所述的模型训练方法，其特征在于，所述特征差异值包括中层特征差异值和深层特征差异值；所述获取待训练模型的特征提取层输出的第一帧表情图像的第一图像特征，以及第二帧表情图像的第二图像特征，包括：获取所述待训练模型的中层特征提取层输出的第一帧表情图像的第三图像特征，以及第二帧表情图像的第四图像特征；获取所述待训练模型的深层特征提取层输出的第一帧表情图像的第五图像特征，以及第二帧表情图像的第六图像特征；所述获取所述第一图像特征和所述第二图像特征的特征差异值，包括：获取所述第三图像特征和所述第四图像特征的中层特征差异值；获取所述第五图像特征和所述第六图像特征的深层特征差异值；所述按照所述特征差异值确定所述待训练模型的第一损失值，包括：按照所述中层特征差异值和所述深层特征差异值确定所述待训练模型的第一损失值。3.根据权利要求2所述的模型训练方法，其特征在于，所述第一损失值包括中层特征损失值和深层特征损失值；所述基于所述第一损失值对所述待训练模型进行训练，包括：基于所述中层特征损失值和所述深层特征损失值对所述待训练模型进行训练。4.根据权利要求1所述的模型训练方法，其特征在于，所述至少两帧表情图像包括同一表情的起点表情图像、过渡表情图像以及峰值表情图像，其中，起点表情图像、过渡表情图像以及峰值表情图像按照时间序列排序。5.根据权利要求4所述的模型训练方法，其特征在于，所述获取训练样本，包括：获取所述表情数据集中的若干表情序列帧；...
【专利技术属性】
技术研发人员：朱睿，王康，熊宇鹏，陈波扬，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。