【技术实现步骤摘要】
情绪分类方法和情绪分类模型的训练方法、装置及设备
[0001]本公开涉及人工智能
,具体涉及深度学习
和图像处理领域,尤其涉及情绪分类方法和情绪分类模型的训练方法、装置、电子设备和存储介质。
技术介绍
[0002]随着人工智能的发展,通过对图像或视频处理来识别对象情绪的技术在多个领域得到发展。作为表情的一种,微表情由于表征速度快和不受意识控制而更能体现出对象的真实情绪。但微表情持续时间较短且较难观察的特点,为微表情的识别带来了较大的挑战。相关技术中通常采用人工对图像或视频进行分析,这无疑存在需要耗费大量人力、时间成本高且准确率难以保证的问题。
技术实现思路
[0003]基于此,本公开提供了一种提高分类精度和分类成本的情绪分类方法、情绪分类模型的训练方法方法、装置、设备和介质。
[0004]根据本公开的一个方面,提供了一种情绪分类方法,包括:确定视频帧序列中第一目标对象的第一生理信号;基于第一生理信号,确定视频帧序列中的第一目标视频帧,其中,第一目标视频帧中第一目标对象的第一生理信号的变化满足预定变化条件;基于第一目标视频帧,确定针对第一目标对象的第一情绪分类信息;以及基于第一情绪分类信息,确定第一目标对象的情绪类别。
[0005]根据本公开的另一个方面,提供了一种情绪分类模型的训练方法,其中,情绪分类模型包括信号提取网络和第一情绪识别网络;该训练方法包括:采用信号提取网络得到视频帧序列样本中第二目标对象的第二生理信号;其中,视频帧序列样本包括第二目标对象的实际情绪类别;基于 ...
【技术保护点】
【技术特征摘要】
1.一种情绪分类方法,包括:确定视频帧序列中第一目标对象的第一生理信号;基于所述第一生理信号,确定所述视频帧序列中的第一目标视频帧,其中,所述第一目标视频帧中所述第一目标对象的第一生理信号的变化满足预定变化条件;基于所述第一目标视频帧,确定针对所述第一目标对象的第一情绪分类信息;以及基于所述第一情绪分类信息,确定所述第一目标对象的情绪类别。2.根据权利要求1所述的方法,还包括:基于所述第一生理信号,确定针对所述第一目标对象的第二情绪分类信息;其中,基于所述第一情绪分类信息,确定所述第一目标对象的情绪类别包括:基于所述第一情绪分类信息和所述第二情绪分类信息,确定所述第一目标对象的情绪类别。3.根据权利要求1或2所述的方法,还包括:针对视频数据中的每个视频帧,确定所述每个视频帧中所述第一目标对象所在的区域,作为第一目标区域;从所述每个视频帧中截取所述第一目标区域的图像,得到针对所述第一目标对象的视频帧;以及将针对所述第一目标对象的视频帧按时序排列,得到所述视频帧序列。4.根据权利要求3所述的方法,其中,所述确定视频帧序列中第一目标对象的第一生理信号包括:针对所述视频帧序列中的每一帧,确定所述每一帧中所述第一目标对象的目标部位所在的区域,作为所述每一帧的第二目标区域;以及基于所述第二目标区域,确定所述视频帧序列中第一目标对象的第一生理信号。5.根据权利要求4所述的方法,其中,所述基于所述第二目标区域,确定所述视频帧序列中第一目标对象的第一生理信号包括:基于所述视频帧序列中视频帧的排列顺序,以预定帧数为窗口长度划分所述视频帧序列;对于划分得到的每个窗口内的视频帧组,对所述视频帧组中各视频帧的第二目标区域进行影像放大处理,得到一个处理后视频帧组;以及基于得到的至少一个处理后视频帧组,确定所述第一目标对象的目标生理指标随时间变化的信息,作为所述第一生理信号。6.根据权利要求2所述的方法,其中,所述基于所述第一生理信号,确定针对所述第一目标对象的第二情绪分类信息包括:提取所述第一生理信号的特征数据;以及将所述第一生理信号中各个时间点的目标生理指标与所述特征数据拼接后输入分类网络,得到针对所述第一目标对象的第二情绪分类信息,其中,所述第一生理信号包括所述第一目标对象的目标生理指标随时间变化的信息。7.根据权利要求1所述的方法,其中,所述基于所述第一目标视频帧,确定针对所述第一目标对象的第一情绪分类信息包括:将所述第一目标视频帧输入微表情识别模型,得到针对所述第一目标对象的第一情绪分类信息。
8.根据权利要求2所述的方法,其中,所述基于所述第一情绪分类信息和所述第二情绪分类信息,确定所述第一目标对象的情绪类别包括:基于预定权重,确定所述第一情绪分类信息和所述第二情绪分类信息的加权和;以及基于所述加权和,确定所述第一目标对象的情绪类别。9.一种情绪分类模型的训练方法,其中,所述情绪分类模型包括信号提取网络和第一情绪识别网络;所述方法包括:采用所述信号提取网络得到视频帧序列样本中第二目标对象的第二生理信号;其中,所述视频帧序列样本包括所述第二目标对象的实际情绪类别;基于所述第二生理信号,确定所述视频帧序列中的第二目标视频帧,其中,所述第二目标视频帧中所述第二目标对象的第二生理信号的变化满足预定变化条件;基于所述第二目标视频帧,采用所述第一情绪识别网络确定针对所述第二目标对象的第三情绪分类信息;基于所述第三情绪分类信息,确定所述第二目标对象的预测情绪类别;以及基于所述预测情绪类别和所述实际情绪类别,对所述情绪分类模型进行训练。10.根据权利要求9所述的方法,其中,所述情绪分类模型还包括第二情绪识别网络和情绪分类网络;所述方法还包括:基于所述第二生理信号,采用所述第二情绪识别网络确定针对所述第二目标对象的第四情绪分类信息;所述基于所述第三情绪分类信息,确定所述第二目标对象的预测情绪类别包括:将所述第三情绪分类信息和所述第四情绪分类信息输入所述情绪分类网络,获得所述第二目标对象的预测情绪类别。11.一种情绪分类装置,包括:第一信号获得模块,用于确定视频帧序列中第一目标对象的第一生理信号;第一目标帧确定模块,用于基于所述第一生理信号,确定所述视频帧序列中的第一目标视频帧,其中,所述第一目标视频帧中所述第一目标对象的第一生理信号的变化满足预定变化条件;第一分类模块,用于基于所述第一目标视频帧,确定针对所述第一目标对象的第一...
【专利技术属性】
技术研发人员:冯博豪,刘雨鑫,
申请(专利权)人:北京百度网讯科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。