一种情绪识别方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种情绪识别方法、装置、电子设备及存储介质。该方法包括：获取待处理的目标视频文件，目标视频文件中包括目标用户的图像以及语音；从目标视频中提取多组图像集合以及语音片段；分析图像集合得到目标用户的面部分析结果，以及分析语音片段获取目标用户的音频分析结果以及语义分析结果；根据面部分析结果、语义分析结果以及音频分析结果确定目标用户的目标情绪类型。本申请通过从视频文件中提取图像集合和语音片段，并基于图像集合和语音片段能够确定用户的面部分析结果，语义分析结果以及音频分析，实现了多维度定位用户的情绪变化，相比现有单纯基于用户文本内容的情绪识别，极大的提高识别用户情绪变化的准确率。极大的提高识别用户情绪变化的准确率。极大的提高识别用户情绪变化的准确率。

【技术实现步骤摘要】
一种情绪识别方法、装置、电子设备及存储介质


[0001]本申请涉及人工智能
，尤其涉及一种情绪识别方法、装置、电子设备及存储介质。

技术介绍

[0002]随着机器学习与人工智能，以及人类行为学研究的发展，人们对人类情绪表达的研究越发重视。传统技术进行情绪识别，一般都是单纯的使用语音或者视觉的方式去识别人们当前的情绪，这种单一的识别方式往往准确率不高，出现误识别的情况。而单纯靠通过视觉方法识别人们的情绪，有的人在喜悦、愤怒、悲伤等情绪时，所表现出的面部表情是不同的；再或者只使用语音方式来识别人们的情绪，通常识别结果会受到方言，说话人口齿是否清晰，以及周围环境的影响，降低了语音检测的准确率。最终导致无法对人的情绪进行精准的识别。

技术实现思路

[0003]为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种情绪识别方法、装置、电子设备及存储介质。
[0004]根据本申请实施例的一个方面，提供了一种情绪识别方法，包括：
[0005]获取待处理的目标视频文件，其中，所述目标视频文件中包括目标用户的图像以及语音；
[0006]从所述目标视频中提取多组图像集合以及语音片段；
[0007]分析所述图像集合得到所述目标用户的面部分析结果，以及分析所述语音片段获取所述目标用户的音频分析结果以及语义分析结果；
[0008]根据所述面部分析结果、所述语义分析结果以及所述音频分析结果确定所述目标用户的目标情绪类型。
[0009]进一步的，所述从所述目标视频中提取多组图像集合以及语音片段，包括：
[0010]按照预设时间间隔对所述目标视频文件进行分割，得到多个视频片段；
[0011]提取所述视频片段中的每帧图像，生成所述视频片段对应的图像集合；
[0012]检测所述视频片段中的语音信息，生成所述语音片段。
[0013]进一步的，所述分析所述图像集合得到所述目标用户的面部分析结果，包括：
[0014]提取所述图像集合中每帧图像的图像特征；
[0015]将所述图像集合中图像特征存在用户特征的图像确定为目标图像，其中，所述用户特征为所述目标用户的特征；
[0016]将所述目标图像输入第一检测模型，以使所述第一检测模型基于所述目标图像中提取所述目标用户的面部特征以及面部变化特征，并确定所述面部特征以及面部变化特征对应的至少一个第一情绪类型，将所述第一情绪类型确定为所述面部分析结果。
[0017]进一步的，所述分析所述语音片段获取所述目标用户的音频分析结果以及语义分
析结果，包括：
[0018]从所述视频片段中提取所述目标用户的音频数据以及语义数据；
[0019]将所述音频数据输入第二检测模型，以使所述第二检测模型从所述音频数据中提取所述目标用户的音频特征以及音频变化特征，并确定所述音频特征以及音频变化特征对应的至少一个第二情绪类型，将所述第二情绪类型确定为所述音频分析结果；
[0020]将所述语义数据第三检测模型，以使所述第三检测模型从所述语义数据中提取所述目标用户的语义特征以及语义变化特征，并确定所述语义特征以及语义变化特征对应的至少一个第三情绪类型，将所述第三情绪类型确定为所述语义分析结果。
[0021]进一步的，所述根据所述面部分析结果、所述语义分析结果以及所述音频分析结果确定所述目标用户的目标情绪类型，包括：
[0022]确定所述面部分析结果、所述语义分析结果以及所述音频分析结果分别对应的预设权重；
[0023]按照所述预设权重计算所述面部分析结果、所述语义分析结果以及所述音频分析结果所携带情绪类型的置信度；
[0024]将所述置信度最大的情绪类型确定为目标情绪类型。
[0025]进一步的，在根据所述面部分析结果、所述语义分析结果以及所述音频分析结果确定所述目标用户的目标情绪类型之后，所述方法还包括：
[0026]检测所述目标用户在当前时刻的行为数据；
[0027]计算所述行为数据与所述目标情绪类型之间的匹配度；
[0028]在所述匹配度低于预设匹配度的情况下，生成提示信息。
[0029]进一步的，在所述匹配度低于预设匹配度的情况下，所述方法还包括：
[0030]获取与当前时刻相邻的至少两个历史时刻对所述目标用户进行分析，得到的历史情绪类型；
[0031]计算所述历史情绪类型与所述目标情绪类型之间的相似度；
[0032]在所述匹配度低于预设匹配度的情况下，生成提示信息，包括：
[0033]在所述匹配度低于预设匹配度，且所述相似度低于预设相似度的情况下，生成所述提示信息。
[0034]根据本申请实施例的另一个方面，还提供了一种情绪识别装置，包括：
[0035]获取模块，用于获取待处理的目标视频文件，其中，所述目标视频文件中包括目标用户的图像以及语音；
[0036]提取模块，用于从所述目标视频中提取多组图像集合以及语音片段；
[0037]分析模块，用于分析所述图像集合得到所述目标用户的面部分析结果，以及分析所述语音片段获取所述目标用户的音频分析结果以及语义分析结果；
[0038]确定模块，用于根据所述面部分析结果、所述语义分析结果以及所述音频分析结果确定所述目标用户的目标情绪类型。
[0039]根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的步骤。
[0040]根据本申请实施例的另一方面，还提供了一种电子装置，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其
中：存储器，用于存放计算机程序；处理器，用于通过运行存储器上所存放的程序来执行上述方法中的步骤。
[0041]本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法中的步骤。
[0042]本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请通过从视频文件中提取图像集合和语音片段，并基于图像集合和语音片段能够确定用户的面部分析结果，语义分析结果以及音频分析，实现了多维度定位用户的情绪变化，相比现有单纯基于用户文本内容的情绪识别，极大的提高识别用户情绪变化的准确率。
附图说明
[0043]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0044]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0045]图1为本申请实施例提供的一种情绪识别方法的流程图；
[0046]图2为本申请另一实施例提供的一种情绪识别方法的流程图；
[0047]图3本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种情绪识别方法，其特征在于，包括：获取待处理的目标视频文件，其中，所述目标视频文件中包括目标用户的图像以及语音；从所述目标视频中提取多组图像集合以及语音片段；分析所述图像集合得到所述目标用户的面部分析结果，以及分析所述语音片段获取所述目标用户的音频分析结果以及语义分析结果；根据所述面部分析结果、所述语义分析结果以及所述音频分析结果确定所述目标用户的目标情绪类型。2.根据权利要求1所述的方法，其特征在于，所述从所述目标视频中提取多组图像集合以及语音片段，包括：按照预设时间间隔对所述目标视频文件进行分割，得到多个视频片段；提取所述视频片段中的每帧图像，生成所述视频片段对应的图像集合；检测所述视频片段中的语音信息，生成所述语音片段。3.根据权利要求2所述的方法，其特征在于，所述分析所述图像集合得到所述目标用户的面部分析结果，包括：提取所述图像集合中每帧图像的图像特征；将所述图像集合中图像特征存在用户特征的图像确定为目标图像，其中，所述用户特征为所述目标用户的特征；将所述目标图像输入第一检测模型，以使所述第一检测模型基于所述目标图像中提取所述目标用户的面部特征以及面部变化特征，并确定所述面部特征以及面部变化特征对应的至少一个第一情绪类型，将所述第一情绪类型确定为所述面部分析结果。4.根据权利要求2所述的方法，其特征在于，所述分析所述语音片段获取所述目标用户的音频分析结果以及语义分析结果，包括：从所述视频片段中提取所述目标用户的音频数据以及语义数据；将所述音频数据输入第二检测模型，以使所述第二检测模型从所述音频数据中提取所述目标用户的音频特征以及音频变化特征，并确定所述音频特征以及音频变化特征对应的至少一个第二情绪类型，将所述第二情绪类型确定为所述音频分析结果；将所述语义数据第三检测模型，以使所述第三检测模型从所述语义数据中提取所述目标用户的语义特征以及语义变化特征，并确定所述语义特征以及语义变化特征对应的至少一个第三情绪类型，将所述第三情绪类型确定为所述语义分析结果。5.根据权利要求1所述的方法，其特征在于，所述根据所述面部分析结果、所述语义分析结果以及所...

【专利技术属性】
技术研发人员：刘高成，刘青松，梁家恩，
申请(专利权)人：云知声智能科技股份有限公司，
类型：发明
国别省市：