本申请公开了一种情绪识别方法、装置、存储介质及终端设备，所述方法包括获取待识别的视频数据；确定所述语音对话中的各对话语句各自对应的情绪特征，并基于确定的所有情绪特征确定所述语音对话对应的语句关联性集合，其中，所述语句关联性集合包括各对话语句之间的关联性；基于所述语句关联性集合，确定所述语音对话中的各对话语句各自对应的情绪类型。本申请通过视频数据确定语音对话中的各对话语句的情绪特征，并基于情绪特征构建语句关联性集合，以通过语句关联性集合确定对话语句对应的情绪类型，这样通过语句关联性集合的关系表达能力，可以学习到各对话语句各自对应的情绪特征之间的关联性，从而可以提高各对话语句各自对应的情绪类型的准确性。自对应的情绪类型的准确性。自对应的情绪类型的准确性。
【技术实现步骤摘要】
一种情绪识别方法、装置、存储介质及终端设备
[0001]本申请涉及计算机应用
，特别涉及一种情绪识别方法、装置、存储介质及终端设备。
技术介绍
[0002]随着移动互联网的快速发展，人机交互成为人们日常生成比不可少的交互方式。人们在进行人机交互过程中，普遍希望与之交互的设备(机器) 具有类似人的识别和理解情绪的能力，从而对人机交互技术提出了更高的要求。目前，大多数情绪识别(例如，情感分析和情绪识别)普遍集中在人脸表情识别、肢体动作识别、语音情绪识别以及文本情绪分析等，但是现有情绪识别方式中普遍存在信息量不足且容易受到外界各种因素的干扰的问题(例如，面部被部分遮挡、语音受环境噪声干扰、文本信息受上下文及说话者性格特征的影响等)，从而导致无法准确识别情绪。
技术实现思路
[0003]本申请要解决的技术问题在于，针对现有技术的不足，提供一种情绪识别方法、装置、存储介质及终端设备。
[0004]为了解决上述技术问题，本申请实施例第一方面提供了一种情绪识别方法，所述方法包括：
[0005]获取待识别的视频数据，其中，所述视频数据包括若干对话方之间的语音对话；
[0006]确定所述语音对话中的各对话语句各自对应的情绪特征，并基于确定的所有情绪特征确定所述语音对话对应的语句关联性集合，其中，所述语句关联性集合包括各对话语句之间的关联性；
[0007]基于所述语句关联性集合，确定所述语音对话中的各对话语句各自对应的情绪类型。
[0008]所述情绪识别方法，其中，所述确定所述语音对话中的各对话语句各自对应的情绪特征具体包括：
[0009]提取所述视频数据携带的音频信息以及图像信息，以及确定所述音频信息对应的文本信息；
[0010]基于所述音频信息、图像信息以及所述文本信息，确定所述语音对话中的各对话语句各自对应的情绪特征。
[0011]所述情绪识别方法，其中，所述基于所述音频信息、图像信息以及所述文本信息，确定所述语音对话中的各对话语句各自对应的情绪特征具体包括：
[0012]获取所述语音对话中的各对话语句，其中，所述语音对话中的每一对话语句均分别对应一对话方；
[0013]确定所述语音对话中的各对话语句各自对应的情绪特征；其中，对于每个对话语句，确定该对话语句对应的图像信息块以及文本信息块，其中，所述图像信息块包括于所述
图像信息中，所述文本信息块包括于所述文本信息中；确定该对话语句对应的语音情绪特征、该图像信息块对应的图像情绪特征，以及该文本信息块对应的文本情绪特征；基于该语音情绪特征、图像情绪特征以及文本情绪特征，确定该对话语句对应的情绪特征，以得到各对话语句各自对应的情绪特征。
[0014]所述情绪识别方法，其中，所述基于确定的所有情绪特征确定所述语音对话对应的语句关联性集合，其中，所述语句关联性集合包括各对话语句之间的关联性具体包括：
[0015]将各对话语句各自对应的情绪特征作为图节点，并将各图节点按照语音对话的对话顺序依次连接，以得到若干第一连接边；
[0016]对于每个图节点，获取该图节点对应的候选图节点，并将该图节点与其对应的候选图节点连接以得到若干第二连接边，其中，所述候选图节点对应的对话方与该图节点对应的对话方相同，并且候选节点与该图节点相邻；
[0017]将所述图节点以及若干第一连接边和若干第二连接边构成的图结构作为所述语音对话对应的语句关联性集合。
[0018]所述情绪识别方法，其中，所述语句关联性集合采用图结构，所述基于所述语句关联性集合，确定所述语音对话中的各对话语句各自对应的情绪类型具体包括：
[0019]对所述语句关联性集合进行图运算，以得到所述图特征；
[0020]基于所述图特征对语句关联性集合中的各图节点各自对应的情感类型，以得到所述语音对话中的各对话语句各自对应的情绪类型。
[0021]所述情绪识别方法，其中，所述对所述语句关联性集合进行图运算，以得到所述图特征具体包括：
[0022]获取所述语句关联性集合对应的拉普拉斯矩阵，并基于所述拉普拉斯矩阵确定所述语句关联性集合对应的目标卷积核；
[0023]基于所述目标卷积核对所述语句关联性集合进行图运算，得到所述图特征。
[0024]所述情绪识别方法，其中，所述基于所述目标卷积核对所述语句关联性集合进行图运算，得到所述图特征具体包括：
[0025]将所述语句关联性集合输入经过训练的图卷积网络，其中，所述图卷积网络中的图卷积层的卷积核为所述目标卷积核；
[0026]通过所述图卷积网络输出所述语句关联性集合对应的图特征。
[0027]所述情绪识别方法，其中，所述获取所述语句关联性集合对应的拉普拉斯矩阵，并基于所述拉普拉斯矩阵确定所述语句关联性集合对应的目标卷积核具体包括：
[0028]获取所述语句关联性集合对应的邻接矩阵以及度矩阵，基于所述邻接矩阵以及度矩阵确定所述语句关联性集合对应的拉普拉斯矩阵；
[0029]对所述拉普拉斯矩阵进行正则化，以得到所述语句关联性集合对应的目标卷积核。
[0030]所述情绪识别方法，其中，所述基于所述语句关联性集合，确定所述语音对话中的各对话语句各自对应的情绪类型之后，所述方法还包括：
[0031]对于语音对话中的目标对话语句，基于该对话语句以及该目标对话语句对应的情绪类型，确定该目标对话语句对应的应答信息。
[0032]本申请实施例第二方面提供了一种情绪识别装置，所述情绪识别装置包括：
[0033]获取模块，用于获取待识别的视频数据，其中，所述视频数据包括若干对话方之间的语音对话；
[0034]第一确定模块，用于确定所述语音对话中的各对话语句各自对应的情绪特征，并基于确定的所有情绪特征确定所述语音对话对应的语句关联性集合，其中，所述语句关联性集合包括各对话语句之间的关联性；
[0035]第二确定模块，用于基于所述语句关联性集合，确定所述语音对话中的各对话语句各自对应的情绪类型。
[0036]本申请实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的情绪识别方法中的步骤。
[0037]本申请实施例第五方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
[0038]所述通信总线实现处理器和存储器之间的连接通信；
[0039]所述处理器执行所述计算机可读程序时实现如上任一所述的情绪识别方法中的步骤。
[0040]有益效果：与现有技术相比，本申请提供了一种情绪识别方法、装置、存储介质及终端设备，所述方法包括获取待识别的视频数据；确定所述语音对话中的各对话语句各自对应的情绪特征，并基于确定的所有情绪特征确定所述语音对话对应的语句关联性集合，其中，所述语句关联性集合包括各对话语句本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种情绪识别方法，其特征在于，所述方法包括：获取待识别的视频数据，其中，所述视频数据包括若干对话方之间的语音对话；确定所述语音对话中的各对话语句各自对应的情绪特征，并基于确定的所有情绪特征确定所述语音对话对应的语句关联性集合，其中，所述语句关联性集合包括各对话语句之间的关联性；基于所述语句关联性集合，确定所述语音对话中的各对话语句各自对应的情绪类型。2.根据权利1所述情绪识别方法，其特征在于，所述确定所述语音对话中的各对话语句各自对应的情绪特征具体包括：提取所述视频数据携带的音频信息以及图像信息，以及确定所述音频信息对应的文本信息；基于所述音频信息、图像信息以及所述文本信息，确定所述语音对话中的各对话语句各自对应的情绪特征。3.根据权利要求2所述情绪识别方法，其特征在于，所述基于所述音频信息、图像信息以及所述文本信息，确定所述语音对话中的各对话语句各自对应的情绪特征具体包括：获取所述语音对话中的各对话语句，其中，所述语音对话中的每一对话语句均分别对应一对话方；确定所述语音对话中的各对话语句各自对应的情绪特征；其中，对于每个对话语句，确定该对话语句对应的图像信息块以及文本信息块，其中，所述图像信息块包括于所述图像信息中，所述文本信息块包括于所述文本信息中；确定该对话语句对应的语音情绪特征、该图像信息块对应的图像情绪特征，以及该文本信息块对应的文本情绪特征；基于该语音情绪特征、图像情绪特征以及文本情绪特征，确定该对话语句对应的情绪特征。4.根据权利要求1所述情绪识别方法，其特征在于，所述基于确定的所有情绪特征确定所述语音对话对应的语句关联性集合，具体包括：将各对话语句各自对应的情绪特征作为图节点，并将各图节点按照语音对话的对话顺序依次连接，以得到若干第一连接边；对于每个图节点，获取该图节点对应的候选图节点，并将该图节点与其对应的候选图节点连接以得到若干第二连接边，其中，所述候选图节点对应的对话方与该图节点对应的对话方相同，并且候选节点与该图节点相邻；将所述图节点、若干第一连接边以及若干第二连接边构成的图结构作为所述语音对话对应的语句关联性集合。5.根据权利要求1所述情绪识别方法，其特征在于，所述语句关联性集合为图结构，所述基于所述语句关联性集合，确定所述语音对话中的各对话语句各自对应的情绪类型具体包括：对所述语句关联性集合进行图运算，以得到所述图特征；基于所述图特征对语句关联性集合中的各图节点各自对应的情感类型，以得到所述语音对话中的各对话语句各自对应的情绪类型。6.根据权...
【专利技术属性】
技术研发人员：曹源，
申请(专利权)人：TCL科技集团股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。