【技术实现步骤摘要】
本申请涉及人工智能，尤其涉及一种情感识别方法及其模型训练方法、装置、设备及介质。
技术介绍
1、多模态的情感识别(multimodal emotion recognition，mer)是自动识别说话人的情感。在智能语音客服领域应用丰富，当客户与智能客服进行对话时，该算法可以自动地识别客户的情感状态，并向智能客服系统提供相应的建议和指导，以改善客户的体验。例如，如果客户在对话中表现出负面情绪，智能客服可以自动推荐一些针对该情绪的解决方案，如提供更好的客户支持或提供更好的产品服务。但是多模态情感识别大多是使用传统对比学习，将不同模态的情感数据特征表示强行映射到一个特征空间，并且最长使用的无监督对比学习，完全忽略了属于同一类别情感数据的特征之间的联系和不同类别情感数据的特征间的差异。
技术实现思路
1、本申请实施方式主要解决的技术问题是传统的多模态情感识别技术得到的情感识别结果准确率有待提高。
2、为解决上述技术问题，本申请实施方式采用的第一个技术方案是：提供一种情感识别模型训练方法，包括：获取视频训练数据，抽取所述视频训练数据中视频模态的视频帧序列，以及文本模态的文本训练数据和音频模态的音频训练数据；分别通过待训练情感识别模型的视频处理模块、文本处理模块和音频处理模块对应处理所述视频帧序列、所述文本训练数据和所述音频训练数据，分别对应得到第一视频帧特征、第一文本特征向量和第一音频特征向量；通过所述待训练情感识别模型的全连接层对所述第一视频帧特征向量、所述第一文本特征向量和所
3、可选地，所述对比学习损失函数包括半对比损失函数，通过所述半对比损失函数进行建模的步骤包括：任意选择所述第二视频帧特征向量、第二文本特征向量和第二音频特征向量中的一个作为锚点样本向量，设置剩余的特征向量作为正例集；对所述第二视频帧特征向量、第二文本特征向量和第二音频特征向量进行归一化处理，得到每个维度特征的概率分布；所述半对比损失函数的计算公式为：
4、
5、其中，lscl表示半对比损失，e表示期望算子，s表示正例集，am表示所述锚点样本向量，表示所述正例集中的向量，α表示不同模态之间的模态边界，m表示为三元组，l表示锚点样本，a表示正样本，v表示负样本。
6、可选地，所述对比学习损失函数为模态内对比损失函数，通过所述模态内对比损失函数建模的步骤包括：获取同一模态数据、同一情感类别的不同两个特征向量作为正例对；获取同一模态数据、不同情感类别的不同两个特征向量作为负例对；所述模态内对比损失函数的计算公式为：
7、
8、其中，liamcl表示模态内对比损失，e表示期望算子，s表示正例对，am表示锚点向量，表示所述正例对中的向量，表示所述正例对中的向量，n是正例对数量，m是负例对数量。
9、可选地，所述对比学习损失函数为模态间对比学习损失，通过所述模态间对比损失函数建模的步骤包括：获取不同模态数据、同一情感类别的不同两个特征向量作为正例对；获取相同模态数据、不同情感类别的不同两个特征向量作为负例对；所述模态间对比损失函数的计算公式为：
10、
11、其中，liemcl表示模态间对比损失，e表示期望算子，s表示正例对，am表示锚点向量，pi表示所述正例对中的向量，nj表示所述正例对中的向量，n是正例对数量，m是负例对数量。
12、可选地，所述对比学习损失函数还包括交叉熵损失函数；所述对比学习损失函数的计算公式如下：
13、l＝lscl+liamcl+liemcl+lce
14、其中，l表示对比学习损失，lscl表示半对比学习损失，liamcl表示模态内对比损失，liemcl表示模态间对比损失，lce表示交叉熵损失。
15、可选地，所述转换所述情感识别多模态特征向量为所述待训练情感识别模型对应的情感识别结果步骤之后，还包括：发送所述情感识别结果至人工校验，接收所述人工校验返回的情感识别校验结果；根据所述情感识别校验结果优化所述对比学习损失函数和所述全连接层的参数。
16、为解决上述技术问题，本申请实施方式采用的第二个技术方案是：提供一种情感识别方法，包括：构建初始情感识别模型，通过如上所述的情感识别模型训练方法训练所述初始情感识别模型，得到目标情感识别模型；接收待识别视频数据，发送所述待识别视频数据至所述目标情感识别模型，得到对应的情感识别结果。
17、为解决上述技术问题，本申请实施方式采用的第三个技术方案是：提供一种情感识别模型训练装置，包括：视频训练数据模块，用于获取视频训练数据，抽取所述视频训练数据中视频模态的视频帧序列，以及文本模态的文本训练数据和音频模态的音频训练数据；特征向量提取模块，用于分别通过待训练情感识别模型的视频处理模块、文本处理模块和音频处理模块对应处理所述视频帧序列、所述文本训练数据和所述音频训练数据，分别对应得到第一视频帧特征、第一文本特征向量和第一音频特征向量；全连接层模块，用于通过所述待训练情感识别模型的全连接层对所述第一视频帧特征向量、所述第一文本特征向量和所述第一音频特征向量进行特征降维处理，分别对应得到第二视频帧特征向量、第二文本特征向量和第二音频特征向量；多模态特征向量模块，用于通过预设数量的对比学习损失函数进行联合特征空间建模，并通过建模得到的联合特征空间处理所述第二视频帧特征向量、所述第二文本特征向量和所述第二音频特征向量，得到情感识别多模态特征向量；情感识别结果模块，用于转换所述情感识别多模态特征向量为所述待训练情感识别模型对应的情感识别结果。
18、为解决上述技术问题，本申请实施方式采用的第四个技术方案是：提供一种电子设备，包括：
19、至少一个处理器；以及，
20、与所述至少一个处理器通信连接的存储器；其中，
21、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。
22、为解决上述技术问题，本申请实施方式采用的第四个技术方案是：提供一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被电子设备执行时，使所述电子设备执行如上所述的方法。
23、区别于相关技术的情况，本申请同时进行了模态内和/或模态间的对比学习和半对比学习，使得得到的情感预测模型可以充分跨模态交互，学习不同模态的情感数据之前的关系，减少了不同模态情感数据的差距，使得到的情感识别结果的准确率提高。本文档来自技高网...
【技术保护点】
1.一种情感识别模型训练方法，其特征在于，包括：
2.根据权利要求1所述的情感识别模型训练方法，其特征在于，所述对比学习损失函数包括半对比损失函数，通过所述半对比损失函数进行建模的步骤包括：
3.根据权利要求1所述的情感识别模型训练方法，其特征在于，所述对比学习损失函数为模态内对比损失函数，通过所述模态内对比损失函数建模的步骤包括：
4.根据权利要求1所述的情感识别模型训练方法，其特征在于，所述对比学习损失函数为模态间对比学习损失，通过所述模态间对比损失函数建模的步骤包括：
5.根据权利要求1所述的情感识别模型训练方法，其特征在于，所述对比学习损失函数还包括交叉熵损失函数；
6.根据权利要求1所述的情感识别模型训练方法，其特征在于，所述转换所述情感识别多模态特征向量为所述待训练情感识别模型对应的情感识别结果步骤之后，还包括：
7.一种情感识别方法，其特征在于，包括：
8.一种情感识别模型训练装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括：
10.一种非易失性计
...【技术特征摘要】
1.一种情感识别模型训练方法，其特征在于，包括：
2.根据权利要求1所述的情感识别模型训练方法，其特征在于，所述对比学习损失函数包括半对比损失函数，通过所述半对比损失函数进行建模的步骤包括：
3.根据权利要求1所述的情感识别模型训练方法，其特征在于，所述对比学习损失函数为模态内对比损失函数，通过所述模态内对比损失函数建模的步骤包括：
4.根据权利要求1所述的情感识别模型训练方法，其特征在于，所述对比学习损失函数为模态间对比学习损失，通过所述模态间对比损失函数建模的步骤包括：
5.根据权利要求1所述的情感识别模型训练方法，其特征在于，所述...
【专利技术属性】
技术研发人员：张旭龙，王健宗，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。