【技术实现步骤摘要】
本专利技术涉及图像处理领域，具体而言，涉及一种视频情感识别方法、装置和计算机设备。
技术介绍
1、从图像内容中识别出人类的情绪在实际生活中有很广大的应用前景，例如医疗保健领域与人机交互系统领域等。普通深度网络的情感分析研究主要集中在对面部表情的感知上，其中最有辨别力的方法是基于人脸图像的情感分析系统，但是在人脸部分不清晰的情况下，情感判断的准确率不高。
2、针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
1、本专利技术实施例提供了一种视频情感识别方法、装置和计算机设备，以至少解决相关技术中基于人脸图像进行情感分析的准确率不高的技术问题。
2、根据本专利技术实施例的一个方面，提供了一种视频情感识别方法，包括：获取待识别视频；将待识别视频输入预先训练的神经网络模型，由神经网络模型输出待识别视频中对象的情感，其中，神经网络模型对待识别视频中的面部视频进行特征提取，以及对待识别视频中除了面部视频之外的背景视频进行特征提取，并根据对面部视频提取的面部特征和对背景视频提取的背景特征，确定对象的情感。
3、可选地，将待识别视频输入预先训练的神经网络模型，由神经网络模型输出待识别视频中对象的情感，包括：将待识别视频输入分割单元，由分割单元将待识别视频分割为面部视频和背景视频，其中，神经网络模型包括分割单元；将面部视频输入第一三维卷积单元，由第一三维卷积单元对面部视频进行特征提取，得到面部特征，其中，神经网络模型包括第一三维卷积单元；将背景视频输入特征
4、可选地，将背景视频输入特征提取模块，由特征提取模块对背景视频进行特征提取，得到背景特征，包括：将背景视频输入第二三维卷积单元，由第二三维卷积单元对背景视频进行特征提取，得到初始背景特征，其中，特征提取模块包括第二三维卷积单元；将初始背景特征输入注意力机制单元，由注意力机制单元确定初始背景特征的权重其中，特征提取模块包括注意力机制单元；将初始背景特征的权重与初始背景特征相乘，得到背景特征。
5、可选地，将面部视频输入第一三维卷积单元，由第一三维卷积单元对面部视频进行特征提取，得到面部特征，包括：采用空间卷积层对面部视频进行卷积，得到面部视频的空间特征，其中，第一三维卷积单元包括空间卷积层；采用时间卷积层对面部视频的空间特征进行卷积，得到面部特征，其中，第一三维卷积单元包括时间卷积层。
6、可选地，拼接面部特征和背景特征，并将拼接后的特征输入分类单元，由分类单元输出对象的情感，包括：采用第一平均池化层对面部特征进行取样，采用第二平均池化层对背景特征进行取样；将取样后的面部特征和取样后的背景特征拼接，得到拼接后的特征；将拼接后的特征输入分类单元，由分类单元输出对象的情感。
7、可选地，神经网络模型通过如下方式得到：获取训练样本，其中，训练样本包括样本视频，以及样本视频对应的情感类型；将样本视频以及对应的情感类型输入原始神经网络模型，由原始神经网络模型对样本视频进行特征提取，并根据提取的特征确定初始情感类型，根据初始情感类型与样本视频对应的情感类型，调整原始神经网络模型包括的参数，得到神经网络模型。
8、根据本专利技术实施例的另一方面，还提供了一种视频情感识别装置，包括：获取模块，用于获取待识别视频；识别模块，用于将待识别视频输入预先训练的神经网络模型，由神经网络模型输出待识别视频中对象的情感，其中，神经网络模型对待识别视频中的面部视频进行特征提取，以及对待识别视频中除了面部视频之外的背景视频进行特征提取，并根据对面部视频提取的面部特征和对背景视频提取的背景特征，确定对象的情感。
9、根据本专利技术实施例的又一方面，还提供了一种非易失性存储介质，非易失性存储介质包括存储的程序，其中，在程序运行时控制非易失性存储介质所在设备执行上述中任意一项视频情感识别方法。
10、根据本专利技术实施例的再一方面，还提供了一种计算机设备，计算机设备包括处理器，处理器用于运行程序，其中，程序运行时执行上述中任意一项视频情感识别方法。
11、根据本专利技术实施例的再一方面，还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述中任意一项视频情感识别方法。
12、在本专利技术实施例中，通过获取待识别视频；将待识别视频输入预先训练的神经网络模型，由神经网络模型输出待识别视频中对象的情感，其中，神经网络模型对待识别视频中的面部视频进行特征提取，以及对待识别视频中除了面部视频之外的背景视频进行特征提取，并根据对面部视频提取的面部特征和对背景视频提取的背景特征，确定对象的情感，达到了综合考虑视频中人脸部分以及背景部分识别对象情感的目的，从而实现了提高识别情感的准确率的技术效果，进而解决了相关技术中基于人脸图像进行情感分析的准确率不高的技术问题。
本文档来自技高网...【技术保护点】
1.一种视频情感识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述将所述待识别视频输入预先训练的神经网络模型，由所述神经网络模型输出所述待识别视频中对象的情感，包括：
3.根据权利要求2所述的方法，其特征在于，所述将所述背景视频输入特征提取模块，由所述特征提取模块对所述背景视频进行特征提取，得到所述背景特征，包括：
4.根据权利要求2所述的方法，其特征在于，所述将所述面部视频输入第一三维卷积单元，由所述第一三维卷积单元对所述面部视频进行特征提取，得到所述面部特征，包括：
5.根据权利要求2所述的方法，其特征在于，所述拼接所述面部特征和所述背景特征，并将拼接后的特征输入分类单元，由所述分类单元输出所述对象的情感，包括：
6.根据权利要求1至5中任意一项所述的方法，其特征在于，所述神经网络模型通过如下方式得到：
7.一种视频情感识别装置，其特征在于，包括：
8.一种非易失性存储介质，其特征在于，所述非易失性存储介质包括存储的程序，其中，在所述程序运行时控制所述非易失性存储介质
9.一种计算机设备，其特征在于，包括：存储器和处理器，
10.一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被处理器执行权利要求1至6中任意一项所述视频情感识别方法。
...【技术特征摘要】
1.一种视频情感识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述将所述待识别视频输入预先训练的神经网络模型，由所述神经网络模型输出所述待识别视频中对象的情感，包括：
3.根据权利要求2所述的方法，其特征在于，所述将所述背景视频输入特征提取模块，由所述特征提取模块对所述背景视频进行特征提取，得到所述背景特征，包括：
4.根据权利要求2所述的方法，其特征在于，所述将所述面部视频输入第一三维卷积单元，由所述第一三维卷积单元对所述面部视频进行特征提取，得到所述面部特征，包括：
5.根据权利要求2所述的方法，其特征在于，所述拼接所述面部特征和所述背景特征，并...
【专利技术属性】
技术研发人员：吴振国，
申请(专利权)人：天翼电子商务有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。