视频内容情感分析方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术适用于计算机领域，提供了一种视频内容情感分析方法。所述方法包括：获取视频信息；提取所述视频信息的图像以及声音特征向量；根据所述图像特征向量以及预设的基于注意力机制建立的多个滤波器确定重要图像特征向量；根据所述重要图像特征向量、声音特征向量以及预设的基于深度神经网络建立的情感分析模型确定所述视频的情感分析结果。本发明专利技术实施例提供的视频内容情感分析方法，利用了基于注意力机制建立的多个滤波器处理所述图像特征向量以获取对情感分析结果影响较大的重要图像特征向量，有效地提高了最终情感分析结果的准确率，同时在确定重要图像特征向量的过程中，能够充分利用计算资源，有效地提高了情感分析的效率。

【技术实现步骤摘要】
视频内容情感分析方法、装置、计算机设备及存储介质
本专利技术涉及计算机领域，特别是涉及一种视频内容情感分析方法、装置、计算机设备及存储介质。
技术介绍
随着信息时代大数据的发展，数据的多样性和丰富性也越来越引起人们的重视。近年来移动通信技术的快速发展，视频的传播已经不再受设备技术的限制，且视频数据相比图片和文本数据更可以给用户带来更立体的用户体验，因此，人们对视频质量的要求也越来越高，其中，视频内容情感分析将有助于提高用户体验，可以应用在视频内容推荐，视频内容分类等多个场景中。现有的视频内容情感分析方法主要有利用支持向量模型、迭代算法模型以及长短期记忆网络模型进行情感分析。然而，支持向量模型对维度较高且对非线性特征不能很好的提取，且大规模训练将耗费大量的机器内存和运算时间，迭代算法模型的建立需要利用所有的样本进行训练，也需要耗费大量的时间，而长短期记忆网络由于需要将输入的特征序列化，在训练过程中无法并行处理，同样的需要耗费较多时间，且上述情感分析方法确定的情感分析结果的准确率不够理想。可见现有技术中的视频内容情感分析方法均存在着处理过程复杂、占用时间、计算资源多且分析结果准确率不够理想的技术问题。
技术实现思路
本专利技术实施例提供一种视频内容情感分析方法，以解决现有的视频内容情感分析方法存在的处理过程复杂、占用时间、计算资源多且分析结果准确率不够理想的技术问题。本专利技术实施例提供一种视频内容情感分析方法，所述方法包括以下步骤：获取待情感分析的视频信息；提取所述视频信息的图像特征向量和声音特征向量；根据所述图像特征向量以及预设的基于注意力机制建立的多个滤波器确定重要图像特征向量；根据所述重要图像特征向量、声音特征向量以及预设的基于深度神经网络建立的情感分析模型确定所述视频的情感分析结果，所述情感分析结果包括愉悦度、唤醒度以及恐惧。本专利技术实施例还提供一种视频内容情感分析装置，所述装置包括：视频信息获取单元，用于获取待情感分析的视频信息；图像及声音特征向量提取单元，用于提取所述视频信息的图像特征向量和声音特征向量；重要图像特征向量确定单元，用于根据所述图像特征向量以及预设的基于注意力机制建立的多个滤波器确定重要图像特征向量；情感分析单元，用于根据所述重要图像特征向量、声音特征向量以及预设的基于深度神经网络建立的情感分析模型确定所述视频的情感分析结果，所述情感分析结果包括愉悦度、唤醒度以及恐惧。本专利技术实施例还提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述所述视频内容情感分析方法的步骤本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述所述视频内容情感分析方法的步骤。本专利技术实施例提供的视频内容情感分析方法，在获取待情感分析的视频信息并提取所述视频信息的图像特征向量和声音特征向量后，将所述图像特征向量输入到预设的基于注意力机制建立的多个滤波器中，从而确定对最终情感分析结果影响较大的重要图像特征向量，并根据获取的重要图像特征向量、声音特征向量以及预设的基于深度神经网络建立的情感分析模型确定最终的情感分析结果。本专利技术实施例提供的视频内容情感分析方法，通过将所述图像特征向量输入到预设的基于注意力机制建立的多个滤波器中，能够确定对最终情感分析结果影响较大的重要图像特征向量，从而有效地提高了最终情感分析结果的准确率，此外由于能够充分利用GPU进行并行计算确定重要图像特征向量，使得情感分析的耗时大大降低，有效地提高了情感分析的效率。附图说明图1为本专利技术实施例提供的一种产品推荐方法的步骤流程图；图2为本专利技术实施例中提取图像及声音特征向量的步骤流程图；图3为本专利技术实施例中确定重要图像特征向量的步骤流程图；图4为本专利技术实施例中确定情感分析结果的步骤流程图；图5为本专利技术实施例中训练生成情感分析模型的步骤流程图；图6为本专利技术实施例中提供的视频内容情感分析装置的结构示意图；图7为本专利技术实施例中图像及声音特征向量提取单元的结构示意图；图8为本专利技术实施例提供的重要图像特征向量确定单元的结构示意图；图9为本专利技术实施例中情感分析单元的结构示意图；图10为本专利技术实施例中情感分析模型训练单元的结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。图1为本专利技术实施例提供的一种视频内容情感分析方法的步骤流程图，详述如下。步骤S101，获取待情感分析的视频信息。步骤S102，提取所述视频信息的图像特征向量和声音特征向量。在本专利技术实施例中，由于视频信息包括图像信息以及声音信息，对所述图像信息进行处理即可提取图像特征，对所述声音信息进行处理即可提取图像信息。提取所述视频信息的图像特征和声音特征的具体步骤请参考图2及其解释说明。步骤S103，根据所述图像特征向量以及预设的基于注意力机制建立的多个滤波器确定重要图像特征向量。在本专利技术实施例中，基于注意力机制建立的滤波器中包括多个滤波核，所述多个滤波核以一定的序列以及长度排列在所述滤波器中。在本专利技术实施例中，已预先通过训练生成了每个滤波器的权重。在本专利技术实施例中，根据所述图像特征向量以及预设的基于注意力机制建立的多个滤波器确定重要图像特征向量的具体步骤请参考图3及其解释说明。步骤S104，根据所述重要图像特征向量、声音特征向量以及预设的基于深度神经网络建立的情感分析模型确定所述视频的情感分析结果。在本专利技术实施例中，将所述重要图像特征向量以及声音特征向量输入到预设的基于深度神经网络建立的情感分析模型中即可直接输出情感分析结果。在本专利技术实施例中，所述情感分析结果包括愉悦度、唤醒度以及恐惧，即本专利技术是通过愉悦度、唤醒度以及恐惧三个评价指标确定视频内容的情感。在本专利技术实施例中，进一步的，输出的愉悦度和唤醒度的输出值区间为[-1，1]，而恐惧的输出值为0或1，其中，对于愉悦度以及唤醒度的输出值而言，值为正，则相应的表示正情感状态；值为负，则表示负情感状态，值的绝对值越接近1，则程度越深，对于恐惧的输出值而言，值为0，表示无恐惧情感，值为1，则表示有恐惧情感。在本专利技术实施例中，根据所述图像特征向量以及预设的基于注意力机制建立的多个滤波器确定重要图像特征向量的具体步骤请参考图4及其解释说明。本专利技术实施例提供的视频内容情感分析方法，在获取待情感分析的视频信息并提取所述视频信息的图像特征向量和声音特征向量后，将所述图像特征向量输入到预设的基于注意力机制建立的多个滤波器中，从而确定对最终情感分析结果影响较大的重要图像特征向量，并根据获取的重要图像特征向量、声音特征向量以及预设的基于深度神经网络建立的情感分析模型确定最终的情感分析结果。本专利技术实施例提供的视频内容情感分析方法，通过将所述图像特征向量输入到预设的基于注意力机制建立的多个滤波器中，能够确定对最终情感分析结果影响较大的重要图像特征向量，从而有效地提高了最终情感分析结果的准确率，此外由于能够充分利用GPU进行并行计算确定重要图像特征向量，使得情感分析的耗时大大降本文档来自技高网...

【技术保护点】
1.一种视频内容情感分析方法，其特征在于，所述方法包括以下步骤：获取待情感分析的视频信息；提取所述视频信息的图像特征向量和声音特征向量；根据所述图像特征向量以及预设的基于注意力机制建立的多个滤波器确定重要图像特征向量；根据所述重要图像特征向量、声音特征向量以及预设的基于深度神经网络建立的情感分析模型确定所述视频的情感分析结果，所述情感分析结果包括愉悦度、唤醒度以及恐惧。

【技术特征摘要】
1.一种视频内容情感分析方法，其特征在于，所述方法包括以下步骤：获取待情感分析的视频信息；提取所述视频信息的图像特征向量和声音特征向量；根据所述图像特征向量以及预设的基于注意力机制建立的多个滤波器确定重要图像特征向量；根据所述重要图像特征向量、声音特征向量以及预设的基于深度神经网络建立的情感分析模型确定所述视频的情感分析结果，所述情感分析结果包括愉悦度、唤醒度以及恐惧。2.根据权利要求1所述的方法，其特征在于，所述提取所述视频信息的图像特征向量和声音特征向量的步骤，具体包括：处理所述视频信息并获取相应的图像数据和声音数据；根据预设的频率以及时长提取多个图像帧以及声音片段；将所述多个图像帧输入到预设的图像处理工具中，获取相应的图像特征向量。3.根据权利要求1所述的方法，其特征在于，所述根据所述图像特征向量以及预设的基于注意力机制建立的多个滤波器确定重要图像特征向量的步骤，具体包括：获取第一滤波器中多个时间序列滤波核的信息，所述时间序列滤波核的信息包括所述时间序列滤波核在所述滤波器中的时间序列以及宽度；将所述多个时间序列滤波核的信息进行归一化处理；根据归一化处理后的时间序列滤波核的信息计算在时间序列上的第一滤波器函数；将所述第一滤波器函数与图像特征向量进行点积生成第一滤波器处理图像特征向量；根据滤波器处理图像特征向量以及预设的多个滤波器的权重确定重要图像特征向量。4.根据权利要求1所述的方法，其特征在于，所述根据所述重要图像特征向量、声音特征向量以及预设的基于深度神经网络建立的情感分析模型确定所述视频的情感分析结果的步骤，具体包括：将所述重要图像特征向量以及声音特征向量分别映射为相同维度的图像特征向量以及声音特征向量；计算所述相同维度的图像特征向量与声音特征向量在情感分析模型下的情感分析结果。5.根据权利要求1所述的方法，其特征在于，训练生成预设的基于深度神经网络建立的情感分析模型的步骤，具体包括：获取多个视频信息训练样本，并确定所述多个视频信息训练样本对应的目标情感分析结果；提取所述多个视频信息训练样本的图像特征向量和声音特征向量；建立基于深度神经网络的情感分析样本模型并初始化所述情感分析样本模型中的可变参数；根据第一视频信息训练样本的图像特征向量和声音特征向量以及情感分析样本模型确定与所述第一视频信息对应的训练情感分析结果；根据所述多个视频信息训练样本的训练情感分析结果以及目标情感分析结果计算所述情感分析样本模型的性能指标，所述情感分析样本模型的性能指标包括所述情感分析样本模型的最小均方误差、皮尔森相关系数、准确率以及精确率；判断所述情感分析样本模型的性能指标是否满足预设的条件；当判断所述情感分析样本模型的性能指标不满足预设的条件时，计算所...

【专利技术属性】
技术研发人员：宋彬，罗文雯，郭洁，马梦迪，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61