【技术实现步骤摘要】
本申请涉及视频处理，具体涉及一种弹幕分类方法、装置、计算机设备和存储介质。
技术介绍
1、随着互联网的发展，越来越多的视频网站以弹幕作为其特色，这类网站允许观看视频者发表评论或感想，其会以滑动字幕的方式实时出现在视频画面上，保证所有观看者都能注意到，从而实现观看者之间的互动。基于视频弹幕的情感分类任务也应运而生，这使得用户能够根据自身的情感偏好对弹幕进行筛选、高亮表示等操作，提高用户对弹幕使用的体验感与好感度。
2、然而，目前弹幕分类方法仅仅只考虑到弹幕本身信息，事实上，针对不同视频片段的相似弹幕仍可能具有不同的语义信息，因此，现有的弹幕分类方法存在着分类效果不好，影响用户观看体验的问题。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种弹幕分类方法、装置、计算机设备和存储介质，用以解决现有的弹幕分类方法存在的分类效果不好，影响用户观看体验的问题。
2、第一方面，本申请提供一种弹幕分类方法，包括：
3、获取目标视频以及所述目标视频上待分类的弹幕信息；
4、对所述目标视频中各图像帧进行特征提取，得到各所述图像帧对应的视频特征；
5、根据所述弹幕信息对应的弹幕特征和所述图像帧对应的视频特征之间的相似度，对所述视频特征和所述弹幕特征进行融合，得到融合特征；
6、基于所述融合特征对所述弹幕信息进行分类，得到所述弹幕信息对应的分类结果。
7、作为本申请的一种可行实施例，所述对所述目标视频中各图像帧进
8、从所述目标视频中图像帧的图像信息中提取颜色通道信息；
9、基于所述颜色通道信息的全局特征和局部特征生成所述图像帧对应的视觉特征；
10、根据所述目标视频中图像帧的字幕信息生成所述图像帧对应的字幕特征；
11、将所述视觉特征和所述字幕特征进行融合，得到所述图像帧对应的视频特征。
12、作为本申请的一种可行实施例，所述基于所述颜色通道信息的全局特征和局部特征生成所述图像帧对应的视觉特征的步骤之前，所述方法包括：
13、基于所述颜色通道信息中三原色色彩空间下的第一颜色通道信息得到所述颜色通道信息对应的全局特征以及所述第一颜色通道信息对应的若干第一层次特征；
14、基于所述颜色通道信息中的柱坐标色彩空间下的第二颜色通道信息提取得到所述第二颜色通道信息对应的若干第二层次特征；
15、将所述第一层次特征和所述第二层次特征融合得到多层次融合特征；
16、基于所述多层次融合特征提取得到所述颜色通道信息对应的局部特征。。
17、作为本申请的一种可行实施例，所述基于所述颜色通道信息中三原色色彩空间下的第一颜色通道信息得到所述颜色通道信息对应的全局特征以及所述第一颜色通道信息对应的若干第一层次特征的步骤是基于预先训练得到的第一网络模型实现；
18、所述基于所述颜色通道信息中柱坐标色彩空间下的第二颜色通道信息提取得到所述第二颜色通道信息对应的若干第二层次特征的步骤是基于预先训练得到的第二网络模型实现；和/或
19、所述基于所述多层次融合特征提取得到所述颜色通道信息对应的局部特征的步骤是基于预先训练得到的第三网络模型实现。
20、作为本申请的一种可行实施例，所述根据所述弹幕信息对应的弹幕特征和所述图像帧对应的视频特征之间的相似度，对所述视频特征和所述弹幕特征进行融合，得到融合特征的步骤之前，所述方法包括：
21、获取所述弹幕信息对应的词向量；
22、基于预设的词过滤器对所述词向量进行截断处理，得到若干分词向量；
23、根据所述词向量对应的全局特征和所述分词向量对应的局部特征确定所述弹幕信息对应的弹幕特征。
24、作为本申请的一种可行实施例，所述根据所述词向量对应的全局特征和所述分词向量对应的局部特征确定所述弹幕信息对应的弹幕特征的步骤之前，所述方法还包括：
25、基于预设的第一顺序对所述词向量进行卷积处理得到所述词向量对应的前向特征，以及基于预设的第二顺序对所述词向量进行卷积处理得到所述词向量对应的反向特征；
26、基于所述前向特征和所述反向特征确定所述词向量对应的全局特征。
27、作为本申请的一种可行实施例，所述基于所述融合特征对所述弹幕信息进行分类，得到所述弹幕信息对应的分类结果，包括：
28、将所述弹幕信息对应的融合特征输入至预先训练得到的弹幕分类模型，得到所述弹幕信息对应的分类结果；其中，所述预先训练得到的弹幕分类模型是通过如下步骤训练得到：
29、获取样本融合特征以及所述样本融合特征对应的观测分类结果；
30、将所述样本融合特征输入至预设的初始弹幕分类模型中的初始融合层，得到自动融合特征以及重构融合特征；
31、将所述自动融合特征输入至预设的初始弹幕分类模型中的初始分类层，得到所述样本融合特征对应的预测分类结果；
32、根据所述样本融合特征和所述重构融合特征之间的特征差异，以及所述预测分类结果和所述观测分类结果之间的分类差异，对所述初始弹幕分类模型进行更新，得到更新后的弹幕分类模型；
33、直至将所述样本融合特征输入至更新后的弹幕分类模型所得到的更新后的重构融合特征以及更新后的预测分类结果满足预设的训练条件时，将当前得到的更新后的弹幕分类模型作为训练得到的弹幕分类模型。
34、第二方面，本申请提供一种弹幕分类装置，包括：
35、获取模块，用于获取目标视频以及所述目标视频上待分类的弹幕信息；
36、提取模块，用于对所述目标视频中各图像帧进行特征提取，得到各所述图像帧对应的视频特征；
37、融合模块，用于根据所述弹幕信息对应的弹幕特征和所述图像帧对应的视频特征之间的相似度，对所述视频特征和所述弹幕特征进行融合，得到融合特征；
38、分类模块，用于基于所述融合特征对所述弹幕信息进行分类，得到所述弹幕信息对应的分类结果。
39、第三方面，本申请还提供一种计算机设备，所述计算机设备包括：
40、一个或多个处理器；
41、存储器；以及
42、一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行上述任一项提供的弹幕分类方法。
43、第四方面，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行上述任一项所述的弹幕分类方法。
44、本申请实施例提供的弹幕分类方法，在获取到目标视频以及视频上的弹幕信息后，会先基于目标视频中各图像帧的信息提取视频特征，然后利用视频特征和弹幕对应的文本特征之间的相似度，将不同的弹幕特征分别和对应的视频的特征进行融合，使得到的融合特征中既包括了弹幕的本身语义信息，也本文档来自技高网...
【技术保护点】
1.一种弹幕分类方法，其特征在于，包括：
2.根据权利要求1所述的弹幕分类方法，其特征在于，所述对所述目标视频中各图像帧进行特征提取，得到各所述图像帧对应的视频特征，包括：
3.根据权利要求2所述的弹幕分类方法，其特征在于，所述基于所述颜色通道信息的全局特征和局部特征生成所述图像帧对应的视觉特征的步骤之前，所述方法包括：
4.根据权利要求3所述的弹幕分类方法，其特征在于，所述基于所述颜色通道信息中三原色色彩空间下的第一颜色通道信息得到所述颜色通道信息对应的全局特征以及所述第一颜色通道信息对应的若干第一层次特征的步骤是基于预先训练得到的第一网络模型实现；
5.根据权利要求1所述的弹幕分类方法，其特征在于，所述根据所述弹幕信息对应的弹幕特征和所述图像帧对应的视频特征之间的相似度，对所述视频特征和所述弹幕特征进行融合，得到融合特征的步骤之前，所述方法还包括：
6.根据权利要求5所述的弹幕分类方法，其特征在于，所述根据所述词向量对应的全局特征和所述分词向量对应的局部特征确定所述弹幕信息对应的弹幕特征的步骤之前，所述方法还包括：<...
【技术特征摘要】
1.一种弹幕分类方法，其特征在于，包括：
2.根据权利要求1所述的弹幕分类方法，其特征在于，所述对所述目标视频中各图像帧进行特征提取，得到各所述图像帧对应的视频特征，包括：
3.根据权利要求2所述的弹幕分类方法，其特征在于，所述基于所述颜色通道信息的全局特征和局部特征生成所述图像帧对应的视觉特征的步骤之前，所述方法包括：
4.根据权利要求3所述的弹幕分类方法，其特征在于，所述基于所述颜色通道信息中三原色色彩空间下的第一颜色通道信息得到所述颜色通道信息对应的全局特征以及所述第一颜色通道信息对应的若干第一层次特征的步骤是基于预先训练得到的第一网络模型实现；
5.根据权利要求1所述的弹幕分类方法，其特征在于，所述根据所述弹幕信息对应的弹幕特征和所述图像帧对应的视...
【专利技术属性】
技术研发人员：李佳莹，蔡云龙，
申请(专利权)人：TCL科技集团股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。