视频亮点片段检测方法、装置、电子设备及存储介质制造方法及图纸

技术编号:34766919 阅读:13 留言:0更新日期:2022-08-31 19:19
本申请提供一种视频亮点片段检测方法、装置、电子设备及存储介质。其中,视频亮点片段检测方法,包括:获取待检测视频的弹幕评论,并依次对弹幕评论进行预处理以及特征提取,得到文本特征;通过对文本特征进行情感强度计算和内容相似度计算,从而确定与该弹幕对应的视频片段的亮点概率,根据所述亮点概率确定亮点片段。本申请中的检测方法:通过弹幕评论确定原长视频中的亮点片段,有效降低了人工成本,同时通过弹幕评论确定亮点片段的方式避免了通过机器检测亮点片段时因使用图像音频数据造成计算效率慢、结果不准确的问题,可以高效、准确地检测视频中的亮点片段。确地检测视频中的亮点片段。确地检测视频中的亮点片段。

【技术实现步骤摘要】
视频亮点片段检测方法、装置、电子设备及存储介质


[0001]本申请涉及数据分析及检测
,尤其涉及一种视频亮点片段检测方法装置、电子设备及存储介质。

技术介绍

[0002]随着互联网上视频日益增多,生活节奏加快,大部分观众为了提升观看效率,或者是由于剧情拖沓、桥段不喜欢等原因,对比起观看完整视频,他们更倾向于观看其中的亮点片段,这类片段由于包含有用户普遍关注和感兴趣的时刻而受到欢迎,也成为了一种新的需求。现阶段的视频亮点检测方法主要分为手工筛选和机器检测两类,手工的方式需要耗费较大的人力,而机器检测也存在计算效率低且不够准确的问题。
[0003]目前机器检测视频亮点片段的方式包括两类,分别为:基于播放特征和基于音视频特征。基于播放特征的方式是统计视频各个片段的点击率及弹幕数量,判断其是否超过一定的阈值来获取亮点,但这种方式较为片面;基于音视频特征的方式是采用深度学习的方法,分析画面变化、音频音调等来检测视频亮点,但影音数据规模通常十分庞大,且计算成本高效率慢。因此需要有更简单、高效的方式来识别视频中的亮点片段,提高检测的准确度。

技术实现思路

[0004]有鉴于此,本申请的目的在于提出一种视频亮点片段检测方法装置、电子设备及存储介质。
[0005]基于上述目的,本申请提供了一种视频亮点片段检测方法,包括:
[0006]获取待检测的视频片段中的多条弹幕评论;
[0007]利用时间循环神经网络模型,提取所述多条弹幕评论的文本特征;
[0008]利用预先构造的情感词典,计算所述多条弹幕评论各自的情感值,并基于所述情感值而确定所述视频片段的情感强度;
[0009]计算所述多条弹幕评论中每两条弹幕评论之间的余弦相似度,并基于所述余弦相似度而确定所述视频片段的内容相似度;
[0010]根据所述情感强度和所述内容相似度,确定所述视频片段的亮点评分;
[0011]根据所述文本特征和所述亮点评分,通过预先训练的卷积神经网络模型来预测所述视频片段为亮点片段的概率;
[0012]响应于确定所述概率不小于预设阈值,确定所述视频片段为亮点片段。
[0013]可选的,还包括:
[0014]在提取所述多条弹幕评论的文本特征之前,对所述多条弹幕评论进行清洗以去除所述多条弹幕评论中的无效符号和重复信息,并对清洗后的所述多条弹幕评论进行分词。
[0015]可选的,
[0016]所述时间循环神经网络为结合了自注意力机制的长短期记忆网络LSTM模型;
[0017]所述利用时间循环神经网络模型,提取所述多条弹幕评论的文本特征,包括:
[0018]对分词后的所述多条弹幕评论进行词向量映射,以得到弹幕文本向量序列;
[0019]利用所述LSTM模型,从所述弹幕文本向量序列提取所述文本特征。
[0020]可选的,其中,
[0021]在从所述弹幕文本向量序列提取所述文本特征时,所述LSTM模型输出所述多条弹幕评论各自的隐藏层状态;
[0022]所述计算所述多条弹幕评论中每两条弹幕评论之间的余弦相似度包括:计算所述两条弹幕评论各自的所述隐藏层状态之间的余弦相似度,作为所述两条弹幕评论之间的余弦相似度。
[0023]可选的,其中,
[0024]所述情感词典包括基本情感词汇库、特殊词词典和表情词典;
[0025]所述利用预先构造的情感词典,计算所述多条弹幕评论各自的情感值,包括:对于分词后的所述多条弹幕评论中的每条弹幕评论,利用所述情感词典识别出该弹幕评论中的情感词,并识别出该弹幕评论中与所述情感词关联的否定词、程度副词和情感标点,根据所述情感词、所述否定词、所述程度副词和所述情感标点来计算该弹幕评论的所述情感值。
[0026]可选的,
[0027]其中,所述根据所述情感词、所述否定词、所述程度副词和所述情感标点来计算该弹幕评论的所述情感值包括:
[0028]根据所述情感词、所述否定词、所述程度副词、所述情感标点以及该弹幕评论的字体大小和字体颜色,计算该弹幕评论的所述情感值。
[0029]可选的,所述根据所述文本特征和所述亮点评分,通过预先训练的神经网络确定所述视频片段为亮点的概率,包括:
[0030]将所述文本特征和所述亮点评分拼接后,输入所述神经网络的全连接层,以预测出所述视频片段为亮点的概率;其中,所述神经网络为人工神经网络。
[0031]基于同一专利技术构思,本申请说明书一个或多个实施例还提供了一种视频亮点片段检测装置,包括:
[0032]获取模块,被配置为获取待检测的视频片段中的多条弹幕评论;
[0033]文本特征提取模块,被配置为利用时间循环神经网络模型,提取所述多条弹幕评论中的文本特征;
[0034]情感强度计算模块,被配置为利用预先构造的情感词典,计算所述多条弹幕评论各自的情感值,并基于所述情感值而确定所述视频片段的情感强度;
[0035]内容相似度计算模块,被配置为计算所述多条弹幕评论中每两条弹幕评论之间的余弦相似度,并基于所述余弦相似度而确定所述视频片段的内容相似度;
[0036]评分模块,被配置为根据所述情感强度和所述内容相似度,确定所述视频片段的亮点评分;
[0037]预测模块,被配置为根据所述文本特征和所述亮点评分,通过预先训练的卷积神经网络模型来预测所述视频片段为亮点片段的概率;
[0038]确定模块,被配置为响应于确定所述概率不小于预设阈值,确定所述视频片段为亮点片段。
[0039]基于同一专利技术构思,本申请说明书一个或多个实施例还提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序,所述处理器在执行所述计算机程序时实现如上任意一项所述的方法。
[0040]基于同一专利技术构思,本申请说明书一个或多个实施例还提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使计算机执行如上任意一项所述的方法。
[0041]从上面所述可以看出,根据本申请的实施例,可以基于视频片段中的弹幕评论而确定该视频片段是否为亮点片段,从而避免了基于视频的播放特征或音视频特征来检测视频亮点的方式存在的计算效率低、检测结果不够准确的问题,可以高效、准确地检测视频中的亮点片段。
附图说明
[0042]为了更清楚地说明本申请或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0043]图1为本申请实施例的视频亮点片段检测方法的流程图;
[0044]图2为本申请实施例的利用结合了自注意力机制的LSTM模型提取弹幕评论的文本特征的示意图;
[0045]图3为本申请实施例的视频亮点片段检测装置示意图;
[本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种视频亮点片段检测方法,包括:获取待检测的视频片段中的多条弹幕评论;利用时间循环神经网络模型,提取所述多条弹幕评论的文本特征;利用预先构造的情感词典,计算所述多条弹幕评论各自的情感值,并基于所述情感值而确定所述视频片段的情感强度;计算所述多条弹幕评论中每两条弹幕评论之间的余弦相似度,并基于所述余弦相似度而确定所述视频片段的内容相似度;根据所述情感强度和所述内容相似度,确定所述视频片段的亮点评分;根据所述文本特征和所述亮点评分,通过预先训练的卷积神经网络模型来预测所述视频片段为亮点片段的概率;响应于确定所述概率不小于预设阈值,确定所述视频片段为亮点片段。2.根据权利要求1所述的方法,还包括:在提取所述多条弹幕评论的文本特征之前,对所述多条弹幕评论进行清洗以去除所述多条弹幕评论中的无效符号和重复信息,并对清洗后的所述多条弹幕评论进行分词。3.根据权利要求2所述的方法,其中,所述时间循环神经网络为结合了自注意力机制的长短期记忆网络LSTM模型;所述利用时间循环神经网络模型,提取所述多条弹幕评论的文本特征,包括:对分词后的所述多条弹幕评论进行词向量映射,以得到弹幕文本向量序列;利用所述LSTM模型,从所述弹幕文本向量序列提取所述文本特征。4.根据权利要求3所述的方法,其中,在从所述弹幕文本向量序列提取所述文本特征时,所述LSTM模型输出所述多条弹幕评论各自的隐藏层状态;所述计算所述多条弹幕评论中每两条弹幕评论之间的余弦相似度包括:计算所述两条弹幕评论各自的所述隐藏层状态之间的余弦相似度,作为所述两条弹幕评论之间的余弦相似度。5.根据权利要求2至4中任一项所述的方法,其中,所述情感词典包括基本情感词汇库、特殊词词典和表情词典;所述利用预先构造的情感词典,计算所述多条弹幕评论各自的情感值,包括:对于分词后的所述多条弹幕评论中的每条弹幕评论,利用所述情感词典识别出该弹幕评论中的情感词,并识别出该弹幕评论中与所述情感词关联的否定词、程度副词和...

【专利技术属性】
技术研发人员:吴军林昭文黄俊飞孙溢夏梁恢袁斌
申请(专利权)人:北京邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1