【技术实现步骤摘要】
本申请涉及人工智能领域，尤其涉及一种数据处理方法、装置、设备以及存储介质。
技术介绍
1、随着电子竞技的迅猛发展，互联网上的游戏视频呈现出前所未有的增长速度。为了提升用户体验，用户需要能够高效地浏览视频中的精彩片段。视频精彩片段检测是解决这一问题的关键技术，它可以将未经人工剪辑的长视频切分成若干等长的片段，并根据视频内容判断每个片段的精彩程度，从而得到视频的精彩片段。
2、通常的游戏视频精彩片段检测方案是对视频帧进行结构化解析，然后基于结构化信息进行事件识别或者是借助语义信息对视频进行镜头切分、场景切分等操作。但是游戏视频场景单一，镜头切换也很少，因此上述两种方案并不能很好的对长视频进行切分处理。
3、因此目前亟需一种可以提升视频中精彩片段的识别准确度的方案。
技术实现思路
1、本申请实施例提供了一种数据处理方法、装置、设备以及存储介质，用于提升视频中精彩片段的识别准确度。
2、有鉴于此，本申请一方面提供一种数据处理方法，包括：获取待处理视频数据；调用事件切分模型对该待处理视频数据进行切分处理，以得到视频片段序列；调用视频特征提取模型对该视频片段序列进行特征提取，以得到该视频片段序列的视频特征序列；调用音频特征提取模型对该视频片段序列进行特征提取，以得到该视频片段序列的音频特征序列；将该视频特征序列和该音频特征序列进行特征融合，以得到该待处理视频数据的特征序列；调用识别模型对该特征序列进行识别处理，以得到该待处理视频数据的识别结果。
4、处理模块，用于调用事件切分模型对该待处理视频数据进行切分处理，以得到视频片段序列；调用视频特征提取模型对该视频片段序列进行特征提取，以得到该视频片段序列的视频特征序列；调用音频特征提取模型对该视频片段序列进行特征提取，以得到该视频片段序列的音频特征序列；将该视频特征序列和该音频特征序列进行特征融合，以得到该待处理视频数据的特征序列；调用识别模型对该特征序列进行识别处理，以得到该待处理视频数据的识别结果。
5、在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，处理模块，用于对所述特征序列进行滑窗处理，以得到多个目标特征序列，所述滑窗的长度为n，步长为n/2，所述n为正整数；
6、调用所述识别模型对所述多个目标特征序列进行识别处理，以得到多组预测概率值；
7、从所述多组预测概率值的每一组预测概率值的中间段选择n/2个预测概率值，并进行拼接以得到目标概率值；
8、根据所述目标概率值确定所述待处理视频数据的识别结果。
9、在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，处理模块，用于对所述多组预测概率值的每一组预测概率值进行中值滤波处理，以得到多组平滑概率值；
10、从所述多组平滑概率值的每一组平滑概率值的中间段n/2个预测概率值，并进行拼接以得到目标概率值。
11、在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，处理模块，用于根据该目标概率值确定第一阈值；
12、将该目标概率值一一与该第一阈值进行比较，并根据第一阈值规则对目标概率值进行二值化处理，以得到该待处理视频数据的识别结果。
13、在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，处理模块，用于将该目标概率值中大于该第一阈值的概率值二值化为1，将该目标概率值中小于或者等于该第一阈值的概率值二值化为0，其中，该1用于标记视频片段为精彩片段，该0用于标记视频片段为非精彩片段。
14、在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，处理模块，用于对该视频片段序列进行视频和音频分离处理，以得到该视频片段序列的图片数据和音频数据；
15、调用第一预训练模型对该图片数据中的关键帧进行特征提取，以得到该视频片段序列的视频特征序列。
16、在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，处理模块，用于对该视频片段序列进行视频和音频分离处理，以得到该视频片段序列的图片数据和音频数据；
17、将该音频数据进行等长划分得到多段音频数据；
18、将该多段音频数据转换为梅尔频谱图；
19、调用第二预训练模型对该梅尔频谱图进行特征提取，以得到该视频片段序列的音频特征序列。
20、在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，获取模块，用于获取第一训练数据和通用事件切分模型，该第一训练数据包括样本视频和事件标签；
21、处理模块，用于调用该通用事件切分模型对该样本视频进行切分处理，以得到该样本视频中各个视频帧的切分概率值；根据该切分概率值确定该样本视频的切分点结果；将该切分分点结果与该事件标签进行损失计算，以得到损失函数；
22、该装置还包括训练模块，训练模块，用于利用该损失函数对该通用事件切分模型进行训练，以得到该事件切分模型。
23、在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，处理模块，用于将该切分概率值与第一阈值和第二阈值进行比较；
24、根据第二阈值规则从该切分概率值指示的切分点确定候选切分点集；
25、对该候选切分点集中的切分点进行时序区间去重，以得到该样本视频的切分点结果。
26、在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，获取模块，用于获取游戏视频集合，该游戏数据集合中的每个游戏视频标注有时间戳，该时间戳用于标注游戏视频中的精彩片段；
27、调用该通用事件切分模型对第一游戏视频进行切分处理，以得到该第一游戏视频的第一切分概率值；
28、根据该第一游戏视频对应的时间戳调整该第一切分概率值，以得到第二切分概率值；
29、根据该第二切分概率值确定该第一游戏视频的第一切分结果；
30、将该第一游戏视频与该第一切分结果建立映射关系，并归于该第一训练数据，该第一切分结果作为该事件标签，该第一游戏视频作为该样本视频；
31、依此遍历该游戏视频集合，以得到该第一训练数据。
32、在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，获取模块，用于获取第二训练数据和初始识别模型；
33、处理模块，用于调用该事件切分模型对该第二训练数据进行视频切分，以得到训练视频片段序列；调用该视频特征提取模型对该训练视频片段序列进行特征提取，以得到该训练视频片段序列的训练视频特征序列；调用该音频特征提取模型对该训练视频片段序列进行特征提取，以得到该训练视频片段序列的训练音频特征序列；将该训练视频特征序列和该训练音频特征序列进行特征融合，以得到该第二训练数据的训练特征序列；
34、训练模块，用于利用该训练特征序列对该初始识别模本文档来自技高网...
【技术保护点】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述调用识别模型对所述特征序列进行识别处理，以得到所述待处理视频数据的识别结果包括：
3.根据权利要求2所述的方法，其特征在于，所述从所述多组预测概率值的每一组预测概率值的中间段选择N/2个预测概率值，并进行拼接以得到目标概率值包括：
4.根据权利要求2所述的方法，其特征在于，所述根据所述目标概率值确定所述待处理视频数据的识别结果包括：
5.根据权利要求4所述的方法，其特征在于，根据第一阈值规则的目标概率值进行二值化处理，以得到所述待处理视频数据的识别结果包括：
6.根据权利要求1所述的方法，其特征在于，所述调用视频特征提取模型对所述视频片段序列进行特征提取，以得到所述视频片段序列的视频特征序列包括：
7.根据权利要求1所述的方法，其特征在于，所述调用音频特征提取模型对所述视频片段序列进行特征提取，以得到所述视频片段序列的音频特征序列包括：
8.根据权利要求1至7中任一项所述的方法，其特征在于，所述方法还包括：p>
9.根据权利要求8所述的方法，其特征在于，所述根据所述切分概率值确定所述样本视频的切分点结果包括：
10.根据权利要求8所述的方法，其特征在于，所述第一训练数据为游戏视频训练数据，所述获取第一训练数据包括：
11.根据权利要求1至7中任一项所述的方法，其特征在于，所述方法还包括：
12.根据权利要求1至7中任一项所述的方法，其特征在于，所述方法还包括：
13.一种数据处理装置，其特征在于，包括：
14.一种计算机设备，其特征在于，包括：存储器、处理器以及总线系统；
15.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1至12中任一项所述的方法。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述调用识别模型对所述特征序列进行识别处理，以得到所述待处理视频数据的识别结果包括：
3.根据权利要求2所述的方法，其特征在于，所述从所述多组预测概率值的每一组预测概率值的中间段选择n/2个预测概率值，并进行拼接以得到目标概率值包括：
4.根据权利要求2所述的方法，其特征在于，所述根据所述目标概率值确定所述待处理视频数据的识别结果包括：
5.根据权利要求4所述的方法，其特征在于，根据第一阈值规则的目标概率值进行二值化处理，以得到所述待处理视频数据的识别结果包括：
6.根据权利要求1所述的方法，其特征在于，所述调用视频特征提取模型对所述视频片段序列进行特征提取，以得到所述视频片段序列的视频特征序列包括：
7.根据权利要求1所述的方法，其特征在于，所述调用音频特征提取模...
【专利技术属性】
技术研发人员：甘蓓，许良晟，谯睿智，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。