视频分类方法和装置、存储介质及电子设备制造方法及图纸

本发明专利技术公开了一种与人工智能和云服务器相关的视频分类方法和装置、存储介质及电子设备。其中，该方法包括：在获取到待分类的目标视频的情况下，获取目标视频中每一帧视频帧的图像特征；根据各个视频帧的图像特征之间的特征距离，对目标视频中的所有视频帧进行聚类处理，以得到多个视频片段；获取多个视频片段中每个视频片段各自对应的片段时序融合特征；根据各个视频片段各自对应的片段时序融合特征确定目标视频的视频特征；对视频特征进行识别，得到目标视频的目标类型。本发明专利技术解决了视频分类不准确的技术问题。频分类不准确的技术问题。频分类不准确的技术问题。

【技术实现步骤摘要】
视频分类方法和装置、存储介质及电子设备


[0001]本专利技术涉及计算机计算领域，具体而言，涉及一种视频分类方法和装置、存储介质及电子设备。

技术介绍

[0002]现有技术中，在对视频进行分类的时候，如果视频为长视频，则会因为长视频中的内容包含了不同的场景，造成对视频分类的分类结果不准确。
[0003]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]本专利技术实施例提供了一种视频分类方法和装置、存储介质及电子设备，以至少解决视频分类不准确的技术问题。
[0005]根据本专利技术实施例的一个方面，提供了一种视频分类方法，包括：在获取到待分类的目标视频的情况下，获取上述目标视频中每一帧视频帧的图像特征；根据各个视频帧的上述图像特征之间的特征距离，对上述目标视频中的所有视频帧进行聚类处理，以得到多个视频片段，其中，上述多个视频片段的每一个视频片段中包括多个有序视频帧；获取上述多个视频片段中每个上述视频片段各自对应的片段时序融合特征，其中，上述片段时序融合特征为根据上述视频片段中的目标视频帧所确定的特征，上述目标视频帧为上述视频片段中的一部分视频帧；根据各个上述视频片段各自对应的片段时序融合特征确定上述目标视频的视频特征；对上述视频特征进行识别，得到上述目标视频的目标类型。
[0006]根据本专利技术实施例的另一方面，还提供了一种视频分类装置，包括：第一获取单元，用于在获取到待分类的目标视频的情况下，获取上述目标视频中每一帧视频帧的图像特征；聚类单元，用于根据各个视频帧的上述图像特征之间的特征距离，对上述目标视频中的所有视频帧进行聚类处理，以得到多个视频片段，其中，上述多个视频片段的每一个视频片段中包括多个有序视频帧；第二获取单元，用于获取上述多个视频片段中每个上述视频片段各自对应的片段时序融合特征，其中，上述片段时序融合特征为根据上述视频片段中的目标视频帧所确定的特征，上述目标视频帧为上述视频片段中的一部分视频帧；确定单元，用于根据各个上述视频片段各自对应的片段时序融合特征确定上述目标视频的视频特征；识别单元，用于对上述视频特征进行识别，得到上述目标视频的目标类型。
[0007]作为一种可选的示例，上述聚类单元包括：第一确定模块，用于确定多个目标特征；第二处理模块，用于将上述目标视频的每一个上述图像特征作为当前特征，对上述当前特征执行如下操作，得到上述多个视频片段：确定上述当前特征与上述多个目标特征中，每一个上述目标特征的特征距离，将上述特征距离中的最小值对应的第一目标特征与上述当前特征确定为一组特征中的两个特征；第二确定模块，用于在遍历上述目标视频的每一个上述图像特征之后，将同一组特征中的上述图像特征对应的视频帧确定为一个上述视频片段中的视频帧。
[0008]作为一种可选的示例，上述第一确定模块包括：第一确定子模块，用于确定多个初始特征；第一处理子模块，用于对上述当前特征执行如下操作，得到多个第一距离：确定每一个上述当前特征与上述多个初始特征中的第一初始特征的第一距离，其中，上述第一初始特征为上述多个初始特征中，与上述当前特征距离最小的特征，每一个上述当前特征对应一个上述第一距离；第二确定子模块，用于确定多个上述第一距离的和；调整模块，用于调整上述多个初始特征，得到重新确定的上述和；第三确定子模块，用于将最小的上述和对应的上述多个初始特征确定为上述多个目标特征。
[0009]作为一种可选的示例，上述确定单元包括：第一获取模块，用于获取每一个上述视频片段的上述片段时序融合特征；第三处理模块，用于对多个上述片段时序融合特征执行求平均操作，得到平均特征；第三确定模块，用于将上述平均特征作为上述视频特征。
[0010]作为一种可选的示例，上述第一获取模块包括：第二处理子模块，用于将每一个上述视频片段作为当前片段，对上述当前片段执行如下操作：确定上述当前片段中的每一个上述目标视频帧的目标帧特征；将每一个上述目标帧特征确定为当前帧特征，对上述当前帧特征执行如下操作：使用第一帧特征中的第一部分的特征替换上述当前帧特征中上述第一部分的特征并使用第二帧特征中第二部分的特征替换上述当前帧特征中上述第二部分的特征，其中，上述第一帧特征为上述目标视频帧中，上述当前帧特征所在的视频帧的前一帧视频帧的帧特征，上述第二帧特征为上述目标视频帧中，上述当前帧特征所在的视频帧的后一帧视频帧的帧特征；将处理后的每一个上述目标帧特征按照时间顺序融合为上述当前片段的上述片段时序融合特征。
[0011]作为一种可选的示例，上述第三处理模块包括：第一池化子模块，用于将多个上述片段时序融合特征中每一个上述片段时序融合特征在时间维度上进行池化操作，得到池化后的池化特征；第四确定子模块，用于将多个上述池化特征求平均确定出的特征作为上述平均特征。
[0012]作为一种可选的示例，上述第二获取单元包括：第二获取模块，用于使用目标神经网络模型的特征提取层提取上述片段时序融合特征；上述识别单元包括：第一识别模块，用于使用上述目标神经网络模型的全连接层对上述视频特征进行识别，得到上述目标类型。
[0013]作为一种可选的示例，上述第二获取单元还包括：第三获取模块，用于在使用上述目标神经网络模型的上述特征提取层提取上述片段时序融合特征之前，获取样本视频，其中，上述样本视频被标注有样本类型；输入模块，用于将上述样本视频输入到上述目标神经网络模型中，得到上述目标神经网络模型输出的上述样本视频的预估类型；第一调整模块，用于在上述预估类型和上述样本类型不同的情况下，调整上述目标神经网络模型的上述特征提取层的第一参数和上述全连接层的第二参数。
[0014]作为一种可选的示例，上述样本视频还被标注有关键帧的第一位置，上述第二获取单元还包括：第四获取模块，用于在将上述样本视频输入到上述目标神经网络模型中，得到上述目标神经网络模型输出的上述样本视频的视频类型时，获取上述样本视频的每一个样本视频片段的样本片段时序融合特征；池化模块，用于将每一个上述样本片段时序融合特征执行最大值池化操作，得到池化后的池化样本特征；拼接模块，用于将多个上述池化样本特征拼接为二维特征；第二识别模块，用于由上述目标神经网络模型的上述全连接层对上述二维特征进行识别，得到上述样本视频的上述关键帧的预估位置；第二调整模块，用于
在上述预估位置和上述第一位置不同的情况下，调整上述第一参数和上述第二参数。
[0015]根据本专利技术实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述视频分类方法。
[0016]根据本专利技术实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过上述计算机程序执行上述的视频分类方法。
[0017]在本专利技术实施例中，采用了在获取到待分类的目标视频的情况下，获取上述目标视频中每一帧视频帧的图像特征；根据各个视频帧的上述图像特征之间的特征距离，对上述目标视频中的所有视频本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频分类方法，其特征在于，包括：在获取到待分类的目标视频的情况下，获取所述目标视频中每一帧视频帧的图像特征；根据各个视频帧的所述图像特征之间的特征距离，对所述目标视频中的所有视频帧进行聚类处理，以得到多个视频片段，其中，所述多个视频片段的每一个视频片段中包括多个有序视频帧；获取所述多个视频片段中每个所述视频片段各自对应的片段时序融合特征，其中，所述片段时序融合特征为根据所述视频片段中的目标视频帧所确定的特征，所述目标视频帧为所述视频片段中的一部分视频帧；根据各个所述视频片段各自对应的片段时序融合特征确定所述目标视频的视频特征；对所述视频特征进行识别，得到所述目标视频的目标类型。2.根据权利要求1所述的方法，其特征在于，所述在获取到待分类的目标视频的情况下，获取所述目标视频的每一帧视频帧的图像特征包括：将所述目标视频的每一帧视频帧确定为当前视频帧，对所述当前视频帧执行如下操作：获取多个目标灰度值，将每一个所述目标灰度值确定为当前灰度值，统计所述当前视频帧中，像素点的灰度值与所述当前灰度值相同的像素点的数量，得到第一数量，其中，在所述当前视频帧中，每一个所述目标灰度值对应一个所述第一数量；将多个所述第一数量组成的序列确定为所述当前视频帧的所述图像特征。3.根据权利要求1所述的方法，其特征在于，所述根据各个视频帧的所述图像特征之间的特征距离，对所述目标视频中的所有视频帧进行聚类处理，以得到多个视频片段包括：确定多个目标特征；将所述目标视频的每一个所述图像特征作为当前特征，对所述当前特征执行如下操作，得到所述多个视频片段：确定所述当前特征与所述多个目标特征中，每一个所述目标特征的特征距离，将所述特征距离中的最小值对应的第一目标特征与所述当前特征确定为一组特征中的两个特征；在遍历所述目标视频的每一个所述图像特征之后，将同一组特征中的所述图像特征对应的视频帧确定为一个所述视频片段中的视频帧。4.根据权利要求3所述的方法，其特征在于，所述确定多个目标特征包括：确定多个初始特征；对所述当前特征执行如下操作，得到多个第一距离：确定每一个所述当前特征与所述多个初始特征中的第一初始特征的第一距离，其中，所述第一初始特征为所述多个初始特征中，与所述当前特征距离最小的特征，每一个所述当前特征对应一个所述第一距离；确定多个所述第一距离的和；调整所述多个初始特征，得到重新确定的所述和；将最小的所述和对应的所述多个初始特征确定为所述多个目标特征。5.根据权利要求1所述的方法，其特征在于，所述根据各个所述视频片段各自对应的片段时序融合特征确定所述目标视频的视频特征包括：获取每一个所述视频片段的所述片段时序融合特征；
对多个所述片段时序融合特征执行求平均操作，得到平均特征；将所述平均特征作为所述视频特征。6.根据权利要求5所述的方法，其特征在于，所述获取每一个所述视频片段的所述片段时序融合特征包括：将每一个所述视频片段作为当前片段，对所述当前片段执行如下操作：确定所述当前片段中的每一个所述目标视频帧的目标帧特征；将每一个所述目标帧特征确定为当前帧特征，对所述当前帧特征执行如下操作：使用第一帧特征中的第一部分的特征替换所述当前帧特征中所述第一部分的特征并使用第二帧特征中第二部分的特征替换所述当前帧特征中所述第二部分的特征，其中，所述第一帧特...

【专利技术属性】
技术研发人员：陈思宏，肖万鹏，鞠奇，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：