视频分类方法、装置、存储介质及服务器制造方法及图纸

本申请公开了一种视频分类方法、装置、存储介质及电子设备，其中视频分类方法包括：获取待分类视频；提取所述待分类视频的目标文本特征、目标图像特征以及目标音频特征；获取所述目标文本特征对应的第一权重、所述目标图像特征对应的第二权重以及所述目标音频特征对应的第三权重；根据所述第一权重、所述第二权重和所述第三权重，将所述目标文本特征、所述目标图像特征和所述目标音频特征进行融合处理，得到所述待分类视频的融合特征；根据所述融合特征和分类网络，确定所述待分类视频的视频类别。本实施例提供的视频分类方案，可以丰富待分类视频的分类依据，从而提高视频分类的准确度。

Video classification method, device, storage medium and server

【技术实现步骤摘要】
视频分类方法、装置、存储介质及服务器
本申请属于信息
，尤其涉及一种视频分类方法、装置、存储介质及服务器。
技术介绍
随着移动互联网的快速发展和智能手机的快速普及，视频形式的视觉内容数据与日俱增，随之衍生出视频分类。其中，视频分类是指电子设备按照一定的分类体系或标准对视频进行自动分类。视频分类可作为电子设备向用户推荐视频的依据。例如，对于电子设备的推荐业务，需要电子设备对大量推荐视频进行视频分类以获取大量推荐视频的视频类别，根据大量推荐视频的视频类别筛选出用户感兴趣的推荐视频。目前，电子设备从待分类视频中提取图像，根据提取的图像内容进行分类。但是，该种视频分类方式存在准确度低的问题。
技术实现思路
本申请实施例提供一种视频分类方法、装置、存储介质及电子设备，可以提高视频分类的准确度。第一方面，本申请实施例提供一种视频分类方法，包括：获取待分类视频；提取所述待分类视频的目标文本特征、目标图像特征以及目标音频特征；获取所述目标文本特征对应的第一权重、所述目标图像特征对应的第二权重以及所述目标音频特征对应的第三权重；根据所述第一权重、所述第二权重和所述第三权重，将所述目标文本特征、所述目标图像特征和所述目标音频特征进行融合处理，得到所述待分类视频的融合特征；根据所述融合特征和分类网络，确定所述待分类视频的视频类别。第二方面，本申请实施例提供一种视频分类装置，包括：第一获取模块，用于获取待分类视频；提取模块，用于提取所述待分类视频的目标文本特征、目标图像特征以及目标音频特征；第二获取模块，用于获取所述目标文本特征对应的第一权重、所述目标图像特征对应的第二权重以及所述目标音频特征对应的第三权重；融合处理模块，用于根据所述第一权重、所述第二权重和所述第三权重，将所述目标文本特征、所述目标图像特征和所述目标音频特征进行融合处理，得到所述待分类视频的融合特征；确定模块，用于根据所述融合特征和分类网络，确定所述待分类视频的视频类别。第三方面，本申请实施例提供的存储介质，其上存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如本申请任一实施例提供的视频分类方法。第四方面，本申请实施例提供的电子设备，包括处理器和存储器，所述存储器有计算机程序，所述处理器通过调用所述计算机程序，用于执行如本申请任一实施例提供的视频分类方法。本申请实施例提供的视频分类方案，根据目标文本特征、目标图像特征以及目标音频特征的融合特征和预设分类网络，确定待分类视频的视频类别。即待分类视频的分类依据包括待分类视频的目标文本特征、目标图像特征以及目标音频特征，可以丰富待分类视频的分类依据，从而提高视频分类的准确度。附图说明下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其有益效果显而易见。图1是本申请实施例提供的视频分类方法的第一流程示意图。图2是本申请实施例提供的视频分类方法的第二流程示意图。图3是本申请实施例提供的视频分类方法的场景示意图。图4是本申请实施例提供的特征融合网络的结构示意图。图5是本申请实施例提供的视频分类方法的卷积运算示意图。图6是本申请实施例提供的视频分类模型的结构示意图。图7是本申请实施例提供的视频分类装置的结构示意图。图8是本申请实施例提供的电子设备的第一结构示意图。图9是本申请实施例提供的电子设备的第二结构示意图。具体实施方式以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。本文所使用的术语「模块」可看做为在该运算系统上执行的软件对象。本文不同模块、引擎及服务可看做为在该运算系统上的实施对象。本申请实施例提供一种视频分类方法，该视频分类方法的执行主体可以是本申请实施例提供的视频分类装置，或者集成了该视频分类装置的电子设备。其中，电子设备可以是智能手机、平板电脑、掌上电脑(PDA，PersonalDigitalAssistant)、服务器等。以下进行具体分析说明。请参阅图1，图1为本申请实施例提供的视频分类方法的第一流程示意图，该视频分类方法可以包括以下步骤：101、获取待分类视频。本申请实施例中，当接收到视频分类请求时，电子设备根据视频分类请求获取待分类视频。其中，待分类视频可以包括一个视频或多个视频。待分类视频中至少存在一个包含文本数据的视频，以及至少存在一个包含音频数据的视频。可以理解的是，任意一个待分类视频中都包含有视频帧数据。此外，对于视频分类请求的触发方式，本申请实施例不作具体限定。例如，用户可以通过预设的方式来触发视频分类请求，如通过双击在显示屏上播放的视频来触发视频分类请求，即双击的视频作为待分类视频。或者，通过点击显示屏上的拍摄控件触发视频拍摄指令和视频分类请求，即电子设备自动对每个拍摄所得的视频进行视频分类。或者，在选择待分类视频后，通过组合键或在显示屏上显示的悬浮控件触发视频分类请求等。102、提取待分类视频的目标文本特征、目标图像特征以及目标音频特征。本申请实施例中，在获取待分类视频之后，电子设备获取待分类视频的目标文本特征、目标图像特征以及目标音频特征。其中，目标文本特征用于表示待分类视频中的文本数据。目标图像特征用于表示待分类视频中的视频帧数据。目标音频特征用于表示待分类视频中的音频数据。对于目标文本特征、目标图像特征和目标音频特征的获取方式，本申请实施例不作具体限定。需要说明的是，目标文本特征、目标图像特征和目标音频特征的尺寸相同，例如，目标文本特征、目标图像特征和目标音频特征都用尺寸为128行1列的矩阵表示。103、获取目标文本特征对应的第一权重、目标图像特征对应的第二权重以及目标音频特征对应的第三权重。其中，第一权重、第二权重和第三权重可以是在电子设备中预先设定的固定数值，如第一权重设定为30％、第二权重设定为40％、第三权重设定为30％等。用户可以对第一权重、第二权重和第三权重进行修改。第一权重、第二权重和第三权重也可以是电子设备按照一定规则即时获取的数值，如电子设备按照待分类视频中的文本数据、视频帧数据、音频数据的空间占用比例，即时获取第一权重、第二权重和第三权重等。需要说明的是，第一权重、第二权重和第三权重中的任意两个权重之间可以相同或者不同。对于第一权重、第二权重和第三权重的具体表现形式和大小，本申请实施例不作具体限定。104、根据第一权重、第二权重和第三权重，将目标文本特征、目标图像特征和目标音频特征进行融合处理，得到待分类视频的融合特征。本申请实施例中，在获取第一权重、第二权重和第三权重之后，电子设备将第一权重与目标文本特征进行加权处理，将第二权重与目标图像特征进行加权处理，将第三权重与目标音频特征进行加权处理，然后将进行加权处理后的目标文本特征、目标图像特本文档来自技高网...

【技术保护点】
1.一种视频分类方法，其特征在于，包括：/n获取待分类视频；/n提取所述待分类视频的目标文本特征、目标图像特征以及目标音频特征；/n获取所述目标文本特征对应的第一权重、所述目标图像特征对应的第二权重以及所述目标音频特征对应的第三权重；/n根据所述第一权重、所述第二权重和所述第三权重，将所述目标文本特征、所述目标图像特征和所述目标音频特征进行融合处理，得到所述待分类视频的融合特征；/n根据所述融合特征和分类网络，确定所述待分类视频的视频类别。/n

【技术特征摘要】
1.一种视频分类方法，其特征在于，包括：
获取待分类视频；
提取所述待分类视频的目标文本特征、目标图像特征以及目标音频特征；
获取所述目标文本特征对应的第一权重、所述目标图像特征对应的第二权重以及所述目标音频特征对应的第三权重；
根据所述第一权重、所述第二权重和所述第三权重，将所述目标文本特征、所述目标图像特征和所述目标音频特征进行融合处理，得到所述待分类视频的融合特征；
根据所述融合特征和分类网络，确定所述待分类视频的视频类别。


2.根据权利要求1所述的视频分类方法，其特征在于，所述提取所述待分类视频的目标文本特征、目标图像特征以及目标音频特征，包括：
从所述待分类视频中提取文本数据，根据第一特征提取网络从所述文本数据提取目标文本特征；
从所述待分类视频中提取视频帧数据，根据第二特征提取网络从所述视频帧数据提取目标图像特征；
从所述待分类视频中提取音频数据，根据第三特征提取网络从所述音频数据提取目标音频特征。


3.根据权利要求2所述的视频分类方法，其特征在于，所述根据第一特征提取网络从所述文本数据提取目标文本特征，包括：
根据第一特征提取网络从所述文本数据提取待处理文本特征；
按照目标尺寸，对所述待处理文本特征进行尺寸调整；
将尺寸调整后的待处理文本特征作为所述待分类视频的目标文本特征。


4.根据权利要求2所述的视频分类方法，其特征在于，所述根据第一特征提取网络从所述文本数据提取目标文本特征，包括：
根据第一特征提取网络从所述文本数据提取待处理文本特征；
按照目标尺寸，对所述待处理文本特征进行尺寸调整；
对尺寸调整后的待处理文本特征进行归一化处理；
将归一化处理后的待处理文本特征作为所述待分类视频的目标文本特征。


5.根据权利要求1所述的视频分类方法，其特征在于，所述获取所述目标文本特征对应的第一权重、所述目标图像特征对应的第二权重以及所述目标音频特征对应的第三权重，包括：
根据特征融合网络，计算所述目标文本特征对应的第一权重、所述目标图像特征对应的第二权重以及所述目标音频特征对应的第三权重。

【专利技术属性】
技术研发人员：高洪涛，
申请(专利权)人：OPPO重庆智能科技有限公司，
类型：发明
国别省市：重庆;50