视频分类方法、视频分类装置、介质及电子设备制造方法及图纸

本申请提供一种视频分类方法、视频分类装置、介质及电子设备。所述视频分类方法包括：获取待分类视频；将所述待分类视频输入神经网络模型进行转换处理，获取所述待分类视频转换后的图像；通过所述神经网络模型对所述待分类视频的特征和所述图像的特征进行特征融合处理获取融合特征。通过所述神经网络模型对所述融合特征和所述待分类视频的特征进行处理获取视频分类结果。所述视频分类方法能够增强视频分类的识别效果，即提高视频分类精度。即提高视频分类精度。即提高视频分类精度。

【技术实现步骤摘要】
视频分类方法、视频分类装置、介质及电子设备


[0001]本申请属于视频处理领域，涉及一种视频分类方法，特别是涉及一种视频分类方法、视频分类装置、介质及电子设备。

技术介绍

[0002]随着互联网和移动设备的高速发展，视频的浏览、推荐、编辑等需求也与日俱增，视频分类作为基础的能力之一，目前也有了较为广泛的研究和应用。
[0003]目前的视频分类方法，一般是将视频输入到神经网络中，由三维的卷积神经网络对视频进行分类，这种将视频作为单一信息的视频分类方法，在分类效果上并不理想。因此目前的视频分类方法存在视频分类精度不高的问题。

技术实现思路

[0004]本申请的目的在于提供一种视频分类方法、视频分类装置、介质及电子设备，用于解决目前的视频分类方法存在的视频分类精度不高的问题。
[0005]第一方面，本申请提供一种视频分类方法，所述视频分类方法包括：获取待分类视频；将所述待分类视频输入神经网络模型进行转换处理获取所述待分类视频转换后的图像，并通过所述神经网络模型对所述图像进行处理获取所述图像的特征，所述神经网络模型包括填充模块、第一卷积模块和全连接模块，将所述待分类视频输入神经网络模型进行转换处理获取所述待分类视频转换后的图像，并通过所述神经网络模型对所述图像进行处理获取所述图像的特征的实现方法包括：通过所述填充模块对所述待分类视频进行填充处理获取所述图像；通过所述第一卷积模块对所述图像进行特征抽取处理，获取所述图像的第一顶点特征；通过所述全连接模块对所述第一顶点特征和邻接矩阵进行处理获取第二顶点特征和边特征；通过所述神经网络模型对所述待分类视频的特征和所述图像的特征进行特征融合处理获取融合特征；通过所述神经网络模型对所述融合特征和所述待分类视频的特征进行处理获取视频分类结果。
[0006]在所述视频分类方法中，通过所述神经网络模型对所述待分类视频的特征和所述图像的特征进行特征融合处理获取融合特征，并通过所述神经网络模型对所述融合特征和所述待分类视频的特征进行处理获取视频分类结果，相当于将图像的特征与所述待分类视频的特征交互，并基于此实现视频分类。相比于将视频作为单一信息的视频分类方法，所述视频分类方法能够增强视频分类的识别效果，即提高视频分类精度。
[0007]于本申请的一实施例中，所述图像的特征包括所述第二顶点特征和所述边特征，所述神经网络模型还包括若干个第一自注意力模型中的第一编码模块和第二卷积模块，通过所述神经网络模型对所述待分类视频的特征和所述图像的特征进行特征融合处理获取融合特征的实现方法包括：通过堆叠的所述第一编码模块对第一视频特征进行处理，以获取第二视频特征，所述第一视频特征由所述第二卷积模块对所述图像进行特征抽取处理获取，所述待分类视频的特征为所述第一视频特征；通过所述神经网络模型对所述第二顶点
特征、所述边特征和所述第二视频特征进行第一特征融合处理获取所述融合特征。
[0008]于本申请的一实施例中，所述神经网络模型还包括若干个第一交叉注意力网络，通过所述神经网络模型对所述第二顶点特征、所述边特征和所述第二视频特征进行第一特征融合处理获取所述融合特征的实现方法包括：通过堆叠的所述第一交叉注意力网络对所述第二顶点特征、所述边特征和所述第二视频特征进行前期特征融合，获取前期融合特征；通过所述神经网络模型对所述第二顶点特征、所述第二视频特征和所述前期融合特征进行第二特征融合处理获取所述融合特征。
[0009]于本申请的一实施例中，所述神经网络模型还包括第二编码模块、第三编码模块、第四编码模块和第二交叉注意力网络，通过所述神经网络模型对所述第二顶点特征、所述第二视频特征和所述前期融合特征进行第二特征融合处理获取所述融合特征的实现方法包括：通过所述第二编码模块对所述第二顶点特征进行处理获取第一键向量；通过所述第三编码模块对所述前期融合特征进行处理获取第一查询向量；通过所述第四编码模块对所述第二视频特征进行处理获取第一值向量；通过所述第二交叉注意力网络对所述第一键向量、所述第一查询向量和所述第一值向量进行第一后期特征融合获取第二值向量；通过所述神经网络模型对所述第二值向量、所述第一键向量和所述第一值向量进行第三特征融合处理获取所述融合特征。
[0010]于本申请的一实施例中，所述神经网络模型还包括第五编码模块、第六编码模块、第三交叉注意力网络和第四交叉注意力网络，通过所述神经网络模型对所述第二值向量、所述第一键向量和所述第一值向量进行第三特征融合处理获取所述融合特征的实现方法包括：通过所述第五编码模块对所述第一键向量进行处理获取第二查询向量和第三值向量；通过所述第六编码模块对所述第一值向量进行处理获取第二键向量、第三查询向量和视频特征；通过所述第三交叉注意力网络对所述第二查询向量、第二值向量和所述第二键向量进行第二后期特征融合获取第三键向量；通过所述第四交叉注意力网络对所述第三查询向量、所述第三值向量和所述第三键向量进行第三后期特征融合获取所述融合特征。
[0011]于本申请的一实施例中，通过所述神经网络模型对所述融合特征和所述视频特征进行处理获取所述融合特征的分类概率和所述视频特征的分类概率；对所述融合特征的分类概率和所述视频特征的分类概率进行加权处理获取所述视频分类结果。
[0012]第二方面，本申请提供一种视频分类装置，所述视频分类装置包括：视频获取模块，用于获取待分类视频；视频转换模块，用于将所述待分类视频输入神经网络模型进行转换处理获取所述待分类视频转换后的图像，所述神经网络模型包括填充模块、第一卷积模块和全连接模块，将所述待分类视频输入神经网络模型进行转换处理获取所述待分类视频转换后的图像包括：通过所述填充模块对所述待分类视频进行填充处理获取所述图像；图像处理模块，用于通过所述神经网络模型对所述图像进行处理获取所述图像的特征，通过所述神经网络模型对所述图像进行处理获取所述图像的特征包括：通过所述第一卷积模块对所述图像进行特征抽取处理，获取所述图像的第一顶点特征；通过所述全连接模块对所述第一顶点特征和邻接矩阵进行处理获取第二顶点特征和边特征；融合处理模块，用于通过所述神经网络模型对所述待分类视频的特征和所述图像的特征进行特征融合处理获取融合特征；视频分类模块，用于通过所述神经网络模型对所述融合特征和所述待分类视频的特征进行处理获取视频分类结果。
[0013]第三方面，本申请提供一种计算机可读存储介质，其上存储有一计算机程序，该计算机程序被处理器执行时实现本申请第一方面任一项所述视频分类方法。
[0014]第四方面，本申请提供一种电子设备，所述电子设备包括：存储器，存储有一计算机程序；处理器，与所述存储器通信相连，调用所述计算机程序时执行本申请第一方面任一项所述视频分类方法。
[0015]如上所述，本申请所述视频分类方法、视频分类装置、介质及电子设备，具有以下有益效果：在所述视频分类方法中，通过所述神经网络模型对所述待分类视频的特征和所述图像的特征进行特征融合处理获取融合特征，并通过所述神经网络模型对所述融合特征和所述待分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频分类方法，其特征在于，所述视频分类方法包括：获取待分类视频；将所述待分类视频输入神经网络模型进行转换处理获取所述待分类视频转换后的图像，并通过所述神经网络模型对所述图像进行处理获取所述图像的特征；所述神经网络模型包括填充模块、第一卷积模块和全连接模块，将所述待分类视频输入神经网络模型进行转换处理获取所述待分类视频转换后的图像，并通过所述神经网络模型对所述图像进行处理获取所述图像的特征的实现方法包括：通过所述填充模块对所述待分类视频进行填充处理获取所述图像；通过所述第一卷积模块对所述图像进行特征抽取处理，获取所述图像的第一顶点特征；通过所述全连接模块对所述第一顶点特征和邻接矩阵进行处理获取第二顶点特征和边特征；通过所述神经网络模型对所述待分类视频的特征和所述图像的特征进行特征融合处理获取融合特征；通过所述神经网络模型对所述融合特征和所述待分类视频的特征进行处理获取视频分类结果。2.根据权利要求1所述的视频分类方法，其特征在于，所述图像的特征包括所述第二顶点特征和所述边特征，所述神经网络模型还包括若干个自注意力模型中的第一编码模块和第二卷积模块，通过所述神经网络模型对所述待分类视频的特征和所述图像的特征进行特征融合处理获取融合特征的实现方法包括：通过堆叠的所述第一编码模块对第一视频特征进行处理，获取第二视频特征，所述第一视频特征由所述第二卷积模块对所述图像进行特征抽取处理获取，所述待分类视频的特征为所述第一视频特征；通过所述神经网络模型对所述第二顶点特征、所述边特征和所述第二视频特征进行第一特征融合处理获取所述融合特征。3.根据权利要求2所述的视频分类方法，其特征在于，所述神经网络模型还包括若干个第一交叉注意力网络，通过所述神经网络模型对所述第二顶点特征、所述边特征和所述第二视频特征进行第一特征融合处理获取所述融合特征的实现方法包括：通过堆叠的所述第一交叉注意力网络对所述第二顶点特征、所述边特征和所述第二视频特征进行前期特征融合，获取前期融合特征；通过所述神经网络模型对所述第二顶点特征、所述第二视频特征和所述前期融合特征进行第二特征融合处理获取所述融合特征。4.根据权利要求3所述的视频分类方法，其特征在于，所述神经网络模型还包括第二编码模块、第三编码模块、第四编码模块和第二交叉注意力网络，通过所述神经网络模型对所述第二顶点特征、所述第二视频特征和所述前期融合特征进行第二特征融合处理获取所述融合特征的实现方法包括：通过所述第二编码模块对所述第二顶点特征进行处理获取第一键向量；通过所述第三编码模块对所述前期融合特征进行处理获取第一查询向量；通过所述第四编码模块对所述第二视频特征进行处理获取第一值向量；通过所述第二交叉注意力网络对所述第一键向量、所述第一查询向量和所述第一值向量进行第一后期特征融合获取第二值向量；
通过...

【专利技术属性】
技术研发人员：孔欧，
申请(专利权)人：上海蜜度信息技术有限公司，
类型：发明
国别省市：