视频识别方法、装置、电子设备及存储介质制造方法及图纸

本公开公开了一种视频识别方法、装置、电子设备及存储介质，属于视频识别技术领域。该视频识别方法包括：获取待识别视频在至少两种模态下的向量特征；基于至少两种模态下的向量特征，获取待识别视频在每一模态下的目标向量特征，其中，目标向量特征为由至少一个维度上的向量特征生成；基于至少两种模态下的目标向量特征，生成待识别视频的语义信息；确定与待识别视频的语义信息对应的视频识别结果，其中，视频识别结果用于指示待识别视频是否为低观感视频。采用本公开提供的视频识别方法、装置、电子设备及存储介质，至少解决现有视频识别过程中存在效率低的问题。别过程中存在效率低的问题。别过程中存在效率低的问题。

【技术实现步骤摘要】
视频识别方法、装置、电子设备及存储介质


[0001]本公开涉及视频识别
，具体涉及一种视频识别方法、装置、电子设备及存储介质。

技术介绍

[0002]随着互联网和无线通信技术的飞速发展，人们之间进行信息共享的方式越来越丰富。视频分享作为一种新兴的信息分享功能，可以实现用户通过拍摄的短视频(如时长为一分钟以内的视频等)向他人展现自己生活的点点滴滴，提升用户分享信息的便捷性及趣味性。
[0003]目前，伴随着短视频分享的迅速推广，人们拍摄并传播的短视频也越来越多，需要对每一视频的视频类型进行分类，以便于对视频的管理，例如，可以将存在违法、违背社会公德或者低俗等内容的视频归类为低观感视频，以便防止低观感视频的传播。但是，目前对于视频所属的视频类型的识别通常是由人工进行标注，工作强度大，从而导致视频识别的效率低下。可见，目前的视频识别过程中存在效率低的问题。

技术实现思路

[0004]本公开实施例的目的是提供一种视频识别方法、装置、电子设备及存储介质，以解决目前的视频识别过程中存在效率低的问题。
[0005]本公开的技术方案如下：
[0006]根据本公开实施例的第一方面，提供一种视频识别方法，方法包括：
[0007]获取待识别视频在至少两种模态下的向量特征；
[0008]基于所述至少两种模态下的向量特征，获取所述待识别视频在每一模态下的目标向量特征，其中，所述目标向量特征为由至少一个维度上的向量特征生成；
[0009]基于所述至少两种模态下的目标向量特征，生成所述待识别视频的语义信息；
[0010]确定与所述待识别视频的语义信息对应的视频识别结果，其中，所述视频识别结果用于指示所述待识别视频是否为低观感视频。
[0011]在其中一个实施例中，所述基于所述至少两种模态下的向量特征，获取所述待识别视频在每一模态下的目标向量特征，包括：
[0012]获取第一模态在至少一个维度上的向量特征，其中，所述第一模态为所述至少两种模态下的任一种模态；
[0013]对所述第一模态在至少一个维度上的向量特征进行全连接处理，得到第一全连接向量；
[0014]通过注意力机制对所述第一全连接向量进行处理，得到所述待识别视频在所述第一模态下的目标向量特征。
[0015]在其中一个实施例中，所述通过注意力机制对第一全连接向量进行处理，得到所述待识别视频在所述第一模态下的目标向量特征，包括：
[0016]获取所述第一全连接向量和第二全连接向量，其中，所述第二全连接向量为第二模态下的向量特征，所述第二模态为所述至少两种模态下除所述第一模态之外的任一种模态；
[0017]通过自注意力机制对所述第一全连接向量进行处理，得到第一注意力向量；
[0018]通过双向注意力机制对所述第一全连接向量和所述第二全连接向量进行处理，得到第二注意力向量；
[0019]基于所述第一注意力向量和所述第二注意力向量，得到所述待识别视频在所述第一模态下的目标向量特征。
[0020]在其中一个实施例中，所述基于所述第一注意力向量和所述第二注意力向量，得到所述待识别视频在所述第一模态下的目标向量特征，包括：
[0021]将所述第一注意力向量与所述第二注意力向量相加，并将相加得到的向量与所述第一全连接向量相乘，得到待池化向量；
[0022]对所述待池化向量进行池化处理，得到所述待识别视频在所述第一模态下的目标向量特征。
[0023]在其中一个实施例中，所述基于所述至少两种模态下的目标向量特征，生成所述待识别视频的语义信息，包括：
[0024]将所述至少两种模态下的目标向量特征输入至自然语言模型中，得到所述待识别视频的语义信息。
[0025]在其中一个实施例中，所述将所述至少两种模态下的目标向量特征输入至自然语言模型中，得到所述待识别视频的语义信息，包括：
[0026]对所述至少两种模态下的目标向量特征进行融合处理，得到所述待识别视频的融合向量；
[0027]将所述融合向量分割成至少两个向量块；
[0028]将所述至少两个向量块输入至自然语言模型中，得到所述待识别视频的语义信息。
[0029]根据本公开实施例的第二方面，提供一种视频的识别装置，包括：
[0030]向量特征获取模块，被配置为获取待识别视频在至少两种模态下的向量特征；
[0031]目标向量特征获取模块，被配置为基于所述至少两种模态下的向量特征，获取所述待识别视频在每一模态下的目标向量特征，其中，所述目标向量特征为由至少一个维度上的向量特征生成；
[0032]语义信息生成模块，被配置为基于所述至少两种模态下的目标向量特征，生成所述待识别视频的语义信息；
[0033]识别结果确定模块，被配置为确定与所述待识别视频的语义信息对应的视频识别结果，其中，所述视频识别结果用于指示所述待识别视频是否为低观感视频。
[0034]在其中一个实施例中，所述目标向量特征获取模块，包括：
[0035]向量特征获取子模块，被配置为获取第一模态在至少一个维度上的向量特征，其中，所述第一模态为所述至少两种模态下的任一种模态；
[0036]全连接处理子模块，被配置为对所述第一模态在至少一个维度上的向量特征进行全连接处理，得到第一全连接向量；
[0037]向量特征融合子模块，被配置为通过注意力机制对所述第一全连接向量进行处理，得到所述待识别视频在所述第一模态下的目标向量特征。
[0038]在其中一个实施例中，所述向量特征融合子模块，包括：
[0039]全连接向量获取单元，被配置为获取所述第一全连接向量和第二全连接向量，其中，所述第二全连接向量为第二模态下的向量特征，所述第二模态为所述至少两种模态下除所述第一模态之外的任一种模态；
[0040]第一向量处理单元，被配置为通过自注意力机制对所述第一全连接向量进行处理，得到第一注意力向量；
[0041]第二向量处理单元，被配置为通过双向注意力机制对所述第一全连接向量和所述第二全连接向量进行处理，得到第二注意力向量；
[0042]向量特征融合单元，被配置为基于所述第一注意力向量和所述第二注意力向量，得到所述待识别视频在所述第一模态下的目标向量特征。
[0043]在其中一个实施例中，所述向量特征融合单元，包括：
[0044]计算子单元，被配置为将所述第一注意力向量与所述第二注意力向量相加，并将相加得到的向量与所述第一全连接向量相乘，得到待池化向量；
[0045]池化处理子单元，被配置为对所述待池化向量进行池化处理，得到所述待识别视频在所述第一模态下的目标向量特征。
[0046]在其中一个实施例中，所述语义信息生成模块，具体被配置为：
[0047]将所述至少两种模态下的待融合向量特征输入至自然语言模型中，得到所述待识别视频的语义信息。
[0048]在其中一个实施例中，所述语义信息生成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频识别方法，其特征在于，包括：获取待识别视频在至少两种模态下的向量特征；基于所述至少两种模态下的向量特征，获取所述待识别视频在每一模态下的目标向量特征，其中，所述目标向量特征为由至少一个维度上的向量特征生成；基于所述至少两种模态下的目标向量特征，生成所述待识别视频的语义信息；确定与所述待识别视频的语义信息对应的视频识别结果，其中，所述视频识别结果用于指示所述待识别视频是否为低观感视频。2.根据权利要求1所述的方法，其特征在于，所述基于所述至少两种模态下的向量特征，获取所述待识别视频在每一模态下的目标向量特征，包括：获取第一模态在至少一个维度上的向量特征，其中，所述第一模态为所述至少两种模态下的任一种模态；对所述第一模态在至少一个维度上的向量特征进行全连接处理，得到第一全连接向量；通过注意力机制对所述第一全连接向量进行处理，得到所述待识别视频在所述第一模态下的目标向量特征。3.根据权利要求2所述的方法，其特征在于，所述通过注意力机制对第一全连接向量进行处理，得到所述待识别视频在所述第一模态下的目标向量特征，包括：获取所述第一全连接向量和第二全连接向量，其中，所述第二全连接向量为第二模态下的向量特征，所述第二模态为所述至少两种模态下除所述第一模态之外的任一种模态；通过自注意力机制对所述第一全连接向量进行处理，得到第一注意力向量；通过双向注意力机制对所述第一全连接向量和所述第二全连接向量进行处理，得到第二注意力向量；基于所述第一注意力向量和所述第二注意力向量，得到所述待识别视频在所述第一模态下的目标向量特征。4.根据权利要求3所述的方法，其特征在于，所述基于所述第一注意力向量和所述第二注意力向量，得到所述待识别视频在所述第一模态下的目标向量特征，包括：将所述第一注意力向量与所述第二注意力向量相加，并将相加得到的向量与所述第一全连接向量相乘，得到待池化向量；对所述待池化向量进行池化处理，得...

【专利技术属性】
技术研发人员：周侃，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：