用于提取视频指纹的方法、装置、设备和计算机可读介质制造方法及图纸

公开了一种用于提取视频的视频指纹的方法、装置、设备和计算机可读介质。所述方法包括：提取视频中的多个视频帧；对于所述多个视频帧的每一个，利用具有多个层的神经网络对该视频帧进行处理，其中，多个层中包括至少一个卷积层，所述至少一个卷积层中的每一个用于对其前一层的输出进行卷积处理；将所述神经网络的中间层输出的卷积处理结果作为该视频帧的指纹特征；以及处理所述多个视频帧的指纹特征，以生成所述视频的视频指纹。

Methods, devices, devices and computer readable media for extracting video fingerprints

【技术实现步骤摘要】
用于提取视频指纹的方法、装置、设备和计算机可读介质
本公开涉及视频处理领域，具体涉及一种用于提取视频的视频指纹的方法、装置、设备和计算机可读介质。
技术介绍
近年来，网络视频的数量的增长速度十分迅速。为了实现有效的视频识别，可以通过对视频中包括的多个视频帧进行图像处理，并生成这些视频帧的指纹特征。通过对这些指纹特征进行处理可以得到该视频的视频指纹。利用这样的方式得到的视频指纹可以作为视频的唯一特征代表一个视频文件。利用视频指纹对视频内容的描述作用，可以实现相似视频之间的比对和聚类等应用。由于目前视频指纹在视频比对和聚类的过程中具有广泛的应用，因此，需要新的视频指纹提取方法以实现视频指纹的快速提取和视频指纹的快速比对。
技术实现思路
为此，本公开提供了一种用于提取视频的视频指纹的方法、装置、设备和计算机可读介质。根据本公开的一个方面，提供了一种用于提取视频的视频指纹的方法，包括：提取视频中的多个视频帧；对于所述多个视频帧的每一个，利用具有多个层的神经网络对该视频帧进行处理，其中，多个层中包括至少一个卷积层，所述至少一个卷积层中的每一个用于对其前一层的输出进行卷积处理，将所述神经网络的中间层的输出的卷积处理结果作为该视频帧的指纹特征；以及处理所述多个视频帧的指纹特征，以生成所述视频的视频指纹。在一些实施例中，处理所述多个视频帧的指纹特征，以生成所述视频的视频指纹包括：对所述多个视频帧的指纹特征分别执行降维处理，以获得多个降维的指纹特征；拼接所述多个降维的视频指纹特征，以生成所述视频的视频指纹。在一些实施例中，对所述多个视频帧的指纹特征执行降维处理包括以下步骤中的至少一个：对所述多个视频帧的指纹特征分别执行池化处理，以获得多个池化的指纹特征，以及对所述多个池化的指纹特征进行主成分分析，以获得多个降维的指纹特征。在一些实施例中，提取视频中的多个视频帧包括：在所述视频中等间隔地选择多个帧作为所述多个视频帧。在一些实施例中，所述神经网络将所述视频帧变换成具有多个通道的图像数据，所述方法还包括并行地对所述多个通道的图像数据执行卷积操作。在一些实施例中，所述神经网络是Mobilenet网络。根据本公开的另一方面，还提供了一种用于提取视频指纹的装置，包括：视频帧提取单元，配置成提取视频中的多个视频帧；指纹特征提取单元，配置成于所述多个视频帧的每一个，利用具有多个层的神经网络对该视频帧进行处理，其中，多个层中包括至少一个卷积层，所述至少一个卷积层中的每一个用于对其前一层的输出进行卷积处理；将所述神经网络的中间层输出的卷积处理结果作为该视频帧的指纹特征；以及视频指纹生成单元，配置成处理所述多个视频帧的指纹特征，以生成所述视频的视频指纹。在一些实施例中，所述视频指纹生成单元还包括：降维子单元，配置对所述多个视频帧的指纹特征分别执行降维处理，以获得多个降维的指纹特征；以及拼接子单元，配置成拼接所述多个降维的视频指纹特征，以生成所述视频的视频指纹。在一些实施例中，所述降维处理包括以下步骤中的至少一个：对所述多个视频帧的指纹特征分别执行池化处理，以获得多个池化的指纹特征，以及对所述多个池化的指纹特征进行主成分分析，以获得多个降维的指纹特征。在一些实施例中，提取视频中的多个视频帧包括：在所述视频中等间隔地选择多个帧作为所述多个视频帧。在一些实施例中，所述神经网络将所述视频帧变换成具有多个通道的图像数据，所述装置还配置成并行地对所述多个通道的图像数据执行卷积操作。在一些实施例中，所述神经网络是Mobilenet网络。根据本公开的另一方面，还提供了一种用于提取视频指纹的设备，包括处理器和存储器，所述存储器中存储有程序指令，当通过处理器执行所述程序指令时，所述处理器配置成执行如前所述的用于提取视频的视频指纹的方法。根据本公开的另一方面，还提供了一种计算机可读存储介质，其上存储有指令，所述指令在被处理器执行时，使得所述处理器执行如前所述的用于提取视频的视频指纹的方法。根据本公开提供的用于提取视频指纹的方法、装置、设备和计算机可读介质，可以通过新的指纹特征提取方法确定用于视频中的视频帧的指纹特征，并进一步利用该指纹特征确定该视频的视频指纹。利用本公开提供的方法获得的视频指纹具有更好的聚类效果。附图说明为了更清楚地说明本公开实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员而言，在没有做出创造性劳动的前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本公开的主旨。图1示出了根据本公开的一个示例性的视频指纹提取系统的示意图；图2示出了根据本公开的实施例的一种用于视频指纹提取的方法的示意性的流程图；图3示出了根据本公开的实施例的视频指纹特征生成步骤的示意性的流程图；图4示出了根据本公开的实施例的一种用于提取视频指纹的装置的示意性的框图；以及图5示出了根据本公开的一种示例性的计算设备的架构。具体实施方式为使本公开的目的、技术方案和优点更加清楚，以下举实施例对本公开作进一步详细说明。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。视频的视频指纹是通过对视频中的图像信息的分析生成的唯一视频特征，该视频指纹可以代表对应的视频文件。利用视频指纹可以实现视频搜索，例如，由于视频指纹对于视频内容的描述性可以帮助定位相似视频，因此利用视频指纹可以实现以视频搜视频的应用。又例如，利用视频指纹可以实现两个视频的快速比对。对于两个内容完全一样，但视频帧率、分辨率有差异的视频，依靠视频文件的消息摘要算法md5无法判断两个视频是否相同。然而，由于视频指纹可以描述视频内容，因此，通过比对视频指纹可以发现内容相同的两个视频。利用这样的特性，视频指纹可以实现例如对相同视频执行去重等操作。此外，利用视频指纹对于视频内容的描述性，可以根据视频指纹对用户观看过的视频进行聚类，从而可以对用户感兴趣的类别进行相似视频的推荐。此外，在视频内容传播的过程中，例如视频共享的平台上，通过视频指纹和视频上传时间可以确定相同或高度相似的视频中最早上传的用户，从而确定视频内容的原创者，并对盗版视频进行打击。由于目前视频指纹在视频比对和聚类的过程中具有广泛的应用，因此，需要新的视频指纹提取方法以实现视频指纹的快速提取和视频指纹的快速比对。图1示出了根据本公开的一个示例性的视频指纹提取系统的示意图。如图1所示，视频指纹提取系统100可以包括一个或多个客户端110、网络120、服务器130以及数据库140。为描述方便，在本公开中，视频指纹提取系统100可以简称为系统100。客户端110可以包括但不限于固定式电子设备或移动式电子设备中的一种或多种。例如，固定式电子设备可以包括但不限于台式电脑、智能家居设备等。移动电子设备可以包括但不限于智能手机、智能手表、笔记本电脑、平板电脑、游戏设备等中的一种或多种。客户端110可以通过网络120与服务器、数据库或其他客户端进行通信，例如，将客户端本地存储的视频或通过客户端拍摄的视频经由网络发送至服本文档来自技高网...

【技术保护点】
1.一种用于提取视频的视频指纹的方法，包括：提取视频中的多个视频帧；对于所述多个视频帧的每一个，利用具有多个层的神经网络对该视频帧进行处理，其中，多个层中包括至少一个卷积层，所述至少一个卷积层中的每一个用于对其前一层的输出进行卷积处理；将所述神经网络的中间层输出的卷积处理结果作为该视频帧的指纹特征；以及处理所述多个视频帧的指纹特征，以生成所述视频的视频指纹。

【技术特征摘要】
1.一种用于提取视频的视频指纹的方法，包括：提取视频中的多个视频帧；对于所述多个视频帧的每一个，利用具有多个层的神经网络对该视频帧进行处理，其中，多个层中包括至少一个卷积层，所述至少一个卷积层中的每一个用于对其前一层的输出进行卷积处理；将所述神经网络的中间层输出的卷积处理结果作为该视频帧的指纹特征；以及处理所述多个视频帧的指纹特征，以生成所述视频的视频指纹。2.根据权利要求1所述的方法，其中，处理所述多个视频帧的指纹特征，以生成所述视频的视频指纹包括：对所述多个视频帧的指纹特征分别执行降维处理，以获得多个降维的指纹特征；拼接所述多个降维的视频指纹特征，以生成所述视频的视频指纹。3.根据权利要求2所述的方法，其中，对所述多个视频帧的指纹特征执行降维处理包括以下步骤中的至少一个：对所述多个视频帧的指纹特征分别执行池化处理，以获得多个池化的指纹特征，以及对所述多个池化的指纹特征进行主成分分析，以获得多个降维的指纹特征。4.根据权利要求1-3任一项所述的方法，其中，提取视频中的多个视频帧包括：在所述视频中等间隔地选择多个帧作为所述多个视频帧。5.根据权利要求1-4任一项所述的方法，其中所述神经网络将所述视频帧变换成具有多个通道的图像数据，所述方法还包括并行地对所述多个通道的图像数据执行卷积操作。6.根据权利要求1-5任一项所述的方法，其中，所述神经网络是Mobilenet网络。7.一种用于提取视频的视频指纹的装置，包括：视频帧提取单元，配置成提取视频中的多个视频帧；指纹特征提取单元，配置成对于所述多个视频帧的每一个，利用具有多个层的神经网络对该视频帧进行处理，其中，多个层中包...

【专利技术属性】
技术研发人员：叶燕罡，沈小勇，陈忠磊，马子扬，戴宇榮，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44