视频检索方法、装置、电子设备及存储介质制造方法及图纸

一种视频检索方法，包括：接收待检索视频；对待检索视频进行预处理，获得视频关键帧图片；将视频关键帧图片划分成多个区域图片；将多个区域图片以及视频关键帧图片输入至预先训练好的深度卷积网络，获得视频关键帧图片的图片特征；对多段帧序列的视频关键帧图片的图片特征进行组合，获得待检索视频的视频指纹特征；采用欧氏距离以及时序匹配方案，将待检索视频的视频指纹特征与视频数据库中的视频指纹特征进行匹配，获得多个推荐视频；基于覆盖率以及欧氏距离，对多个推荐视频进行排序，获得多个推荐视频的排序结果；按照排序结果，输出多个推荐视频。本发明专利技术还提供一种视频检索装置。本发明专利技术能提高视频检索的质量。

Video retrieval methods, devices, electronic equipment and storage media

【技术实现步骤摘要】
视频检索方法、装置、电子设备及存储介质
本专利技术涉及视频
，尤其涉及一种视频检索方法、装置、电子设备及存储介质。
技术介绍
随着计算机网络与多媒体技术发展，视频媒体的传播及数字版权保护问题逐渐成为困扰诸多视频内容提供商的难题。现有的基于视频指纹特征的视频检索技术的关键在于视频指纹特征的提取与匹配。然而，现有检索方案中提取的视频指纹特征的鲁棒性较低，很难符合检索质量的要求。因此，如何提高视频指纹特征的鲁棒性以提高检索质量是一个亟待解决的技术问题。
技术实现思路
鉴于以上内容，有必要提供一种视频检索方法、装置、电子设备及存储介质，能够提高视频指纹特征的鲁棒性，提高检索质量。本专利技术的第一方面提供一种视频检索方法，所述方法包括：接收待检索视频；对所述待检索视频进行预处理，获得多段帧序列的视频关键帧图片；针对每个所述视频关键帧图片，将所述视频关键帧图片划分成多个区域图片；将所述多个区域图片以及所述视频关键帧图片输入至预先训练好的深度卷积网络，获得所述视频关键帧图片的图片特征；对所述多段帧序列的视频关键帧图片的图片特征进行组合，获得所述待检索视频的视频指纹特征；采用欧氏距离以及时序匹配方案，将所述待检索视频的视频指纹特征与视频数据库中的视频指纹特征进行匹配，获得多个推荐视频；基于覆盖率以及所述欧氏距离，对所述多个推荐视频进行排序，获得所述多个推荐视频的排序结果，其中，所述覆盖率作为所述推荐视频的时序匹配指标；按照所述排序结果，输出所述多个推荐视频。在一种可能的实现方式中，所述对所述待检索视频进行预处理，获得多段帧序列的视频关键帧图片包括：对所述待检索视频进行帧采样及关键帧提取处理，获得多段帧序列；对所述多段帧序列的视频帧图片进行黑边检测；若检测到所述多段帧序列的视频帧图片中存在黑边，从所述多段帧序列的视频帧图片中删除所述黑边，获得所述多段帧序列的视频关键帧图片。在一种可能的实现方式中，所述对所述待检索视频进行预处理，获得多段帧序列的视频关键帧图片包括：对所述待检索视频进行帧采样及关键帧提取处理，获得多段帧序列；对所述多段帧序列的视频帧图片进行画中画检测；若检测到所述多段帧序列的视频帧图片中存在插入视频图片，从所述多段帧序列的视频帧图片中删除所述插入视频图片，获得所述多段帧序列的视频关键帧图片。在一种可能的实现方式中，所述将所述多个区域图片以及所述视频关键帧图片输入至预先训练好的深度卷积网络，获得所述视频关键帧图片的图片特征包括：将所述多个区域图片以及所述视频关键帧图片分别输入至预先训练好的深度卷积网络；使用所述深度卷积网络，提取每个所述区域图片的局部特征以及所述视频关键帧图片的全局特征；针对每个所述区域图片，从多个所述局部特征中挑选出属于所述深度卷积网络的目标层的第一关键特征；针对所述视频关键帧图片，从多个所述全局特征中挑选出属于所述目标层的第二关键特征；对多个所述区域图片的第一关键特征以及所述视频关键帧图片的第二关键特征进行处理，获得所述视频关键帧图片的图片特征。在一种可能的实现方式中，所述对多个所述区域图片的第一关键特征以及所述视频关键帧图片的第二关键特征进行处理，获得所述视频关键帧图片的图片特征包括：针对每个所述区域图片的多个第一关键特征，对每个所述第一关键特征进行正则化处理以及最大池化处理，获得多个第三关键特征；针对所述视频关键帧图片的多个第二关键特征，对每个所述第二关键特征进行正则化处理以及最大池化处理，获得多个第四关键特征；将多个所述第三关键特征进行拼接，获得每个所述区域图片的局部关键特征，以及将多个所述第四关键特征进行拼接，获得所述视频关键帧图片的全局关键特征；对多个所述局部关键特征以及所述全局关键特征进行主成分分析，获得所述视频关键帧图片的图片特征。在一种可能的实现方式中，所述采用欧氏距离以及时序匹配方案，将所述待检索视频的视频指纹特征与视频数据库中的视频指纹特征进行匹配，获得多个推荐视频包括：针对视频数据库中的任一视频帧的视频指纹特征，计算所述任一视频帧的视频指纹特征与所述待检索视频的视频指纹特征的欧氏距离；若所述欧氏距离小于预设距离阈值，确定所述任一视频帧所属的视频为候选视频；计算所述待检索视频的每个视频帧的视频指纹特征与所述候选视频的每个视频帧的视频指纹特征的欧氏距离，并筛选出欧氏距离小于所述预设距离阈值的视频帧匹配对；从多个所述候选视频中删除所述视频帧匹配对不符合所述时序限制条件的候选视频，获得多个推荐视频。在一种可能的实现方式中，所述基于覆盖率以及所述欧氏距离，对所述多个推荐视频进行排序，获得所述多个推荐视频的排序结果包括：针对每个所述推荐视频，确定所述待检索视频与所述推荐视频的共有视频帧的多个非减子序列；计算多个所述非减子序列中最长非减子序列的长度与所述推荐视频的视频帧总数的比值，并将所述比值确定为所述推荐视频的覆盖率；计算所述推荐视频的最长非减子序列与所述待检索视频的最长非减子序列的欧氏距离的平均值；计算所述覆盖率与所述平均值，获得计算结果；根据多个所述推荐视频的计算结果，对所述多个推荐视频进行排序，获得所述多个推荐视频的排序结果。本专利技术的第二方面提供一种视频检索装置，所述视频检索装置包括：接收模块，用于接收待检索视频；预处理模块，用于对所述待检索视频进行预处理，获得多段帧序列的视频关键帧图片；划分模块，用于针对每个所述视频关键帧图片，将所述视频关键帧图片划分成多个区域图片；输入模块，用于将所述多个区域图片以及所述视频关键帧图片输入至预先训练好的深度卷积网络，获得所述视频关键帧图片的图片特征；组合模块，用于对所述多段帧序列的视频关键帧图片的图片特征进行组合，获得所述待检索视频的视频指纹特征；匹配模块，用于采用欧氏距离以及时序匹配方案，将所述待检索视频的视频指纹特征与视频数据库中的视频指纹特征进行匹配，获得多个推荐视频；排序模块，用于基于覆盖率以及所述欧氏距离，对所述多个推荐视频进行排序，获得所述多个推荐视频的排序结果，其中，所述覆盖率作为所述推荐视频的时序匹配指标；输出模块，用于按照所述排序结果，输出所述多个推荐视频。本专利技术的第三方面提供一种电子设备，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现所述的视频检索方法。本专利技术的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的视频检索方法。由以上技术方案，本专利技术中，在视频指纹特征提取时，采用分块划分技术将待检索视频的视频关键帧图片划分成多个区域图片，同时，将所述多个区域图片以及所述视频关键帧图片输入至预先训练好的深度卷积网络，获得所述待检索视频的视频本文档来自技高网...

【技术保护点】
1.一种视频检索方法，其特征在于，所述方法包括：/n接收待检索视频；/n对所述待检索视频进行预处理，获得多段帧序列的视频关键帧图片；/n针对每个所述视频关键帧图片，将所述视频关键帧图片划分成多个区域图片；/n将所述多个区域图片以及所述视频关键帧图片输入至预先训练好的深度卷积网络，获得所述视频关键帧图片的图片特征；/n对所述多段帧序列的视频关键帧图片的图片特征进行组合，获得所述待检索视频的视频指纹特征；/n采用欧氏距离以及时序匹配方案，将所述待检索视频的视频指纹特征与视频数据库中的视频指纹特征进行匹配，获得多个推荐视频；/n基于覆盖率以及所述欧氏距离，对所述多个推荐视频进行排序，获得所述多个推荐视频的排序结果，其中，所述覆盖率作为所述推荐视频的时序匹配指标；/n按照所述排序结果，输出所述多个推荐视频。/n

【技术特征摘要】
1.一种视频检索方法，其特征在于，所述方法包括：
接收待检索视频；
对所述待检索视频进行预处理，获得多段帧序列的视频关键帧图片；
针对每个所述视频关键帧图片，将所述视频关键帧图片划分成多个区域图片；
将所述多个区域图片以及所述视频关键帧图片输入至预先训练好的深度卷积网络，获得所述视频关键帧图片的图片特征；
对所述多段帧序列的视频关键帧图片的图片特征进行组合，获得所述待检索视频的视频指纹特征；
采用欧氏距离以及时序匹配方案，将所述待检索视频的视频指纹特征与视频数据库中的视频指纹特征进行匹配，获得多个推荐视频；
基于覆盖率以及所述欧氏距离，对所述多个推荐视频进行排序，获得所述多个推荐视频的排序结果，其中，所述覆盖率作为所述推荐视频的时序匹配指标；
按照所述排序结果，输出所述多个推荐视频。


2.根据权利要求1所述的方法，其特征在于，所述对所述待检索视频进行预处理，获得多段帧序列的视频关键帧图片包括：
对所述待检索视频进行帧采样及关键帧提取处理，获得多段帧序列；
对所述多段帧序列的视频帧图片进行黑边检测；
若检测到所述多段帧序列的视频帧图片中存在黑边，从所述多段帧序列的视频帧图片中删除所述黑边，获得所述多段帧序列的视频关键帧图片。


3.根据权利要求1所述的方法，其特征在于，所述对所述待检索视频进行预处理，获得多段帧序列的视频关键帧图片包括：
对所述待检索视频进行帧采样及关键帧提取处理，获得多段帧序列；
对所述多段帧序列的视频帧图片进行画中画检测；
若检测到所述多段帧序列的视频帧图片中存在插入视频图片，从所述多段帧序列的视频帧图片中删除所述插入视频图片，获得所述多段帧序列的视频关键帧图片。


4.根据权利要求1所述的方法，其特征在于，所述将所述多个区域图片以及所述视频关键帧图片输入至预先训练好的深度卷积网络，获得所述视频关键帧图片的图片特征包括：
将所述多个区域图片以及所述视频关键帧图片分别输入至预先训练好的深度卷积网络；
使用所述深度卷积网络，提取每个所述区域图片的局部特征以及所述视频关键帧图片的全局特征；
针对每个所述区域图片，从多个所述局部特征中挑选出属于所述深度卷积网络的目标层的第一关键特征；
针对所述视频关键帧图片，从多个所述全局特征中挑选出属于所述目标层的第二关键特征；
对多个所述区域图片的第一关键特征以及所述视频关键帧图片的第二关键特征进行处理，获得所述视频关键帧图片的图片特征。


5.根据权利要求4所述的方法，其特征在于，所述对多个所述区域图片的第一关键特征以及所述视频关键帧图片的第二关键特征进行处理，获得所述视频关键帧图片的图片特征包括：
针对每个所述区域图片的多个第一关键特征，对每个所述第一关键特征进行正则化处理以及最大池化处理，获得多个第三关键特征；
针对所述视频关键帧图片的多个第二关键特征，对每个所述第二关键特征进行正则化处理以及最大池化处理，获得多个第四关键特征；
将多个所述第三关键特征进行拼接，获得每个所述区域图片的局部关键特征，以...

【专利技术属性】
技术研发人员：周旭智，刘浏，
申请(专利权)人：深圳市网心科技有限公司，
类型：发明
国别省市：广东;44