视频快速检索方法、系统和视频快速推荐方法技术方案

本申请涉及一种视频快速检索方法、系统和视频快速推荐方法，其中，该方法包括：利用爬虫获取视频，将经过预处理的视频作为训练数据集，基于无监督对比学习训练视频特征抽取模型；将业务相关视频逐一输入至视频特征抽取模型，并输出对应的视频特征向量，构成视频服务器检索库；获得待检索视频并依据视频特征抽取模型获得待检索视频对应的待检索视频特征向量，将待检索视频特征向量与视频服务器检索库中的视频特征向量进行相似度比较，获取相似度满足一定预设条件的业务相关视频。本申请通过获得视频的视频特征向量，并对视频特征向量进行比较获得检索结果，能有效提升视频时空特征表示能力，同时进行向量对比极大地提高了检索效率。效率。效率。

【技术实现步骤摘要】
视频快速检索方法、系统和视频快速推荐方法


[0001]本申请涉及计算机
，特别是涉及视频快速检索方法、系统和视频快速推荐方法。

技术介绍

[0002]近年来，国内短视频日益火爆，视频正逐渐成为人们最喜爱的娱乐互动方式之一，大量的商业应用App(企业微信，飞书等)中也已经引入了视频交互功能。然而，目前的功能大多局限在简单的视频压缩、发送、接收等，一定程度的限制了视频作为交互媒介对于提升公司潜在经济价值的能力，根据客户的需求或喜好对客户进行实时有效的视频推荐的需求也越来越强烈。
[0003]现有技术中采用基于特征的模糊检索的方式，其技术方案主要是，建立在对视频内容分析的基础上，对非结构化的视频进行结构化处理。主要将视频结构分为场景、镜头、关键帧。通过分割视频的场景、镜头进而提取出视频关键帧，再进行后续处理。
[0004]但是现有技术中使用单一特征并不能够准确的表达视频内容，难以提取到有效的视频时空特征表示，也难以满足业务应用的高实时需求。
[0005]目前针对现有技术中难以有效提取到视频时空特征表示的技术问题，尚未提出有效的解决方案。

技术实现思路

[0006]本申请实施例提供了一种视频快速检索方法、系统和视频快速推荐方法，提出一种基于视频内容相似性的快速检索技术，以至少解决相关技术中难以有效提取到视频时空特征表示的问题。
[0007]第一方面，本申请实施例提供了一种视频快速检索方法，其特征在于，包括以下步骤：
[0008]视频特征抽取模型训练步骤，利用爬虫获取视频，将经过预处理的视频作为训练数据集，基于无监督对比学习训练视频特征抽取模型；
[0009]视频特征提取步骤，将业务相关视频逐一输入至视频特征抽取模型，并输出对应的视频特征向量，构成视频服务器检索库；
[0010]视频检索步骤，获得待检索视频并依据视频特征抽取模型获得待检索视频对应的待检索视频特征向量，将待检索视频特征向量与视频服务器检索库中的视频特征向量进行相似度比较，获取相似度满足一定预设条件的业务相关视频。
[0011]在其中一些实施例中，从训练数据集中随机加载一个批次的视频数据输入至无监督视频对比学习框架进行迭代训练，具体包括以下步骤：
[0012]样例增强步骤，针对该批次中的视频数据中的每一个视频，随机从视频中抽取两个长度均为一预设时长的片段，对着两个片段以每一帧的速率各抽取出预设帧数图像，得到两个包含预设帧数图像的图像序列，对两个图像序列进行相同处理并获得对应两个增强
样例；
[0013]特征嵌入步骤，将增强样例输入至特征嵌入网络，并输出编码后的对应特征表达；
[0014]目标损失步骤，依据以下公式计算对比损失L，更新视频特征抽取模型的网络参数θ；
[0015][0016]且
[0017]其中z1和z2代表增强样例的特征表达，C代表z1和z2自相关矩阵，b表示该批次中的各样例对，i和j分别表示z1和z2的各维度分量。
[0018]在其中一些实施例中，样例增强步骤中对图像序列的处理至少包括包括随机裁剪、调整大小、随机水平翻转、随机颜色抖动、灰度化以及高斯模糊变换。
[0019]在其中一些实施例中，还包括自定义业务数据模型微调步骤，依据自定义业务数据集对经过目标损失步骤的视频特征抽取模型微调训练一预定范围的epoch。
[0020]在其中一些实施例中，视频检索步骤中还可以通过哈希检索方法对视频特征向量进行对比。
[0021]第二方面，本申请实施例提供了一种视频快速推荐方法，其特征在于，包括：
[0022]接收客户端返回的视频信息，采用第一方面所述的视频快速检索方法对所述视频信息对应的视频进行检索，并将检索结果返回值所述客户端。
[0023]第三方面，本申请实施例提供了一种视频快速检索系统，应用上述第一方面所述的视频快速检索方法，包括：终端设备、传输设备以及服务器设备；其中，终端设备通过传输设备连接服务器设备；
[0024]终端设备用于用户选择触发视频并接收返回的检索视频；
[0025]服务器设备用于执行如第一方面中任一项的视频快速检索方法。
[0026]在其中一些实施例中，服务器设备包括：
[0027]视频特征抽取模型训练模块，利用爬虫获取视频，将经过预处理的视频作为训练数据集，基于无监督对比学习训练视频特征抽取模型；
[0028]视频特征提取模块，将业务相关视频逐一输入至视频特征抽取模型，并输出对应的视频特征向量，构成视频服务器检索库；
[0029]视频检索模块，接收客户端返回的视频信息，依据视频特征抽取模型获得视频信息对应的触发视频特征向量，将触发视频特征向量与视频服务器检索库中的视频特征向量进行相似度比较，获取相似度满足一定预设条件的业务相关视频至客户端。
[0030]在其中一些实施例中，视频特征抽取模型训练模块还包括：
[0031]样例增强单元，针对该批次中的视频数据中的每一个视频，随机从视频中抽取两个长度均为一预设时长的片段，对着两个片段以每一帧的速率各抽取出预设帧数图像，得到两个包含预设帧数图像的图像序列，对两个图像序列进行相同处理并获得对应两个增强样例；
[0032]特征嵌入单元，将增强样例输入至特征嵌入网络，并输出编码后的对应特征表达；
[0033]目标损失单元，依据以下公式计算对比损失L，更新视频特征抽取模型的网络参数θ；
[0034]L＝∑
i
(1
‑
C
ii
)2+0.001∑
i
∑
j≠1
C
ij2
,
[0035]且
[0036]其中z1和z2代表增强样例的特征表达，C代表z1和z2自相关矩阵，b表示该批次中的各样例对，i和j分别表示z1和z2的各维度分量。
[0037]第四方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述第一方面的视频快速检索方法。
[0038]第五方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面的视频快速检索方法。
[0039]相比于相关技术，本申请实施例提供的视频快速检索方法、系统和视频快速推荐，本专利技术可以应用于深度学习技术
，还可以应用于计算机视觉
，基于无监督视频表示学习技术训练视频特征抽取模型，获得视频的视频特征向量，并对视频特征向量进行比较获得检索结果，能有效提升视频时空特征表示能力，同时进行向量对比极大地提高了检索效率。
[0040]本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
[0041]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频快速检索方法，其特征在于，包括以下步骤：视频特征抽取模型训练步骤，利用爬虫获取视频，将经过预处理的所述视频作为训练数据集，基于无监督对比学习训练视频特征抽取模型；视频特征提取步骤，将业务相关视频逐一输入至所述视频特征抽取模型，并输出对应的视频特征向量，构成视频服务器检索库；视频检索步骤，获得待检索视频并依据所述视频特征抽取模型获得所述待检索视频对应的待检索视频特征向量，将所述待检索视频特征向量与所述视频服务器检索库中的所述视频特征向量进行相似度比较，获取所述相似度满足一定预设条件的所述业务相关视频。2.根据权利要求1所述的视频快速检索方法，其特征在于，从所述训练数据集中随机加载一个批次的视频数据输入至无监督视频对比学习框架进行迭代训练，具体包括以下步骤：样例增强步骤，针对该批次中的视频数据中的每一个视频，随机从所述视频中抽取两个长度均为一预设时长的片段，对着两个所述片段以每一帧的速率各抽取出预设帧数图像，得到两个包含所述预设帧数图像的图像序列，对两个所述图像序列进行相同处理并获得对应两个增强样例；特征嵌入步骤，将所述增强样例输入至特征嵌入网络，并输出编码后的对应特征表达；目标损失步骤，依据以下公式计算对比损失L，并更新所述视频特征抽取模型的网络参数；L＝∑
i
(1
‑
C
ii
)2+0.001∑
i
∑
j≠1
C
ij2
，且其中z1和z2代表增强样例的特征表达，C代表z1和z2自相关矩阵，b表示该批次中的各样例对，i和j分别表示z1和z2的各维度分量。3.根据权利要求2所述的视频快速检索方法，其特征在于，还包括自定义业务数据模型微调步骤，依据自定义业务数据集对经过所述目标损失步骤的所述视频特征抽取模型微调训练一预定范围的epoch。4.根据权利要求1所述的视频快速检索方法，其特征在于，所述视频检索步骤中还可以通过哈希检索方法对所述视频特征向量进行对比。5.一种视频快速推荐方法，其特征在于，包括：接收客户端返回的视频信息，采用权利要求1
‑
4任意一项所述的视频快速检索方法对所述视频信息对应的...

【专利技术属性】
技术研发人员：范清，唐大闰，
申请(专利权)人：上海明略人工智能集团有限公司，
类型：发明
国别省市：