【技术实现步骤摘要】
视频检索方法
[0001]本申请实施例涉及图像处理领域,尤其涉及视频检索方法
。
技术介绍
[0002]视频内容检索指的是通过各类查询元语来查找
、
检索和定位到符合内容语义到视频及其片段或帧的过程
。
目前大部分的视频搜索引擎仅仅通过搜索视频描述文本或匹配视频的标签等利用视频外部附加元数据的方法来完成检索,是一种简单的文本匹配
。
这种简单文本匹配的最大缺陷是,如果视频的外部附加元数据中不包括检索关键字时,检索可能会失败
。
传统的同模态检索方式包括利用图像检索视频,或者利用用户提供的小段视频样本的来检索视频
。
典型的同模态匹配算法包括色彩直方图匹配
、
局部二值特征匹配
、
频域轮廓波变换匹配等
。
这类基于传统的图形图像学算法的同模态检索算法存在一定局限性:需要用户提供同模态的检索素材,如截图或一小段视频片段,这在某些情况下用户是很难提前获取并准备好这些材料的;图形图像学算法对检索素材的要求很高,需要与相关内容高度契合,素材的旋转
、
剪切
、
色彩失真
、
压缩噪音等对检索结果有很大的影响
。
这对视频检索的效率和准确性造成影响
。
技术实现思路
[0003]以下是对本文详细描述的主题的概述
。
本概述并非是为了限制权利要求的保护范围
。
[0004]本申 ...
【技术保护点】
【技术特征摘要】
1.
一种视频检索方法,其特征在于,包括:获取原始视频;将所述原始视频分离得到视频流
、
音频流和字幕流;通过文本特征提取器对由所述音频流所映射的文本数据和字幕流提取文本特征向量;通过图像特征提取器对所述视频流在关键帧图像的浅层表达提取图像特征向量;根据所述文本特征向量和所述图像特征向量的相似度将所述文本特征向量和所述图像特征向量映射至同一嵌入域并对齐,得到文本图像嵌入向量;根据所述文本图像嵌入向量和所述原始视频构建关系数据库;获取查询文本,根据所述关系数据库由所述查询文本从多个所述原始视频中检索得到目标视频
。2.
根据权利要求1所述的视频检索方法,其特征在于,在所述将所述原始视频分离得到视频流
、
音频流和字幕流之前,所述视频检索方法还包括:获取所述原始视频的视频帧的帧类型;获取帧类型为
I
帧的视频帧的帧号和时间戳;将相邻的两个帧类型为
I
帧的视频帧的帧号差作为子片段长度,根据子片段长度对所述原始视频进行分割,得到若干个原始视频的视频段
。3.
根据权利要求2所述的视频检索方法,其特征在于,所述将所述原始视频分离得到视频流
、
音频流和字幕流,包括:获取所述原始视频的视频段的文件头部和文件后续名;根据所述文件头部和所述文件后续名确定所述原始视频所对应的视频文件容器的类型;根据所述视频文件容器的类型从多个分离器中确定目标分离器;由所述目标分离器将所述原始视频分离得到视频流
、
音频流和字幕流
。4.
根据权利要求1所述的视频检索方法,其特征在于,所述通过文本特征提取器对由所述音频流所映射的文本数据和字幕流提取文本特征向量,包括
:
对所述音频流进行语音识别得到文本数据;将所述文本数据与所述字幕流进行文本拼接得到综合文本;过滤所述综合文本中的非文字字符得到过滤文本;通过所述文本特征提取器对所述过滤文本提取文本特征向量
。5.
根据权利要求2所述的视频检索方法,其特征在于,所述通过图像特征提取器对所述视频流在关键帧图像的浅层表达提取图像特征向量,包括:将所述原始视频的视频段的首个帧类型为
I
帧的视频帧作为所述原始视频的视频段的关键帧图像;将所述关键帧图像转换为二维矩阵形式,将二维矩阵形式的关键...
【专利技术属性】
技术研发人员:翟懿奎,柯文宇,应自炉,李文霸,周建宏,冼庭锋,谭梓峻,李博,
申请(专利权)人:五邑大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。