一种基于体育比赛视频的相似视频片段检索方法技术

本发明专利技术涉及一种基于体育比赛视频的相似视频片段检索方法，通过离线部分对视频库中的所有视频进行预处理形成视频特征库，在线部分对查询片段进行视频结构化分析以及特征提取后在视频特征库中进行两轮不同粒度的检索。第一轮粗粒度的检索确定候选视频集，第二轮细粒度的检索确定相似片段在视频对象中的精确位置。并且，对所有的视频特征采用K-D?tree进行组织以加速查询过程。最后综合考虑视觉、时序、干扰因子对相似度的影响，对相似片段进行相似度进行计算并排序。

【技术实现步骤摘要】

本专利技术涉及一种相似视频片段检索方法，属于计算机视觉

技术介绍
相似视频检索是基于内容视频检索(CBVR)领域近年来兴起的研究热点。由于其应用广泛能为视频复制检测、视频语义标注等提供关键技术，成为众多研究机构和学者关注的焦点。其中，对体育比赛视频进行自动检索则具有很高的实用价值，研究成果既可以被专业人士用于对体育比赛中的选手的技术动作与战术进行快速分析，从而提高体育训练效率和训练水平，也可以被体育爱好者们用于对感兴趣的视频片段进行更加准确、方便、快捷的检索，从而提高人们观赏体育比赛的便捷程度。相似视频检索是通过选取合适的底层视觉特征，在视频的特征空间进行视频的相似度度量，并在视频数据库中进行快速、准确的检索，从而得到检索结果。 目前在实际的应用中都是基于单轮检索，直接对视频库中的所有视频进行相似度计算，但直接检索存在着一个很严重的问题由于视频包含文本、声音以及图像是一种复杂的没有结构的流数据，其特征维数高、蕴含的数据量大、计算复杂，若对视频库进行直接处理必然造成检索时间过长，难以满足实时查询的要求。并且针对视频特征一般维数较高、数据量大计算复杂等问题，目前的相似片段检索方法中对于视频的特征的组织往往采用一些常用的降维方法(如VA-File)避免“维度灾难”这一严峻问题。常用的降维方法能在一定程度上降低时间复杂度，减少计算时间，但降维方法是基于近似向量的原理会导致检索精度降低，并且一些常用的降维方法都有其适用范围，而视频特征具有随机性难以满足要求。对于体育比赛视频而言，尤其是某类型的体育比赛，其场景较为固定、简单，场地以及背景信息变化较小，因此不必为体育视频提取高维的特征进行检索，只需提取具有代表性的特征即可，例如颜色特征、亮度特征等。
技术实现思路
本专利技术的目的是提供一种基于体育比赛视频的相似片段检索方法。该方法利用离线部分已经形成视频特征库，在线部分对查询片段进行视频结构化分析以及特征提取后在视频特征库中的视频进行两轮不同粒度的检索，并采用K-D tree组织视频特征得到相似片段。最后综合考虑视觉、时序、干扰因子对相似度的影响，对相似片段进行相似度进行计算并排序。该方法能有效地减少计算量、提高检索效率，实现了快速、准确的基于体育比赛视频的相似片段检索。为实现上述目的，本专利技术采用下述的技术方案。其特征在于包括以下步骤步骤一对视频库中的所有视频进行预处理，分别采用基于颜色相似性的子片段分割方法和基于亮度差异性的子片段分割方法将每个视频分割为若干视频子片段，对每个视频子片段提取其中的关键帧，对每一关键帧提取颜色和亮度特征，组成视频特征库；步骤二 对于步骤一中得到的所有特征采用K-D tree结构进行存储，每一个特征都作为K-D tree中的一个节点，特征值大于该层分辨器值的特征作为右子树，特征值小于等于该层分辨器值的特视作为左子树，视频特征库中的所有特征构建成一棵K-D tree ；步骤三对待查询视频片段分别采用基于颜色相似性的子片段分割方法和基于亮度差异性的子片段分割方法法将其分割为若干视频子片段，对每个视频子片段提取其中的关键帧，对每一关键帧提取颜色和亮度特征，作为查询条件；步骤四首先，通过将查询条件与视频特征库中的特征进行对比找到待查询视频片段中所有视频子片段的相似子片段集，对所得到的所有相似子片段集求交集，并由所求交集确定候选视频集；其次，对候选视频集中所有视频采用滑动子片段窗口进行相似片段的精确定位，采用如下公式(I)计算滑动子片段窗口中的视频片段与待查询视频片段的匹配度IV，匹配度小于给定阈值时，将所述窗口以一个视频子片段为步长向前移动；直到匹配度大于所述给定阈值，此时所述窗口的前端为相似片段的起始位置；权利要求1.一种基于体育比赛视频的相似片段检索方法，包括以下步骤 步骤一对视频库中的所有视频进行预处理，分别采用基于颜色相似性的子片段分割方法和基于亮度差异性的子片段分割方法将每个视频分割为若干视频子片段，对每个视频子片段提取其中的关键帧，对每一关键帧提取颜色和亮度特征，组成视频特征库； 步骤二 对于步骤一中得到的所有特征采用K-D tree结构进行存储，每一个特征都作为K-D tree中的一个节点，特征值大于该层分辨器值的特征作为右子树，特征值小于等于该层分辨器值的特视作为左子树，视频特征库中的所有特征构建成一棵K-D tree ； 步骤三对待查询视频片段分别采用基于颜色相似性的子片段分割方法和基于亮度差异性的子片段分割方法法将其分割为若干视频子片段，对每个视频子片段提取其中的关键帧，对每一关键帧提取颜色和亮度特征，作为查询条件； 步骤四首先，通过将查询条件与视频特征库中的特征进行对比找到待查询视频片段中所有视频子片段的相似子片段集，对所得到的所有相似子片段集求交集，并由所求交集确定候选视频集；其次，对候选视频集中所有视频采用滑动子片段窗口进行相似片段的精确定位，采用如下公式(I)计算滑动子片段窗口中的视频片段与待查询视频片段的匹配度2.如权利要求I所述的方法，其特征在于所述步骤一和所述步骤三中关键帧选取视频子片段的首帧作为其关键帧。3.如权利要求I所述的方法，其特征在于所述步骤四中滑动子片段窗口的大小优选为滑动子片段窗口中视频子片段的总数目的I. 6倍。4.如权利要求I所述的方法，其特征在于所述步骤五中视觉因子优选为待查询视频片段与相似片段所有视频子片段的相似度平均值；顺序因子优选为待查询视频片段与相似片段所包含的相同顺序的最长视频子片段数目占待查询视频片段中视频子片段的总数目的比例；干扰因子优选为待查询视频片段与相似片段中所有找不到对应的相似视频子片段数目。5.如权利要求I所述的方法，其特征在于所述步骤五中ων、ω0>Coi分别优选为O.25、0· 5、0· 25。全文摘要本专利技术涉及，通过离线部分对视频库中的所有视频进行预处理形成视频特征库，在线部分对查询片段进行视频结构化分析以及特征提取后在视频特征库中进行两轮不同粒度的检索。第一轮粗粒度的检索确定候选视频集，第二轮细粒度的检索确定相似片段在视频对象中的精确位置。并且，对所有的视频特征采用K-D tree进行组织以加速查询过程。最后综合考虑视觉、时序、干扰因子对相似度的影响，对相似片段进行相似度进行计算并排序。文档编号G06F17/30GK102890700SQ201210230108公开日2013年1月23日 申请日期2012年7月4日 优先权日2012年7月4日专利技术者李炜, 李小燕, 李艳华, 陈书骞 申请人:北京航空航天大学本文档来自技高网...

【技术保护点】
一种基于体育比赛视频的相似片段检索方法，包括以下步骤：步骤一：对视频库中的所有视频进行预处理，分别采用基于颜色相似性的子片段分割方法和基于亮度差异性的子片段分割方法将每个视频分割为若干视频子片段，对每个视频子片段提取其中的关键帧，对每一关键帧提取颜色和亮度特征，组成视频特征库；步骤二：对于步骤一中得到的所有特征采用K？D？tree结构进行存储，每一个特征都作为K？D？tree中的一个节点，特征值大于该层分辨器值的特征作为右子树，特征值小于等于该层分辨器值的特视作为左子树，视频特征库中的所有特征构建成一棵K？D？tree；步骤三：对待查询视频片段分别采用基于颜色相似性的子片段分割方法和基于亮度差异性的子片段分割方法法将其分割为若干视频子片段，对每个视频子片段提取其中的关键帧，对每一关键帧提取颜色和亮度特征，作为查询条件；步骤四：首先，通过将查询条件与视频特征库中的特征进行对比找到待查询视频片段中所有视频子片段的相似子片段集，对所得到的所有相似子片段集求交集，并由所求交集确定候选视频集；其次，对候选视频集中所有视频采用滑动子片段窗口进行相似片段的精确定位，采用如下公式（1）计算滑动子片段窗口中的视频片段与待查询视频片段的匹配度mqw；mqw=NVnqlen---(1)其中表示待查询视频片段和滑动子片段窗口中一一对应的视频子片 段数目，len为滑动子片段窗口中视频子片段的总数目；如果匹配度小于给定阈值时，将所述窗口以一个视频子片段为步长向前移动，直到匹配度大于所述给定阈值，此时所述窗口的前端为相似片段的起始位置；步骤五：根据步骤四中得到相似片段，按照如下相似度计算公式（2）计算待查询视频片段与相似片段的相似度S(Vq,Vs)；S(Vq,Vs)＝ωv×fv+ωo×fo+ωi×fi？？？？？？？？？？？？(2)其中fv、fo、fi分别为视觉因子、顺序因子及干扰因子，ωv、ω0、ωi分别为视觉因子、顺序因子及干扰因子的权重值；步骤六：根据上述计算得到的相似度，确定最终的相似视频。FDA00001849379200012.jpg...

【技术特征摘要】

【专利技术属性】
技术研发人员：李炜，李小燕，李艳华，陈书骞，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：