一种视频索引分级方法及装置制造方法及图纸

本发明专利技术实施例公开了一种视频索引分级方法及装置，所述方法包括：将全部视频中满足预设规则的视频对应的索引加入到一级索引中，并将全部视频对应的索引加入到二级索引中；对除所述一级索引包含的索引对应的视频之外的其他视频，抽取用于确定视频的索引是否需要加入到所述一级索引中的特征数据；根据所述特征数据，训练用于确定视频的索引是否需要加入到所述一级索引中的分类模型；针对除所述一级索引包含的索引对应的视频之外的每一视频，根据训练好的所述分类模型，确定是否需要将所述视频的索引加入到所述一级索引中；将所确定的索引加入到所述一级索引中。应用本发明专利技术实施例，节省了在线服务器的数量。

【技术实现步骤摘要】

本专利技术涉及视频处理
，特别涉及一种视频索引分级方法及装置。
技术介绍
随着用户的需求提高，视频搜索引擎需要提供高频和高并发的在线服务，即同时让不同的用户在极低的响应时间内搜索到满意的视频。视频搜索引擎根据用户的视频搜索请求，在索引中进行搜索。随着用户数、访问数的增长带来视频搜索引擎QPS(QueryPerSecond，每秒查询率)负载的提升，即每秒须同时处理的请求数更多，另外，每天网络上不断有新的视频产生，造成搜索引擎索引量的数量巨大，为了保证视频搜索的召回率，所有视频均需建立索引，容纳一套索引需要的服务器内存空间会越来越大。但服务器由于带宽等限制，单台服务器所能承担的QPS负载是有限的，服务器的内存空间也是有限的，为了满足QPS负载和索引量的不断增长，现有的方法是增加服务器的数量，但这种方法会导致在线服务器的数量庞大。
技术实现思路
本专利技术实施例的目的在于提供一种视频索引分级方法及装置，以节省在线服务器的数量。为达到上述目的，本专利技术实施例公开了一种视频索引分级方法，所述方法包括：将全部视频中满足预设规则的视频对应的索引加入到一级索引中，并将全部视频对应的索引加入到二级索引中；对除所述一级索引包含的索引对应的视频之外的其他视频，抽取用于确定视频的索引是否需要加入到所述一级索引中的特征数据；根据所述特征数据，训练用于确定视频的索引是否需要加入到所述一级索引中的分类模型；针对除所述一级索引包含的索引对应的视频之外的每一视频，根据训练好的所述分类模型，确定是否需要将所述视频的索引加入到所述一级索引中；将所确定的索引加入到所述一级索引中。较佳的，所述方法还包括：接收用户的视频搜索请求，所述视频搜索请求中至少包含请求结果数；估计利用所述一级索引进行视频搜索返回的第一结果数，以及利用所述二级索引进行视频搜索返回的第二结果数；根据所述请求结果数、所述第一结果数以及所述第二结果数，确定用于进行视频搜索的索引级别；利用所确定级别的索引，进行视频搜索。较佳的，所述根据所述特征数据，训练用于确定视频的索引是否需要加入到所述一级索引中的分类模型，包括：根据所述特征数据，利用梯度下降法，训练用于确定视频的索引是否需要加入到所述一级索引中的分类模型。较佳的，所述根据所述请求结果数、所述第一结果数以及所述第二结果数，确定用于进行视频搜索的索引级别，包括：判断所述第一结果数是否不小于所述请求结果数；如果是，将所述一级索引确定为用于进行视频搜索的索引；如果否，判断所述第二结果数是否不小于所述请求结果数；如果是，将所述二级索引确定为用于进行视频搜索的索引；如果否，将所述一级索引确定为用于进行视频搜索的索引。较佳的，在将所述一级索引确定为用于进行视频搜索的索引、且所述第一结果数不小于所述请求结果数的情况下，所述方法还包括：判断利用所述一级索引，进行视频搜索返回的实际搜索结果数是否小于所述请求结果数；如果是，利用所述二级索引，继续进行视频搜索。较佳的，在将所述一级索引确定为用于进行视频搜索的索引、且所述第一结果数不小于所述请求结果数的情况下，所述方法还包括：针对利用所述一级索引，进行视频搜索返回的每一搜索结果，计算所述搜索结果与所述视频搜索请求的相关度；根据所述相关度，确定满足所述视频搜索请求的结果数量；判断所述结果数量是否小于所述请求结果数；如果是，利用所述二级索引，继续进行视频搜索。为达到上述目的，本专利技术实施例还公开了一种视频索引分级装置，所述装置包括：加入模块，用于将全部视频中满足预设规则的视频对应的索引加入到一级索引中，并将全部视频对应的索引加入到二级索引中；抽取模块，用于对除所述一级索引包含的索引对应的视频之外的其他视频，抽取用于确定视频的索引是否需要加入到所述一级索引中的特征数据；训练模块，用于根据所述特征数据，训练用于确定视频的索引是否需要加入到所述一级索引中的分类模型；第一确定模块，用于针对除所述一级索引包含的索引对应的视频之外的每一视频，根据训练好的所述分类模型，确定是否需要将所述视频的索引加入到所述一级索引；所述加入模块，还用于将所确定的索引加入到所述一级索引。较佳的，所述装置还包括：接收模块，用于接收用户的视频搜索请求，所述视频搜索请求中至少包含请求结果数；估计模块，用于估计利用所述一级索引进行视频搜索返回的第一结果数，以及利用所述二级索引进行视频搜索返回的第二结果数；第二确定模块，用于根据所述请求结果数、所述第一结果数以及所述第二结果数，确定用于进行视频搜索的索引级别；搜索模块，用于利用所确定级别的索引，进行视频搜索。较佳的，所述训练模块，具体用于：根据所述特征数据，利用梯度下降法，训练用于确定视频的索引是否需要加入到所述一级索引中的分类模型。较佳的，所述第二确定模块，具体用于：判断所述第一结果数是否不小于所述请求结果数；如果是，将所述一级索引确定为用于进行视频搜索的索引；如果否，判断所述第二结果数是否不小于所述请求结果数；如果是，将所述二级索引确定为用于进行视频搜索的索引；如果否，将所述一级索引确定为用于进行视频搜索的索引。较佳的，所述装置还包括：第一处理模块，其中，所述第一处理模块，用于在将所述一级索引确定为用于进行视频搜索的索引、且所述第一结果数不小于所述请求结果数的情况下，判断利用所述一级索引，进行视频搜索返回的实际搜索结果数是否小于所述请求结果数；如果是，利用所述二级索引，继续进行视频搜索。较佳的，所述装置还包括：第二处理模块，其中，所述第二处理模块，用于在将所述一级索引确定为用于进行视频搜索的索引、且所述第一结果数不小于所述请求结果数的情况下，针对利用所述一级索引，进行视频搜索返回的每一搜索结果，计算所述搜索结果与所述视频搜索请求的相关度；根据所述相关度，确定满足所述视频搜索请求的结果数量；判断所述结果数量是否小于所述请求结果数；如果是，利用所述二级索引，继续进行视频搜索。由上述技术方案可见，本专利技术实施例提供一种视频索引分级方法及装置，所述方法包括：将全部视频中满足预设规则的视频对应的索引加入到所述一级索引中；对除所述一级索引包含的索引对应的视频之外的其他视频，抽取用于确定视频的索引是否需要加入到所述一级索引中的特征数据；根据所述特征数据，训练用于确定视频的索引是否需要加入到所述一级索引中的分类模型；针对除所述一级索引包含的索引对应的视频之外的每一视频，根据训练好的所述分类模型，确定是否需要将所述视频的索引加入到所述一级索引中；将所确定的索引加入到所述一级索引中；将全部视频对应的索引加入到二级索引中。应用本专利技术实施例，通过建立两级索引，容纳一级索引所需要的服务器的数量小于容纳二级索引所需要的服务器的数量，而且一级索引能够承担大部分QPS负载，二级索引只需较少的服务器数量承担剩余小部分QPS负载，所以，在相同索引量和QPS负载下，节省了在线服务器的数量。当然，实施本专利技术的任一产品或方法必不一定需要同时达到以上所述的所有优点。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本文档来自技高网...

【技术保护点】
一种视频索引分级方法，其特征在于，所述方法包括：将全部视频中满足预设规则的视频对应的索引加入到一级索引中，并将全部视频对应的索引加入到二级索引中；对除所述一级索引包含的索引对应的视频之外的其他视频，抽取用于确定视频的索引是否需要加入到所述一级索引中的特征数据；根据所述特征数据，训练用于确定视频的索引是否需要加入到所述一级索引中的分类模型；针对除所述一级索引包含的索引对应的视频之外的每一视频，根据训练好的所述分类模型，确定是否需要将所述视频的索引加入到所述一级索引中；将所确定的索引加入到所述一级索引中。

【技术特征摘要】
1.一种视频索引分级方法，其特征在于，所述方法包括：将全部视频中满足预设规则的视频对应的索引加入到一级索引中，并将全部视频对应的索引加入到二级索引中；对除所述一级索引包含的索引对应的视频之外的其他视频，抽取用于确定视频的索引是否需要加入到所述一级索引中的特征数据；根据所述特征数据，训练用于确定视频的索引是否需要加入到所述一级索引中的分类模型；针对除所述一级索引包含的索引对应的视频之外的每一视频，根据训练好的所述分类模型，确定是否需要将所述视频的索引加入到所述一级索引中；将所确定的索引加入到所述一级索引中。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：接收用户的视频搜索请求，所述视频搜索请求中至少包含请求结果数；估计利用所述一级索引进行视频搜索返回的第一结果数，以及利用所述二级索引进行视频搜索返回的第二结果数；根据所述请求结果数、所述第一结果数以及所述第二结果数，确定用于进行视频搜索的索引级别；利用所确定级别的索引，进行视频搜索。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述特征数据，训练用于确定视频的索引是否需要加入到所述一级索引中的分类模型，包括：根据所述特征数据，利用梯度下降法，训练用于确定视频的索引是否需要加入到所述一级索引中的分类模型。4.根据权利要求2所述的方法，其特征在于，所述根据所述请求结果数、所述第一结果数以及所述第二结果数，确定用于进行视频搜索的索引级别，包括：判断所述第一结果数是否不小于所述请求结果数；如果是，将所述一级索引确定为用于进行视频搜索的索引；如果否，判断所述第二结果数是否不小于所述请求结果数；如果是，将所述二级索引确定为用于进行视频搜索的索引；如果否，将所述一级索引确定为用于进行视频搜索的索引。5.根据权利要求4所述的方法，其特征在于，在将所述一级索引确定为用于进行视频搜索的索引、且所述第一结果数不小于所述请求结果数的情况下，所述方法还包括：判断利用所述一级索引，进行视频搜索返回的实际搜索结果数是否小于所述请求结果数；如果是，利用所述二级索引，继续进行视频搜索。6.根据权利要求4所述的方法，其特征在于，在将所述一级索引确定为用于进行视频搜索的索引、且所述第一结果数不小于所述请求结果数的情况下，所述方法还包括：针对利用所述一级索引，进行视频搜索返回的每一搜索结果，计算所述搜索结果与所述视频搜索请求的相关度；根据所述相关度，确定满足所述视频搜索请求的结果数量；判断所述结果数量是否小于所述请求结果数；如果是，利用所述二级索引，继续进行视频搜索。7.一种视频索引分级装置，其特征在于，所述装置包...

【专利技术属性】
技术研发人员：王天畅，陈英傑，胡军，叶澄灿，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京;11