评分模型获取及视频识别方法、装置及存储介质制造方法及图纸

本公开提供了评分模型获取及视频识别方法、装置及存储介质，涉及计算机视觉和深度学习等人工智能领域，具体可应用于视频分析场景下，其中的评分模型获取方法可包括：针对作为训练数据的视频样本，分别获取其中的各帧的重量级特征以及轻量级特征，所述视频样本属于N个不同的类别，N为大于一的正整数；根据获取到的重量级特征分别确定出各帧的显著性评分；根据获取到的轻量级特征以及显著性评分，利用视频样本训练得到评分模型，所述评分模型用于确定出待识别的第一视频中的各帧的显著性评分，所述显著性评分用于从第一视频中的各帧中选出用于生成第一视频的分类结果的关键帧。应用本公开所述方案，可降低计算成本，并可确保识别结果的准确性等。别结果的准确性等。别结果的准确性等。

【技术实现步骤摘要】
评分模型获取及视频识别方法、装置及存储介质


[0001]本公开涉及人工智能
，特别涉及计算机视觉和深度学习等领域的评分模型获取及视频识别方法、装置及存储介质。

技术介绍

[0002]高效视频识别，是指要求模型在一定的计算限制下对视频完成尽可能准确的类别指定，即分类，高效视频识别可广泛应用于视频分析等场景下。
[0003]目前，单一的准确性已经不再是视频识别中的主要瓶颈，如何降低计算成本(即计算量)也是一个迫切需要解决的问题。
[0004]为降低计算成本，通常采用轻量级视频识别模型，即利用轻量级视频识别模型来对输入的视频进行视频识别，但这种方式的准确性通常较差。

技术实现思路

[0005]本公开提供了评分模型获取及视频识别方法、装置及存储介质。
[0006]一种评分模型获取方法，包括：
[0007]针对作为训练数据的视频样本，分别获取其中的各帧的重量级特征以及轻量级特征，所述视频样本属于N个不同的类别，N为大于一的正整数；
[0008]根据所述重量级特征分别确定出各帧的显著性评分；
[0009]根据所述轻量级特征以及所述显著性评分，利用所述视频样本训练得到所述评分模型，所述评分模型用于确定出待识别的第一视频中的各帧的显著性评分，所述显著性评分用于从所述第一视频中的各帧中选出用于生成所述第一视频的分类结果的关键帧。
[0010]一种视频识别方法，包括：
[0011]针对待识别的第一视频，利用按照上述方法获取到的评分模型，分别确定出所述第一视频中的各帧的显著性评分；
[0012]根据所述显著性评分从所述第一视频中的各帧中选出P个关键帧，P为大于一的正整数，且小于所述第一视频中的帧数；
[0013]根据所述P个关键帧生成所述第一视频的分类结果。
[0014]一种评分模型获取装置，包括：特征获取模块、评分获取模块以及模型获取模块；
[0015]所述特征获取模块，用于针对作为训练数据的视频样本，分别获取其中的各帧的重量级特征以及轻量级特征，所述视频样本属于N个不同的类别，N为大于一的正整数；
[0016]所述评分获取模块，用于根据所述重量级特征分别确定出各帧的显著性评分；
[0017]所述模型获取模块，用于根据所述轻量级特征以及所述显著性评分，利用所述视频样本训练得到所述评分模型，所述评分模型用于确定出待识别的第一视频中的各帧的显著性评分，所述显著性评分用于从所述第一视频中的各帧中选出用于生成所述第一视频的分类结果的关键帧。
[0018]一种视频识别装置，包括：评分模块、筛选模块以及识别模型；
[0019]所述评分模块，用于针对待识别的第一视频，利用按照上述装置获取到的评分模型，分别确定出所述第一视频中的各帧的显著性评分；
[0020]所述筛选模块，用于根据所述显著性评分从所述第一视频中的各帧中选出P个关键帧，P为大于一的正整数，且小于所述第一视频中的帧数；
[0021]所述识别模块，用于根据所述P个关键帧生成所述第一视频的分类结果。
[0022]一种电子设备，包括：
[0023]至少一个处理器；以及
[0024]与所述至少一个处理器通信连接的存储器；其中，
[0025]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如以上所述的方法。
[0026]一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行如以上所述的方法。
[0027]一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现如以上所述的方法。
[0028]上述公开中的一个实施例具有如下优点或有益效果：可根据视频样本中的各帧的重量级特征以及轻量级特征等训练得到评分模型，相应地，在对第一视频进行视频识别时，可根据评分模型确定出第一视频中的各帧的显著性评分，并可根据显著性评分选出部分关键帧，进而可利用选出的关键帧来生成第一视频的分类结果，从而降低了计算成本，并确保了识别结果的准确性等。
[0029]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0030]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0031]图1为本公开所述评分模型获取方法第一实施例的流程图；
[0032]图2为本公开所述评分模型获取方法第二实施例的流程图；
[0033]图3为本公开所述视频识别方法实施例的流程图；
[0034]图4为本公开所述显著性评分的获取方式示意图；
[0035]图5为本公开所述评分模型获取装置实施例500的组成结构示意图；
[0036]图6为本公开所述视频识别装置实施例600的组成结构示意图；
[0037]图7示出了可以用来实施本公开的实施例的电子设备700的示意性框图。
具体实施方式
[0038]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0039]另外，应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情
况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
[0040]图1为本公开所述评分模型获取方法第一实施例的流程图。如图1所示，包括以下具体实现方式。
[0041]在步骤101中，针对作为训练数据的视频样本，分别获取其中的各帧的重量级特征以及轻量级特征，所述视频样本属于N个不同的类别，N为大于一的正整数。
[0042]在步骤102中，根据获取到的重量级特征分别确定出各帧的显著性评分。
[0043]在步骤103中，根据获取到的轻量级特征以及显著性评分，利用所述视频样本训练得到评分模型，所述评分模型用于确定出待识别的第一视频中的各帧的显著性评分，所述显著性评分用于从第一视频中的各帧中选出用于生成第一视频的分类结果的关键帧。
[0044]可以看出，上述方法实施例所述方案中，可根据视频样本中的各帧的重量级特征以及轻量级特征等训练得到评分模型，相应地，在对第一视频进行视频识别时，可根据评分模型确定出第一视频中的各帧的显著性评分，并可根据显著性评分选出部分关键帧，进而可利用选出的关键帧来生成第一视频的分类结果，从而降低了计算成本，并确保了识别结果的准确性等。
[0045]针对作为训练数据的各视频样本，可分别获取其中的各帧的重量级特征以及轻本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种评分模型获取方法，包括：针对作为训练数据的视频样本，分别获取其中的各帧的重量级特征以及轻量级特征，所述视频样本属于N个不同的类别，N为大于一的正整数；根据所述重量级特征分别确定出各帧的显著性评分；根据所述轻量级特征以及所述显著性评分，利用所述视频样本训练得到所述评分模型，所述评分模型用于确定出待识别的第一视频中的各帧的显著性评分，所述显著性评分用于从所述第一视频中的各帧中选出用于生成所述第一视频的分类结果的关键帧。2.根据权利要求1所述的方法，其中，所述根据所述重量级特征分别确定出各帧的显著性评分包括：针对任一视频样本，分别根据所述视频样本中的帧的重量级特征，确定出所述视频样本的视频特征；针对任一类别，分别根据属于所述类别的视频样本的视频特征，确定出所述类别的类原型；针对任一视频样本中的任一帧，分别根据所述帧的重量级特征以及各类别的类原型，确定出所述帧的显著性评分。3.根据权利要求2所述的方法，其中，所述针对任一视频样本，分别根据所述视频样本中的帧的重量级特征，确定出所述视频样本的视频特征包括：从所述视频样本中的各帧中选出符合要求的M帧，M为大于一的正整数，且小于所述视频样本中的帧数；根据选出的M帧的重量级特征确定出所述视频样本的视频特征。4.根据权利要求3所述的方法，其中，所述从所述视频样本中的各帧中选出符合要求的M帧包括：针对所述视频样本中的任一帧，分别进行以下处理：获取所述帧分别属于N个不同类别的置信度分数，若其中取值最大的置信度分数对应的类别为所述视频样本所属的类别，则将所述帧确定为待选帧；按照所述视频样本所属的类别对应的置信度分数从大到小的顺序对各待选帧进行排序，选出排序后处于前M位的帧，M小于所述候选帧的数量。5.根据权利要求2所述的方法，其中，所述针对任一类别，分别根据属于所述类别的视频样本的视频特征，确定出所述类别的类原型包括：从属于所述类别的各视频样本中选出符合要求的L个视频样本，L为大于一的正整数，且小于属于所述类别的视频样本的数量；根据选出的L个视频样本的视频特征确定出所述类别的类原型。6.根据权利要求5所述的方法，其中，所述从属于所述类别的各视频样本中选出符合要求的L个视频样本包括：针对属于所述类别的各视频样本，分别获取其属于N个不同类别的置信度分数；按照所述类别对应的置信度分数从大到小的顺序对属于所述类别的各视频样本进行排序，选出排序后处于前L位的视频样本。7.根据权利要求2～6中任一项所述的方法，其中，所述针对任一视频样本中的任一帧，分别根据所述帧的重量级特征以及各类别的类原型，确定出所述帧的显著性评分包括：
针对任一视频样本中的任一帧，分别进行以下处理：获取所述帧的重量级特征与所述帧所在的视频样本所属的第一类别的类原型之间的相似度，作为第一相似度；分别获取所述帧的重量级特征与所述第一类别之外的其余N
‑
1个类别的类原型之间的相似度，将其中的最大值作为第二相似度；将所述第一相似度与所述第二相似度的比值作为所述帧的显著性评分。8.一种视频识别方法，包括：针对待识别的第一视频，利用按照权利要求1～7中任一项所述的方法获取到的评分模型，分别确定出所述第一视频中的各帧的显著性评分；根据所述显著性评分从所述第一视频中的各帧中选出P个关键帧，P为大于一的正整数，且小于所述第一视频中的帧数；根据所述P个关键帧生成所述第一视频的分类结果。9.根据权利要求8所述的方法，其中，所述根据所述显著性评分从所述第一视频中的各帧中选出P个关键帧包括：按照所述显著性评分从大到小的顺序对所述第一视频中的各帧进行排序；选出排序后处于前P位的帧，作为所述关键帧。10.根据权利要求8或9所述的方法，其中，所述根据所述P个关键帧生成所述第一视频的分类结果包括：将所述P个关键帧输入重量级视频识别模型，得到所述分类结果。11.一种评分模型获取装置，包括：特征获取模块、评分获取模块以及模型获取模块；所述特征获取模块，用于针对作为训练数据的视频样本，分别获取其中的各帧的重量级特征以及轻量级特征，所述视频...

【专利技术属性】
技术研发人员：吴文灏，夏博洋，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：