视频质量检测方法、装置、设备及计算机可读存储介质制造方法及图纸

本申请实施例提供一种视频质量检测方法、装置、设备及计算机可读存储介质，涉及人工智能技术领域。方法包括：对待检测视频进行视频帧抽取，得到至少两帧待检测视频帧；对每一待检测视频帧进行图像识别，得到每一待检测视频帧中的目标对象的目标检测框、目标关键点和目标属性；根据目标检测框和目标关键点，在至少两帧待检测视频帧中确定出残缺对象视频帧；根据每一残缺对象视频帧的目标属性，在残缺对象视频帧中确定出目标质量残缺对象视频帧和目标质量残缺对象视频帧的视频帧数量；根据视频帧数量，确定待检测视频的检测结果。通过本申请，能够对待检测视频是否为目标质量残缺对象视频进行准确的检测，提高对目标质量残缺对象视频的召回率。视频的召回率。视频的召回率。

【技术实现步骤摘要】
视频质量检测方法、装置、设备及计算机可读存储介质


[0001]本申请实施例涉及人工智能
，涉及但不限于一种视频质量检测方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]低质量残缺人脸是一种在图片和视频中常见的低质量问题，它源于对图片和视频的恶意裁剪。恶意裁剪是指，图片和视频的制作或编辑人员为了规避版权排重或其它原因，恶意地将原画面内容素材进行一定比例的裁剪，导致画面的内容存在明显不完整。当画面出现低质量残缺人脸时，会严重影响用户的浏览体验，故需对该项特征进行识别并拦截。
[0003]残缺人脸只是低质量残缺人脸的必要特征，而非充分特征。部分存在残缺人脸的画面却并非“低质量”的残缺人脸，要满足“低质量”的条件，同时还需保证残缺的人脸本身确实是画面的表现主体。
[0004]相关技术中，在图像和视频质量检测方案中，仅公开了目标检测、通常的人脸检测和人脸关键点检测等方案，并没有解决低质量残缺人脸的图像和视频的相关方案，因此，相关技术中没有公开对低质量残缺人脸的图像和视频的检测方法。

技术实现思路

[0005]本申请实施例提供一种视频质量检测方法、装置、设备及计算机可读存储介质，涉及人工智能
通过根据图像识别得到的待检测视频帧中的目标对象的目标检测框、目标关键点和目标属性，确定出目标质量残缺对象视频帧的视频帧数量，从而能够对待检测视频是否为目标质量残缺对象视频进行准确的检测，提高对目标质量残缺对象视频的召回率。
[0006]本申请实施例的技术方案是这样实现的：r/>[0007]本申请实施例提供一种视频质量检测方法，所述方法包括：
[0008]对待检测视频进行视频帧抽取，得到至少两帧待检测视频帧；
[0009]对每一所述待检测视频帧进行图像识别，得到每一所述待检测视频帧中的目标对象的目标检测框、目标关键点和目标属性；
[0010]根据所述目标检测框和所述目标关键点，在至少两帧待检测视频帧中确定出残缺对象视频帧，所述残缺对象视频帧是所述目标对象为残缺对象的视频帧；
[0011]根据每一所述残缺对象视频帧的所述目标属性，在所述残缺对象视频帧中确定出目标质量残缺对象视频帧和所述目标质量残缺对象视频帧的视频帧数量；
[0012]根据所述视频帧数量，确定所述待检测视频的检测结果。
[0013]本申请实施例提供一种视频质量检测装置，所述装置包括：
[0014]视频帧抽取模块，用于对待检测视频进行视频帧抽取，得到至少两帧待检测视频帧；
[0015]图像识别模块，用于对每一所述待检测视频帧进行图像识别，得到每一所述待检
测视频帧中的目标对象的目标检测框、目标关键点和目标属性；
[0016]第一确定模块，用于根据所述目标检测框和所述目标关键点，在至少两帧待检测视频帧中确定出残缺对象视频帧，所述残缺对象视频帧是所述目标对象为残缺对象的视频帧；
[0017]第二确定模块，用于根据每一所述残缺对象视频帧的所述目标属性，在所述残缺对象视频帧中确定出目标质量残缺对象视频帧和所述目标质量残缺对象视频帧的视频帧数量；
[0018]第三确定模块，用于根据所述视频帧数量，确定所述待检测视频的检测结果。
[0019]本申请实施例提供一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中；其中，计算机设备的处理器从所述计算机可读存储介质中读取所述计算机指令，所述处理器用于执行所述计算机指令，实现上述的视频质量检测方法。
[0020]本申请实施例提供一种视频质量检测设备，包括：存储器，用于存储可执行指令；处理器，用于执行所述存储器中存储的可执行指令时，实现上述的视频质量检测方法。
[0021]本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行所述可执行指令时，实现上述的视频质量检测方法。
[0022]本申请实施例具有以下有益效果：对待检测视频中抽取得到的每一待检测视频帧进行图像识别，得到每一待检测视频帧中的目标对象的目标检测框、目标关键点和目标属性；根据每一待检测视频帧中的目标对象的目标检测框和目标关键点，确定出残缺对象视频帧，并在残缺对象视频帧中根据目标对象的目标属性确定出目标质量残缺对象视频帧，进而根据目标质量残缺对象视频帧的视频帧数量对待检测视频进行视频质量检测。如此，由于根据图像识别得到的待检测视频帧中的目标对象的目标检测框、目标关键点和目标属性，能够准确的确定出目标质量残缺对象视频帧的视频帧数量，因此，能够对待检测视频是否为目标质量残缺对象视频进行准确的检测，提高对目标质量残缺对象视频的召回率。
附图说明
[0023]图1是本申请实施例提供的一些低质量残缺人脸的示意图；
[0024]图2是本申请实施例提供的一种存在物理上的残缺人脸而非低质量残缺人脸的示意图；
[0025]图3是本申请实施例提供的另一种存在物理上的残缺人脸而非低质量残缺人脸的示意图；
[0026]图4是本申请实施例提供的视频质量检测系统的一个可选的架构示意图；
[0027]图5是本申请实施例提供的视频质量检测设备的结构示意图；
[0028]图6是本申请实施例提供的视频质量检测方法的一个可选的流程示意图；
[0029]图7是本申请实施例提供的视频质量检测方法的一个可选的流程示意图；
[0030]图8是本申请实施例提供的视频质量检测模型的结构示意图；
[0031]图9是本申请实施例提供的视频质量检测模型的训练方法的流程示意图；
[0032]图10是本申请实施例提供的低质量残缺人脸检测流程图；
[0033]图11是采用本申请实施例提供的视频帧抽取方式从同一视频中抽出的部分视频
帧；
[0034]图12是本申请实施例提供的IoU的原理图；
[0035]图13是本申请实施例提供的残缺样本bbox定义设计原理图；
[0036]图14是本申请实施例提供的人脸残缺比例过大的示意图；
[0037]图15是本申请实施例提供的将人脸一部分的区域置黑示意图。
具体实施方式
[0038]为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
[0039]在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。除非另有定义，本申请实施例所使用的所有的技术和科学术语与属于本申请实施例的
的技术人员通常理解的含义相同。本申请实施例所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
[0040]在说明本申请实施例的视频质量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频质量检测方法，其特征在于，所述方法包括：对待检测视频进行视频帧抽取，得到至少两帧待检测视频帧；对每一所述待检测视频帧进行图像识别，得到每一所述待检测视频帧中的目标对象的目标检测框、目标关键点和目标属性；根据所述目标检测框和所述目标关键点，在至少两帧待检测视频帧中确定出残缺对象视频帧，所述残缺对象视频帧是所述目标对象为残缺对象的视频帧；根据每一所述残缺对象视频帧的所述目标属性，在所述残缺对象视频帧中确定出目标质量残缺对象视频帧和所述目标质量残缺对象视频帧的视频帧数量；根据所述视频帧数量，确定所述待检测视频的检测结果。2.根据权利要求1所述的方法，其特征在于，每一所述待检测视频帧中的目标对象的所述目标关键点为多个；所述根据所述目标检测框和所述目标关键点，在至少两帧待检测视频帧中确定出残缺对象视频帧，包括：对于任一待检测视频帧，当确定出所述任一待检测视频帧的所述目标检测框存在负坐标，且所述任一待检测视频帧的至少一个所述目标关键点超出所述待检测视频帧的边框，且超出所述边框的所述目标关键点的数量小于预设数量阈值时，确定所述任一待检测视频帧为所述残缺对象视频帧。3.根据权利要求1所述的方法，其特征在于，所述根据每一所述残缺对象视频帧的所述目标属性，在所述残缺对象视频帧中确定出目标质量残缺对象视频帧和所述目标质量残缺对象视频帧的视频帧数量，包括：对于任一残缺对象视频帧，当根据所述目标属性，确定出所述目标对象所在区域为清晰区域时，将所述任一残缺对象视频帧确定为所述目标质量残缺对象视频帧；或者，对于任一残缺对象视频帧，当根据所述目标属性，确定出所述任一残缺对象视频帧所表征的视频内容与所述目标对象相关时，将所述任一残缺对象视频帧确定为所述目标质量残缺对象视频帧；统计所确定出的所述目标质量残缺对象视频帧的数量为所述视频帧数量。4.根据权利要求1所述的方法，其特征在于，所述在所述残缺对象视频帧中确定出目标质量残缺对象视频帧和所述目标质量残缺对象视频帧的视频帧数量，包括：对每一所述残缺对象视频帧进行特征提取，得到所述残缺对象视频帧的图像特征向量和所述目标对象的对象特征向量；对所述图像特征向量和所述对象特征向量进行拼接，得到拼接矩阵；基于自注意力机制，对所述拼接矩阵进行注意力计算，得到自注意力特征；根据所述自注意力特征确定所述目标对象是否为所述残缺对象视频帧中的主体内容；当所述目标对象是所述残缺对象视频帧中的主体内容时，将所述残缺对象视频帧确定为所述目标质量残缺对象视频帧；统计所确定出的所述目标质量残缺对象视频帧的数量为所述视频帧数量。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：采用视频质量检测模型对所述待检测视频进行检测；所述视频质量检测模型包括目标检测网络、残缺对象识别网络和视频检测网络；
其中，所述视频质量检测模型通过以下步骤进行训练：构造样本数据集，所述样本数据集中包括至少两帧样本视频帧，所述样本视频帧是对样本视频进行视频帧抽取和残缺样本在线生成后得到的；将每一所述样本视频帧输入至所述目标检测网络中进行图像识别，得到每一所述样本视频帧中的样本目标对象的样本目标检测框、样本目标关键点和样本目标属性；通过所述残缺对象识别网络，根据所述样本目标检测框、所述样本目标关键点和所述样本目标属性，确定所述样本视频帧是否为目标质量残缺对象视频帧；通过所述视频检测网络，根据所述样本视频中的目标质量残缺对象视频帧的数量，得到所述样本视频对应的样本检测结果；将所述样本检测结果输入至预设损失模型中，得到损失结果；根据所述损失结果，对所述目标检测网络、所述残缺对象识别网络和所述视频检测网络中的参数进行修正，得到训练后的视频质量检测模型。6.根据权利要求5所述的方法，其特征在于，所述构造样本数据集，包括：对所述样本视频进行视频帧抽取，得到至少两帧抽样视频帧；确定所述至少两帧抽样视频帧中的残缺对象抽样视频帧，并删除所述残缺对象抽样视频帧，得到更新后的视频帧集合；对所述更新后的视频帧集合中的视频帧按照预设裁剪率进行图像裁剪，生成残缺样本；根据所述更新后的视频帧集合中的视频帧和所述残缺样本，形成所述样本数据集。7.根据权利要求6所述的方法，其特征在于，所述确定所述至少...

【专利技术属性】
技术研发人员：梁健豪，徐孩，车翔，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：