视频检测方法、装置、设备、以及存储介质制造方法及图纸

本公开的实施例涉及一种视频检测方法、装置、设备、以及存储介质，其涉及计算机视觉技术领域。方法包括从待检测视频获取与脸部有关的多个图像帧，然后提取与多个图像帧相对应的多个脸部特征表示。方法还包括基于多个脸部特征表示来检测视频中的脸部的真实性。本公开的实施例通过提取视频中的多个脸部图像帧的多个特征表示，并且分析多个特征表示之间的关联程度，能够快速有效且准确地检测到假脸视频。能够快速有效且准确地检测到假脸视频。能够快速有效且准确地检测到假脸视频。

【技术实现步骤摘要】
视频检测方法、装置、设备、以及存储介质


[0001]本公开的实施例总体上涉及计算机领域，并且更具体地涉及计算机视觉


技术介绍

[0002]随着移动互联网的普及，网络视频变得越来越流行。视频按照时间的长短，可以被划分为长视频、短视频以及小视频等。长视频是指时长较长、以影视节目为主的视频，其通常由专业影视公司拍摄。短视频是指时长较短、题材更加丰富的视频，其通常不是由影视公司专业的职业或者半职业团队拍摄。而小视频是指时长通常在几秒到几十秒之间的视频，以个人用户生产为主，通常是和用户日常生活相关的视频。
[0003]随着人工智能(AI)技术的不断发展，AI换脸成为一个新兴的AI技术应用。AI换脸基于神经网络模型，能够将图像或者视频中的脸部替换成其他人的脸部。例如，普通用户可以将视频中的名人脸部替换成自己的脸部，用于娱乐、欺骗等目的。当前，一些AI技术换脸后的图像或视频可能很逼真，使得人类甚至机器都无法很容易辨别出真假。

技术实现思路

[0004]根据本公开的示例实施例，提供了一种视频检测方法、装置、设备、以及介质，能够解决如何快速有效且准确地检测换脸视频的问题。
[0005]在本公开的第一方面中，提供了一种视频检测方法。该方法包括：从待检测视频获取与脸部有关的多个图像帧；提取与多个图像帧相对应的多个脸部特征表示；以及基于多个脸部特征表示，检测视频中的脸部的真实性。本公开的实施例通过提取视频中的多个脸部图像帧的多个特征表示，并且分析多个特征表示之间的关联程度，能够快速有效且准确地检测到假脸视频。
[0006]在本公开的第二方面中，提供了一种视频检测装置。该装置包括：图像帧获取模块，被配置为从待检测视频获取与脸部有关的多个图像帧；特征提取模块，被配置为提取与多个图像帧相对应的多个脸部特征表示；以及脸部检测模块，被配置为基于多个脸部特征表示，检测视频中的脸部的真实性。
[0007]在本公开的第三方面中，提供了一种电子设备，其包括一个或多个处理器以及存储装置，存储装置用于存储一个或多个程序。一个或多个程序当被一个或多个处理器执行，使得电子设备实现根据本公开的实施例的方法或过程。
[0008]在本公开的第四方面中，提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的实施例的方法或过程。
[0009]应当理解，本
技术实现思路
部分中所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0010]结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
[0011]图1示出了根据本公开的实施例的用于换脸视频检测的示例环境；
[0012]图2示出了根据本公开的实施例的视频检测方法的流程图；
[0013]图3示出了根据本公开的实施例的用于确定脸部的特征向量的过程的示意图；
[0014]图4示出了根据本公开的实施例的用于确定脸部视频的真假性的方法的流程图；
[0015]图5示出了根据本公开的实施例的用于确定换脸视频的临界阈值的过程的示意图；
[0016]图6示出了根据本公开的实施例的视频检测装置的框图；以及
[0017]图7示出了能够实施本公开的多个实施例的电子设备的框图。
具体实施方式
[0018]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0019]在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。下文还可能包括其他明确的和隐含的定义。
[0020]当前，基于神经网络的AI换脸技术已开始流行，AI换脸技术可以使用某个人的面部自动替换视频中的人脸。AI换脸后的伪造视频可能出于恶意目的而被滥用，从而可能引起严重的信任问题和安全问题。例如，AI换脸技术如果被不正当使用，会产生侵犯肖像权或名誉权、散步谣言、引发公共事件等严重后果。换脸视频的一种检测方法是通过检测眨眼来检测AI产生的换脸假视频，但这种方法的前提是换脸的训练数据缺乏不同眨眼阶段的图像，进而换脸算法没有学会眨眼。然而，眨眼图像并不难获取，例如在视频中就大量存在，因此，这种方法的检测有效性和准确率都不高。
[0021]为此，本公开的实施例提出了一种基于脸部特征表示的换脸视频检测方法。本申请的专利技术人发现由于AI换脸技术的局限，AI换脸并不完美，在换脸视频中，通常存在一些失败的情形，例如在非正面、夸张表情、模糊等情况下更容易出现换脸失败。因此，可以通过视频中同一个脸部的不同特征向量来判断是否是换脸视频，例如，不同特征向量偏差到一定程度，可以认为是假脸视频。
[0022]本公开的实施例通过提取视频中的多个脸部图像帧的多个特征表示(例如多维向量)，并且分析多个特征表示之间的关联程度(例如空间聚集程度)，能够快速有效且准确地检测到假脸视频。因此，本公开的实施例通过检测换脸视频中的各个脸部之间的不一致性，能够快速有效地识别出换脸视频，从而保证了视频使用的安全性。以下将参考附图1-7详细描述本公开的一些示例实施例。
[0023]图1示出了根据本公开的实施例的用于换脸视频检测的示例环境100。如图1所示，针对待检测的视频110，从视频110提取多个脸部图像帧。视频110可以为通过图像采集装置
捕获的真实的脸部视频(也称为“真脸视频”)，也可以为通过AI换脸技术生成的伪造的脸部视频(也称为“假脸视频”)。AI换脸技术是指通过人工智能实现的智能换脸，包括但不限于DeepFakes(DF)模型、Face2Face(F2F)模型、FaceSwap(FS)模型、NeuralTextures(NT)模型，等等，这些AI换脸通常是将视频中的脸部替换成另一脸部，并将改变后的脸部融合到已有的背景中。本公开的实施例目的在于快速有效地确定视频110是否为换脸视频。一般来说，待检测的视频110是包括单张脸的视频，当然，本公开的实施例也适用于多张脸的视频。
[0024]在一些实施例中，可以按照预定的捕获率或采样率从视频110提取脸部图像帧120。例如，采样率可以为每秒提取30张，则一个10秒的视频可以提取出300张脸部图像帧。在一些实施例中，所提取的每个图像帧都包括脸部125。备选地，如果所提取的图像帧不包括脸部，则可以丢弃该图像帧，而不执行后续的脸部图像识别动作。
[0025]继续参考图1，生成与多个脸部图像帧120相对应的多个脸部特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频检测方法，包括：从待检测视频获取与脸部有关的多个图像帧；提取与所述多个图像帧相对应的多个脸部特征表示；以及基于所述多个脸部特征表示，检测所述视频中的所述脸部的真实性。2.根据权利要求1所述的方法，其中检测所述视频中的所述脸部的真实性包括：通过统计所述多个脸部特征表示的聚集程度，来确定所述视频中的所述脸部的真实性。3.根据权利要求1所述的方法，其中提取与所述多个图像帧相对应的多个脸部特征表示包括：向脸部识别系统传送所述多个图像帧；以及从所述脸部识别系统接收多个多维向量作为所述多个脸部特征表示。4.根据权利要求3所述的方法，其中检测所述视频中的所述脸部的真实性包括：将所述多个多维向量映射到脸部特征空间中的多个点；确定所述脸部特征空间中的所述多个点的质心；确定所述多个点与所述质心之间的多个距离；确定所述多个距离的方差；以及基于所述方差，确定所述视频中的所述脸部的真实性。5.根据权利要求4所述的方法，其中确定所述视频中的所述脸部的真实性包括：确定所述方差是否大于预定阈值；根据确定所述方差大于所述预定阈值，确定所述视频为假脸视频；以及根据确定所述方差小于等于所述预定阈值，确定所述视频为真脸视频。6.根据权利要求5所述的方法，还包括：从换脸数据集获得多个真脸视频和多个假脸视频；以及基于所述多个真脸视频和所述多个假脸视频的统计信息，确定所述预定阈值。7.根据权利要求5所述的方法，其中确定所述视频为假脸视频包括：确定所述多个点中与所述质心最远的点；确定多个图像帧中与所述最远的点相对应的图像帧；以及向用户呈现所确定的图像帧作为假脸凭证。8.根据权利要求1所述的方法，其中提取与所述多个图像帧相对应的多个脸部特征表示包括：根据确定所述多个图像帧中的给定图像帧中存在两个或更多个脸部，从所述两个或更多个脸部选择目标脸部；以及确定与所述目标脸部相对应的脸部特征表示。9.一种视频检测装置，包括：图像帧获取模块，被配置为从待检测视频获取与脸部有关的多个图像帧；特征提取模块，被配置为提取与所述多个图像帧相对应的多个脸部特征表示；以及脸部检测模块，被配置为基于所述多个脸部特征表示，检测所述视频中的所述脸部的真实性。10.根据权利要求9所述的装置，其中所述脸部检测模块包括：
脸部确定模块，被配置为通过统计所述多...

【专利技术属性】
技术研发人员：王洋，刘焱，郝新，吴月升，熊俊峰，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：