换脸辨别模型训练方法及换脸视频辨别方法技术

本申请公开了一种换脸辨别模型训练方法及换脸视频辨别方法，该训练方法包括：获取真实视频及换脸视频；对真实视频及换脸视频中的生理特征进行放大；根据真实视频及放大后的真实视频，生成第一训练样本集；根据换脸视频及放大后的换脸视频，生成第二训练样本集；从第一训练样本集及第二训练样本集中选取锚样本、正例样本及负例样本并输入至换脸辨别模型中，得到每一样本对应的表示向量；计算正例余弦距离及负例余弦距离；根据正例余弦距离及负例余弦距离，对换脸辨别模型的参数进行调整，直至正例余弦距离低于第一阈值，且负例余弦距离高于第二阈值为止，得到训练后的换脸辨别模型。可见，本申请可利用换脸辨别模型输出的表示向量辨别视频的真假。量辨别视频的真假。量辨别视频的真假。

【技术实现步骤摘要】
换脸辨别模型训练方法及换脸视频辨别方法


[0001]本申请涉及互联网
，更具体地说，涉及一种换脸辨别模型训练方法及换脸视频辨别方法。

技术介绍

[0002]Deepfake(深度伪造)技术的滥用为社会带来了危害。很多不法分子利用Deepfake技术对视频中的人物进行换脸，利用换脸后的视频制造事端，导致谣言四起。在此情况下，证明造成事端的视频为换脸后的视频，即证明造成事端的视频为虚假视频，成为了辟谣的不二选择。因而，如何证明或者辨别换脸视频受到了人们的广泛关注。
[0003]基于此，为了解决上述的问题，可以引入能够辨别换脸视频的辨别模型，对视频进行鉴别。其中，如何引入能够辨别换脸视频的辨别模型成为了解决上述问题的关键。因而，亟需一种换脸辨别模型训练方法，用于在视频训练数据集上进行训练，能够实现辨别视频的真假。

技术实现思路

[0004]有鉴于此，本申请提供了一种换脸辨别模型训练方法及换脸视频辨别方法，用于实现辨别视频的真假。
[0005]为了实现上述目的，现提出的方案如下：
[0006]一种换脸辨别模型训练方法，包括：
[0007]获取真实视频及换脸视频；
[0008]对所述真实视频及所述换脸视频中的生理特征进行放大，得到放大后的真实视频及放大后的换脸视频；
[0009]根据每一真实视频及所述真实视频对应的放大后的真实视频，生成第一脸部像素变化图，多个第一脸部像素变化图组成第一训练样本集；
[0010]根据每一换脸视频及所述换脸视频对应的放大后的换脸视频，生成第二脸部像素变化图，多个第二脸部像素变化图组成第二训练样本集；
[0011]从所述第一训练样本集及所述第二训练样本集中选取三个样本，其中，从来源于同一训练样本集的两个样本中选取一个样本作为锚样本，另一个样本作为正例样本，三个样本中来源于另一训练样本集的样本作为负例样本；
[0012]将所述锚样本、所述正例样本及所述负例样本输入至换脸辨别模型中，得到换脸辨别模型输出的每一样本对应的表示向量；
[0013]计算所述锚样本对应的表示向量与所述正例样本对应的表示向量之间的正例余弦距离，及所述锚样本对应的表示向量与所述负例样本对应的表示向量之间的负例余弦距离；
[0014]根据所述正例余弦距离及所述负例余弦距离，确定所述换脸辨别模型的损失，并基于所述损失对所述换脸辨别模型的参数进行调整，直至达到模型训练结束条件为止，得
到训练完成后的换脸辨别模型。
[0015]优选地，所述根据每一真实视频及所述真实视频对应的放大后的真实视频，生成第一脸部像素变化图，包括：
[0016]提取每一真实视频及所述真实视频对应的放大后的真实视频上的第一面部特征点；
[0017]根据所述第一面部特征点，划分第一脸部区域；
[0018]根据每一真实视频及所述真实视频对应的放大后的真实视频，生成记录了每一第一脸部区域像素变化的第一脸部像素变化图；
[0019]所述根据每一换脸视频及所述换脸视频对应的放大后的换脸视频，生成第二脸部像素变化图，包括：
[0020]提取每一换脸视频及所述换脸视频对应的放大后的换脸视频上的第二面部特征点；
[0021]根据所述第二面部特征点，划分第二脸部区域；
[0022]根据每一换脸视频及所述换脸视频对应的放大后的换脸视频，生成记录了每一第二脸部区域像素变化的第二脸部像素变化图。
[0023]优选地，所述根据每一真实视频及所述真实视频对应的放大后的真实视频，生成记录了每一第一脸部区域像素变化的第一脸部像素变化图，包括：
[0024]根据每一真实视频及所述真实视频对应的放大后的真实视频，生成记录了每一第一脸部区域明亮度变化的第一明亮度变化图、记录了每一第一脸部区域色彩变化的第一色彩变化图及记录了每一第一脸部区域饱和度变化的第一饱和度变化图，其中，一个真实视频所对应的第一明亮度变化图、第一色彩变化图及第一饱和度变化图组成一个第一脸部像素变化图。
[0025]优选地，所述根据每一换脸视频及所述换脸视频对应的放大后的换脸视频，生成记录了每一第二脸部区域像素变化的第二脸部像素变化图，包括：
[0026]根据每一换脸视频及所述换脸视频对应的放大后的换脸视频，生成记录了每一第二脸部区域明亮度变化的第二明亮度变化图、记录了每一第二脸部区域色彩变化的第二色彩变化图及记录了每一第二脸部区域饱和度变化的第二饱和度变化图，其中，一个换脸视频所对应的第二明亮度变化图、第二色彩变化图及第二饱和度变化图组成一个第二脸部像素变化图。
[0027]优选地，所述换脸辨别模型为三元组模型；
[0028]将所述锚样本、所述正例样本及所述负例样本输入至换脸辨别模型中，得到换脸辨别模型输出的每一样本对应的表示向量，包括：
[0029]同时将所述锚样本、所述正例样本及所述负例样本输入至所述三元组模型中，得到换脸辨别模型输出的每一样本对应的表示向量。
[0030]优选地，所述换脸辨别模型为共享参数的孪生模型；
[0031]将所述锚样本、所述正例样本及所述负例样本输入至换脸辨别模型中，得到换脸辨别模型输出的每一样本对应的表示向量，包括：
[0032]将所述锚样本及所述正例样本输入至所述共享参数的孪生模型中；
[0033]将所述锚样本及所述负例样本输入至所述共享参数的孪生模型中。
[0034]优选地，对所述真实视频及所述换脸视频中的生理特征进行放大，包括：
[0035]对所述真实视频及所述换脸视频进行三次欧拉视频放大；
[0036]其中，第一次欧拉视频放大时，先进行两次高斯降采样，在时间维度上对两次高斯降采样后得到的视频进行带通滤波，得到人体心率频率范围内的第一像素信息，并对所述第一像素信息进行两倍放大；
[0037]第二次欧拉视频放大时，先进行三次高斯降采样，在时间维度上对三次高斯降采样后得到的视频进行带通滤波，得到人体心率频率范围内的第二像素信息，并对所述第二像素信息进行三倍放大；
[0038]第三次欧拉视频放大时，先进行四次高斯降采样，在时间维度上对四次高斯降采样后得到的视频进行带通滤波，得到人体心率频率范围内的第三像素信息，并对所述第三像素信息进行五倍放大。
[0039]一种换脸辨别模型训练方法，包括：
[0040]获取真实视频及换脸视频；
[0041]对所述真实视频及所述换脸视频中的生理特征进行放大，得到放大后的真实视频及放大后的换脸视频；
[0042]根据每一真实视频及所述真实视频对应的放大后的真实视频，生成第一脸部像素变化图；
[0043]标注所述第一脸部像素变化图为真，多个标注后的第一脸部像素变化图组成第一训练样本集；
[0044]根据每一换脸视频及所述换脸视频对应的放大后的换脸视频，生成第二脸部像素变化图；
[0045]标注所述第二脸部像素变化图为假，多个标注后的第二脸部像素变化图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种换脸辨别模型训练方法，其特征在于，包括：获取真实视频及换脸视频；对所述真实视频及所述换脸视频中的生理特征进行放大，得到放大后的真实视频及放大后的换脸视频；根据每一真实视频及所述真实视频对应的放大后的真实视频，生成第一脸部像素变化图，多个第一脸部像素变化图组成第一训练样本集；根据每一换脸视频及所述换脸视频对应的放大后的换脸视频，生成第二脸部像素变化图，多个第二脸部像素变化图组成第二训练样本集；从所述第一训练样本集及所述第二训练样本集中选取三个样本，其中，从来源于同一训练样本集的两个样本中选取一个样本作为锚样本，另一个样本作为正例样本，三个样本中来源于另一训练样本集的样本作为负例样本；将所述锚样本、所述正例样本及所述负例样本输入至换脸辨别模型中，得到换脸辨别模型输出的每一样本对应的表示向量；计算所述锚样本对应的表示向量与所述正例样本对应的表示向量之间的正例余弦距离，及所述锚样本对应的表示向量与所述负例样本对应的表示向量之间的负例余弦距离；根据所述正例余弦距离及所述负例余弦距离，确定所述换脸辨别模型的损失，并基于所述损失对所述换脸辨别模型的参数进行调整，直至达到模型训练结束条件为止，得到训练完成后的换脸辨别模型。2.根据权利要求1所述的方法，其特征在于，所述根据每一真实视频及所述真实视频对应的放大后的真实视频，生成第一脸部像素变化图，包括：提取每一真实视频及所述真实视频对应的放大后的真实视频上的第一面部特征点；根据所述第一面部特征点，划分第一脸部区域；根据每一真实视频及所述真实视频对应的放大后的真实视频，生成记录了每一第一脸部区域像素变化的第一脸部像素变化图；所述根据每一换脸视频及所述换脸视频对应的放大后的换脸视频，生成第二脸部像素变化图，包括：提取每一换脸视频及所述换脸视频对应的放大后的换脸视频上的第二面部特征点；根据所述第二面部特征点，划分第二脸部区域；根据每一换脸视频及所述换脸视频对应的放大后的换脸视频，生成记录了每一第二脸部区域像素变化的第二脸部像素变化图。3.根据权利要求2所述的方法，其特征在于，所述根据每一真实视频及所述真实视频对应的放大后的真实视频，生成记录了每一第一脸部区域像素变化的第一脸部像素变化图，包括：根据每一真实视频及所述真实视频对应的放大后的真实视频，生成记录了每一第一脸部区域明亮度变化的第一明亮度变化图、记录了每一第一脸部区域色彩变化的第一色彩变化图及记录了每一第一脸部区域饱和度变化的第一饱和度变化图，其中，一个真实视频所对应的第一明亮度变化图、第一色彩变化图及第一饱和度变化图组成一个第一脸部像素变化图。4.根据权利要求2所述的方法，其特征在于，所述根据每一换脸视频及所述换脸视频对
应的放大后的换脸视频，生成记录了每一第二脸部区域像素变化的第二脸部像素变化图，包括：根据每一换脸视频及所述换脸视频对应的放大后的换脸视频，生成记录了每一第二脸部区域明亮度变化的第二明亮度变化图、记录了每一第二脸部区域色彩变化的第二色彩变化图及记录了每一第二脸部区域饱和度变化的第二饱和度变化图，其中，一个换脸视频所对应的第二明亮度变化图、第二色彩变化图及第二饱和度变化图组成一个第二脸部像素变化图。5.根据权利要求1所述的方法，其特征在于，所述换脸辨别模型为三元组模型；将所述锚样本、所述正例样本及所述负例样本输入至换脸辨别模型中，得到换脸辨别模型输出的每一样本对应的表示向量，包括：同时将所述锚样本、所述正例样本及所述负例样本输入至所述三元组模型中，得到换脸辨别模型输出的每一样本对应的表示向量。6.根据权利要求1所述的方法，其特征在于，所述换脸辨别模型为共享参数的孪生模型；将所述锚样本、所述正例样本及所述负例样本输入至换脸辨别模型中，得到换脸辨别模型输出的每一样本对应的表示向量，包括：将所述锚样本及所述正例样本输入至所述共享参数的孪生模型中；将所述锚样本及所述负例...

【专利技术属性】
技术研发人员：张志勇，孙雨旸，丘昌镇，王鲁平，王亮，
申请(专利权)人：中山大学，
类型：发明
国别省市：