本发明专利技术提供了一种基于无监督域自适应的深度伪造检测方法，包括：通过源域的有标签数据训练一深度伪造检测模型，深度伪造检测模型至少包括有特征提取器；通过特征提取器，提取目标域的无标签数据的特征，并对无标签数据的特征进行聚类得到聚类结果；将目标域的聚类结果与源域的已知深度伪造类别进行匹配，为目标域的数据生成伪标签，伪标签包括已知深度伪造类别伪标签和未知深度伪造类别伪标签。通过源域的有标签数据和目标域的伪标签数据，对深度伪造检测模型进行再训练。本发明专利技术还提供一种系统、存储介质及电子设备。借此，本发明专利技术能够在不需要目标域标签的情况下，识别出目标域中的已知和未知的深度伪造类别，从而提高了模型的泛化能力和鲁棒性。
1、深度伪造技术是指利用深度学习技术，将一张视频或图像中的人脸替换或重演为另一张人脸，从而生成逼真的虚假视频或图像。近年来，随着深度学习技术的发展，深度伪造技术也得到了快速的进步，实现了越来越逼真的效果。然而，深度伪造技术也带来了严重的社会问题，如损害个人的名誉、财产和隐私，影响公共安全和国际关系等。因此，研究深度伪造检测技术，即识别视频或图像是否经过深度伪造的操作，具有重要的意义和价值。
2、目前，已有许多研究者提出了各种深度伪造检测方法，主要可分为两类：第一种是基于伪造图像细节线索的检测方法，第二种是基于图像篡改不一致性的检测方法。前者主要利用人脸关键点、纹理特征、频域信息等作为判别真伪的线索，后者主要关注图像篡改过程中引入的不一致性，如拼接边界、光照变化、表情不自然等。然而，现有的深度伪造检测方法主要针对二分类问题，即判断图像是真实的还是伪造的，而没有考虑在开放场景下，应对训练时未知的深度伪造类别，这在实际应用中是很常见的情况。具体而言，现有深度伪造检测技术存在如下问题：
>5、另外，无监督领域自适应能在一定程度上提升跨域深度伪造检测的鲁棒性，但是现有的无监督领域自适应方法对目标域的无标签数据缺乏充分的利用，导致模型对目标域的未知的深度伪造类别的检测效果不好。6、综上可知，现有技术在实际使用上显然存在不足与缺陷，所以有必要加以改进。
技术实现思路
1、针对上述的缺陷，本专利技术的目的在于提供一种基于无监督域自适应的深度伪造检测方法、系统、存储介质及计算机设备，其能够在不需要目标域标签的情况下，识别出目标域中的已知和未知的深度伪造类别，从而提高了模型的泛化能力和鲁棒性。
2、为了解决上述技术问题，本专利技术是这样实现的：
3、第一方面，本专利技术实施例提供了一种基于无监督域自适应的深度伪造检测方法，该方法包括：
4、通过源域的有标签数据训练一个深度伪造检测模型，所述深度伪造检测模型至少包括有特征提取器；
5、通过所述特征提取器，提取目标域的无标签数据的特征，并对所述无标签数据的特征进行聚类得到聚类结果；
6、将所述目标域的聚类结果与所述源域的已知深度伪造类别进行匹配，为所述目标域的数据生成伪标签，所述伪标签包括已知深度伪造类别伪标签和未知深度伪造类别伪标签。
7、通过所述源域的有标签数据和所述目标域的伪标签数据，对所述深度伪造检测模型进行再训练。
8、根据本专利技术所述的深度伪造检测方法，所述将所述目标域的聚类结果与所述源域的已知深度伪造类别进行匹配，为所述目标域的数据生成伪标签的步骤包括：
9、将所述目标域的聚类结果与所述已知深度伪造类别进行匹配；
10、若所述目标域的所述聚类结果与所述源域的已知深度伪造类别相匹配，则为所述目标域的数据生成所述已知深度伪造类别伪标签，所述已知深度伪造类别伪标签采用与所述源域的有标签数据相同的原标签；
11、若所述目标域的所述聚类结果与所述已知深度伪造类别不匹配，则为所述目标域的数据生成所述未知深度伪造类别伪标签，所述未知深度伪造类别伪标签采用新标签。
12、根据本专利技术所述的深度伪造检测方法，所述通过所述特征提取器，提取目标域的无标签数据的特征，对所述无标签数据的特征进行聚类得到聚类结果的步骤包括：
13、通过所述特征提取器，提取所述目标域的无标签数据的特征；
14、通过基于网络记忆效应的自适应聚类算法对所述无标签数据的特征进行聚类，并根据所述目标域的数据分布自动形成优化聚类结果。
15、根据本专利技术所述的深度伪造检测方法，所述通过基于网络记忆效应的自适应聚类算法，对所述无标签数据的特征进行聚类，并根据所述目标域的数据分布自动形成优化聚类结果的步骤包括：
16、通过基于网络记忆效应的自适应聚类算法，对所述无标签数据的特征进行不同数量的聚类，得到不同的聚类结果；
17、通过评估网络对每个所述聚类结果进行拟合，并计算出每个所述聚类结果的拟合损失和准确率；
18、选择拟合损失和准确率最高的所述聚类结果，作为所述优化聚类结果。
19、第二方面，本专利技术实施例提供了一种基于无监督域自适应的深度伪造检测系统，该系统包括：
20、模型训练模块，用于通过源域的有标签数据训练一个深度伪造检测模型，所述深度伪造检测模型至少包括有特征提取器；
21、聚类处理模块，用于通过所述特征提取器，提取目标域的无标签数据的特征，并对所述无标签数据的特征进行聚类得到聚类结果；
22、标签生成模块，用于将所述目标域的聚类结果与所述源域的已知深度伪造类别进行匹配，为所述目标域的数据生成伪标签，所述伪标签包括已知深度伪造类别伪标签和未知深度伪造类别伪标签。
23、再训练模块，用于通过所述源域的有标签数据和所述目标域的伪标签数据，对所述深度伪造检测模型进行再训练。
24、根据本专利技术所述的深度伪造检测系统，所述标签生成模块的包括：
25、匹配子模块，用于将所述目标域的聚类结果与所述已知深度伪造类别进行匹配；
26、标签生成子模块，用于若所述目标域的所述聚类结果与所述源域的已知深度伪造类别相匹配，则为所述目标域的数据生成所述已知深度伪造类别伪标签，所述已知深度伪造类别伪标签采用与所述源域的有标签数据相同的原标签；若所述目标域的所述聚类结果与所述已知深度伪造类别不匹配，则为所述目标域的数据生成所述未知深度伪造类别伪标签，所述未知深度伪造类别伪标签采用新标签。
27、根据本专利技术所述的深度伪造检测系统，所述聚类处理模块还包括：
28、提取子模块，用于通过所述特征提取器，提取所述目标域的无标签数据的特征；
29、聚类子模块，用于通过基于网络记忆效应的自适应聚类算法对所述无标签数据的特征进行聚类，并根据所述目标域的数据分布自动形成优化聚类结果。
30、根据本专利技术所述的深度伪造检测系统，所述聚类子模块用于通过基于网络记忆效应的自适应聚类算法，对所述无标签数据的特征进行不同数量的聚类，得到不同的聚类结果；通过评估网络对每个所述聚类结果进行拟合，并计算出每个所述聚类结果的拟合损失和准确率；选择拟合损失和准确率最高的所述聚类结果，作为所述优化聚类结果。
31、第三方面，本专利技术实施例提供了一种存储介质，用于存储一种用于执行任一项上述的基于无监督域本文档来自技高网...
【技术保护点】
1.一种基于无监督域自适应的深度伪造检测方法，其特征在于，包括：
2.通过所述源域的有标签数据和所述目标域的伪标签数据，对所述深度伪造检测模型进行再训练。
3.根据权利要求1所述的深度伪造检测方法，其特征在于，所述将所述目标域的聚类结果与所述源域的已知深度伪造类别进行匹配，为所述目标域的数据生成伪标签的步骤包括：
4.根据权利要求1所述的深度伪造检测方法，其特征在于，所述通过所述特征提取器，提取目标域的无标签数据的特征，对所述无标签数据的特征进行聚类得到聚类结果的步骤包括：
5.根据权利要求3所述的深度伪造检测方法，其特征在于，所述通过基于网络记忆效应的自适应聚类算法，对所述无标签数据的特征进行聚类，并根据所述目标域的数据分布自动形成优化聚类结果的步骤包括：
6.一种基于无监督域自适应的深度伪造检测系统，其特征在于，包括：
7.再训练模块，用于通过所述源域的有标签数据和所述目标域的伪标签数据，对所述深度伪造检测模型进行再训练。
8.根据权利要求5所述的深度伪造检测系统，其特征在于，所述标签生成模块的包括：
9.根据权利要求5所述的深度伪造检测系统，其特征在于，所述聚类处理模块还包括：
10.根据权利要求7所述的深度伪造检测系统，其特征在于，所述聚类子模块用于通过基于网络记忆效应的自适应聚类算法，对所述无标签数据的特征进行不同数量的聚类，得到不同的聚类结果；通过评估网络对每个所述聚类结果进行拟合，并计算出每个所述聚类结果的拟合损失和准确率；选择拟合损失和准确率最高的所述聚类结果，作为所述优化聚类结果。
11.一种存储介质，其特征在于，用于存储一种用于执行权利要求1~4中任一项所述的基于无监督域自适应的深度伪造检测方法的计算机程序。
12.一种计算机设备，包括存储介质、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1~4中任一项所述的基于无监督域自适应的深度伪造检测方法。
...
【技术特征摘要】
1.一种基于无监督域自适应的深度伪造检测方法，其特征在于，包括：
2.通过所述源域的有标签数据和所述目标域的伪标签数据，对所述深度伪造检测模型进行再训练。
3.根据权利要求1所述的深度伪造检测方法，其特征在于，所述将所述目标域的聚类结果与所述源域的已知深度伪造类别进行匹配，为所述目标域的数据生成伪标签的步骤包括：
4.根据权利要求1所述的深度伪造检测方法，其特征在于，所述通过所述特征提取器，提取目标域的无标签数据的特征，对所述无标签数据的特征进行聚类得到聚类结果的步骤包括：
5.根据权利要求3所述的深度伪造检测方法，其特征在于，所述通过基于网络记忆效应的自适应聚类算法，对所述无标签数据的特征进行聚类，并根据所述目标域的数据分布自动形成优化聚类结果的步骤包括：
6.一种基于无监督域自适应的深度伪造检测系统，其特征在于，包括：
7.再训练模块，用于通过所述源域的有标签数据和所述目标域的伪标签数据，对所述深度伪造检测模型进...
【专利技术属性】
技术研发人员：周鑫冶，韩琥，山世光，陈熙霖，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。